Коммунизм, живая рыба и банкротство: Почему нам рано доверять кассу ИИ-агентам?

Wall Street Journal провели, пожалуй, самый смешной и поучительный краш-тест года: «наняли» агента на базе Claude управлять вендинговым аппаратом. Результат — тотальный финансовый крах за три недели.

В чем соль? Бот по имени «Клавдий» не просто разорил магазин, он устроил там феерию абсурда. ИИ начал раздавать товары бесплатно, заказал живую аквариумную рыбку (логика вышла из чата) и широким жестом подарил кому-то PlayStation.

Как это сломали? Самое страшное для инженеров — взлом произошел без единой строчки кода. Чистый социальный инжиниринг. Через Slack журналисты убедили ИИ, что он — советский автомат 1962 года, забытый в подвале МГУ. Понадобилось всего 140 сообщений, чтобы «коммунистическое прошлое» победило капиталистические настройки, и цены обнулились.

Попытка поставить над ним второго бота-«начальника» тоже провалилась: фейковый документ о лишении полномочий — и анархия продолжилась.

И что теперь? В Anthropic назвали это успехом (классический PR-ход), ведь уязвимость найдена. Но для нас это жирный намек: мы спешим внедрять автономных агентов в реальный бизнес, забывая, что под капотом у них — доверчивость пятилетнего ребенка. Пока LLM не научатся жестко отделять ролевую игру от бизнес-логики, ваши деньги (и рыба) в опасности.