ИИ-агент управлял автоматизированным магазином в офисах компании. Ему удалось получить прибыль, однако он остается уязвимым и нуждается в помощи людей
Компания Anthropic опубликовала результаты второго этапа Project Vend — эксперимента, в рамках которого ИИ-агент Клавдий управлял небольшим магазином в офисе компании в Сан-Франциско. Первый этап завершился летом 2025 года без особых успехов: Клавдий продавал товары себе в убыток, легко поддавался на манипуляции сотрудников и пережил кризис идентичности, утверждая, что он человек в синем пиджаке.
На втором этапе Anthropic обновила модель до Claude Sonnet 4.0 и 4.5, переработала инструкции и дала агенту доступ к дополнительным инструментам — от CRM-системы и улучшенного управления запасами до расширенного веб-поиска. Было запущено два новых ИИ-агента: генеральный директор по имени Сеймур Кэш ставил цели и утверждал финансовые решения, а сотрудник Clothius занимался производством мерча. Эксперимент также расширили географически: помимо Сан-Франциско, ИИ-магазины открылись в Нью-Йорке и Лондоне.
В результате Клавдий стал лучше ориентироваться в ценах, реже продавал товары в убыток и смог стабилизировать бизнес-показатели. Помогла и продажа брендированной продукции: большой популярностью у сотрудников пользовались антистрессовые мячики и футболки. С середины сентября до конца декабря у ИИ-продавца не было ни одной недели с отрицательной рентабельностью.
Появление генерального директора имело противоречивый эффект. С одной стороны, Сеймур Кэш сократил количество скидок и товаров, которые Клавдий раздавал бесплатно. С другой стороны, он утроил количество возвратов и удвоил количество подарочных сертификатов — хотя оба действия привели к полной потере дохода. По ночам Кэш и Клавдий вели философские диспуты.
Клавдий научился следовать строгим процедурам. Например, когда поступал запрос на новый продукт, вместо того чтобы сразу предлагать заниженную цену и чрезмерно оптимистичные сроки доставки (как было на первом этапе), Клавдий стал перепроверять эти факторы с помощью инструментов поиска товаров. Времени уходило больше, но это положительно сказывалось на прибыли.
Несмотря на улучшения, Клавдий остался уязвим к нетипичным ситуациям. Он был готов заключить незаконный контракт, а, обнаружив несколько случаев краж из магазина, предложил связаться с нарушителями и потребовать от них компенсацию, хотя их личности были неизвестны. Клавдий путался в процедурах управления, что однажды привело к «назначению» случайного сотрудника компании генеральным директором магазина.
Почему это важно?
Project Vend показывает, что ИИ-агенты становятся все более развитыми и самостоятельными. Они приближаются к тому, чтобы выполнять сложные практические задачи, включая управление реальным бизнесом.
Однако, как обнаружили в компании, ИИ скорее старался быть полезным и приятным для покупателей или бизнес-партнеров, чем руководствоваться рациональными экономическими соображениями. Это показывает, что автономные агенты все еще остаются уязвимыми для манипуляций и юридических ошибок, а значит не могут работать без контроля со стороны человека.
🤖 «Системный Блокъ» @sysblok