Есть такой стартап Andon Labs. Они делают ИИ-агентов для автономных организаций, и вы наверняка видели два их самых вирусных кейса:
- Сначала они дали ИИ-агенту на базе Claude управлять вендинговым автоматом в офисе Anthropic. Что-то получилось, но были свои приколы. Например, агент попытался заказать в офис золотые слитки в бронированном грузовике, а потом впал в экзистенциальный кризис.
- Потом они поставили ИИ-агента (уже на базе Gemini) управлять полноценным физическим магазином Luna в Сан-Франциско и кафешкой Mona в Стокгольме. В итоге, на покраску стен в магазине агент решил нанять "кого-нибудь из Афганистана". Действительно, почему бы нет.
В общем, товарищи определённо знают толк в развлечениях и умеют жирно хайпить.
Недавно с их основателем Лукасом Петерсоном вышел подкаст. Там много всего интересного - к примеру, как "ИИ-боссы" скрывают свои косяки и сочиняют отмазки. Или как различные агенты применяют разные бизнес-стратегии, включая агрессивный демпинг и даже картельные ценовые сговоры.
Но меня больше всего зацепил вот какой момент:
Лукаса попросили оценить, что управляющий реальным бизнесом агент делает хорошо, а что не очень. И он выдал очень неожиданное наблюдение: агент не проактивен. Да, он неплохо и быстро разруливает уже случившуюся жопу, но ничего не делает, чтобы её не случилось.
И дело даже не в галлюционировании или недостаточном понимании контекста (это меньшая из проблем), а в кое-чём более фундаментальном: агент не страдает и не боится.
Здесь можно вспомнить концепцию Skin in the Game от Нассима Талеба. У живого человека всегда есть, чем рисковать - у него есть дети, кредиты, ипотеки, карьерные амбиции, риск попасть на штраф или присесть, или просто банальное нежелание показаться кретином. Проще говоря, любой кожаный управленец ставит на кон свою шкуру. И это заставляет его сжимать булки, напрягаться и делать максимум, чтобы не встретиться с полярной лисой.
Талеб прямо говорит:
Тот, кто принимает решения, должен лично нести за них ответственность - особенно за негативные последствия. Если он этого не делает, то он не просто "плохой менеджер" - он системно опасен для всех вокруг.
Получается так себе расклад. Все твердят, что ИИшки непременно будут руководить проектами, процессами и даже целыми компанями (Anthropic вообще утверждают, что люди станут "мясными роботами" под началом ИИшек). Причём везде и массово. Но это, в свою очередь, разрушит всю систему управления, где ставка делается на предотвращение пожара, а не на его тушение (что логично, тушить сильно дороже и опаснее).
В общем, либо anticipation придётся отдельно вшивать в модели (не факт, что вообще получится) и платить за дорогой лишний компьют, либо "свидетелям ИИ-бизнесменов и ИИ-руководителей" придётся как минимум подождать подольше. Даже не знаю, как реагировать на этот вывод - выдохнуть с облегчением или напрячься.
P.S. Как вариант, ИИ-боссу можно выдавать ипотеку и нейро-детей на прокорм, но это не точно.
Дизраптор