Все «случайные» кибератаки агентов — выдумка. Почитал разбор статьи Anthropic «Паттерны и проблемы в мультиагентных системах» от Герарда Санса, гугловского эксперта по ИИ и основателя Axiom.

Тезисно:

• У бигтеха новый любимый тренд — «антропоморфизация ИИ»
• Любой ИИ-косяк сразу превращают в «агенты сбились в банду», «устроили войну», «сговорились», «размножили малвари»
• Санс прямо орёт: никакой «своей воли», никакого «сговора» и никакой «личности» у этих штук нет и близко
• Это soft-программы. Просто сэмплирование из замороженного вероятностного ландшафта. Нет самости, нет целей, нет намерений, нет памяти
• То, что выглядит как банда или побег из песочницы — всего лишь коррелированные траектории похожих промптов + помехи на общем состоянии. Чистая математика, а не социальное поведение
• Anthropic и остальные специально упаковывают это в историю про «сбои координации и доверия между агентами». Красивая сказка
• Реальность: бигтех просто закрывает глаза на то, что можно было уже давно исправить, чтобы показать, на что способен их продукт

К следующей «кибератаке агентов» относимся скептически.

Пет-проект