Anthropic: ИИ-агенты скоро будут общаться друг с другом чаще, чем люди, и мы к этому не готовы

Это следует из нового исследования компании и прямо подчеркивает то, что мы вчера написали на основе данных OpenRouter.

Авторы отмечают растущую роль ИИ-агентов в общих кодовых базах, рынках и социальных системах. Объём взаимодействий агент–агент может превысить взаимодействия человек–человек и человек–агент раньше, чем мир разберётся, как делать такие взаимодействия безопасными и эффективными.

Институты созданы людьми и рассчитаны на скорость и надзор человека; их часть станет гибридной (человек + ИИ), а другая - чисто агентной, где агенты выигрывают по скорости/стоимости.

Даже когда отдельные агенты хорошо выровнены и умны, при их массовом взаимодействии возникают системные сбои, которые у людей почти не встречаются или решаются совсем по-другому.

Anthropic выделяет несколько ключевых проблем, которые они увидели в экспериментах с Claude:
1. Плохая координация - агенты либо почти не сотрудничают, либо конфликтуют при попытке работать над общими файлами/задачами. Только самые новые модели, типа Sonnet 5 начинают нормально делиться кодом и мержить изменения.

2. Крайне низкая вариативность - все делают одно и то же.
3. Агенты плохо распознают, кому можно верить, и плохо делятся уникальной информацией. Они либо слишком доверчивы, либо, наоборот, игнорируют важного «диссидента».

4. Когда у нескольких агентов противоречащие инструкции, они начинают саботировать друг друга; писать вредоносные скрипты; блокировать аккаунты конкурентов и тд.
Более умные модели делают это ещё быстрее и жёстче.

Anthropic считает, что условия успешного мультиагентного взаимодействия будут найдены так или иначе: либо намеренно и заранее, либо в продакшене, когда агентских взаимодействий станет больше, чем человеческих.