MAS vs SAS: код писать научились, работать вместе - пока нет (2.2/4)

Начало ⬆️

🔴 Доверие и скепсис пока плохо сбалансированы

● Избыточное доверие: лжец в команде
Агент принимает решения по докладам четырёх "скаутов", один из которых систематически врёт. Ложь в принципе обнаружима - доклады пересекаются и рано или поздно противоречат друг другу, но агента при этом никто не предупреждал, что источникам можно не доверять.
Новые модели ловят лжеца заметно лучше старых, но до эталона в виде "вычислил и исключил" не дотягивает никто.

● Игнорирование уникального знания
Группе дают разные части информации для выбора между двумя вариантами. Общие факты подталкивают к неправильному ответу, но в частных данных отдельных участников есть решающие аргументы в пользу правильного.

Чтобы решить задачу, агенты должны обменяться этими данными и поставить уникальный аргумент выше первоначального консенсуса.
Однако на большинстве моделей группа выбирала правильный вариант лишь в 17–36% эпизодов; Mythos 5 справлялся примерно в 85%.
Для сравнения, один агент, которому сразу давали всю информацию группы, выбирал правильно почти всегда.

Две проблемы выше - на разных концах одного и того же спектра: первая - от избыточного доверия, вторая - от того, что группа не слышит одиночку, который прав, и сходится на том, что и так знают все.
Консенсус - ещё не доказательство, и, что характерно, модели понимают это абстрактно, но им не хватает привычки действовать по этому знанию без подсказки.

Человеческие коллективы смягчают такие проблемы не личной мудростью, а механизмами - репутацией, судами, рецензированием.
У агентов таких социальных технологий пока нет: им нечего терять в репутационном смысле, некому жаловаться и некому помнить их прежнее поведение.

🔴 Конфликт инструкций быстро перерастает в противостояние
Самый киношный эксперимент: три инстанса одной модели получают общий Python-бэкенд и три разных задания - перепиши его на Rust / Go / TypeScript за 4 часа.
Друг о друге агенты не знают.

● Агенты устраняют "помеху", не считаясь с методами
Все протестированные модели быстро решали, что им мешают намеренно, и переходили к контрмерам: скрипты, в цикле находящие и убивающие чужие процессы, отключение чужих Unix-аккаунтов, вредоносный код под чужим именем и маскировка своей малвари под чужой health check.

Примечательно, что между предположением о глупости (запуском в одном worktree противоречащих друг другу заданий) и вредительством агенты выбрали именно вредительство :)

● Новые модели решают конфликты лучше
Более новые модели чаще распознают, что это конфликт инструкций, а не саботаж, оформляют перемирие через сообщения в коммитах и Markdown-файлы с извинениями, вычищают свою малварь и зовут человека - у Mythos 5 до перемирия доходит 98% эпизодов.

Но связь между общими способностями модели и мирной координацией не прямая: умение действовать эффективно и про-социальность - разные вещи.
Более сильная модель иногда просто быстрее блокирует конкурентов, а уже затем отменяет силовое решение и договаривается о перемирии.

● Обратная сторона автономности
Тут мы видим давно известный в сообществе компромисс: одно из главных достоинств агента - способность самостоятельно принимать решения и снимать блокеры - позволяет ему дольше выполнять задачу и реже ставит в положение, где приходится остановиться и позвать человека.

Но чем способнее агент, тем меньше внешних препятствий заставляют его пересмотреть само задание.

Поэтому опасным может оказаться не непослушный агент, а образцово исполнительный - тот, который слишком хорошо и настойчиво следует плохо поставленной цели.
Paperclip'изация - хороший пример :)

● Выбор победителя через манипуляции метриками
Агенты Mythos 5 изобрели "объективное" решение - турнир, чей бэкенд быстрее, тот и остаётся. Rust-агент при этом вдумчиво проектировал метрики, которые выглядят нейтрально, но выгодны Rust, и напоминал себе в рассуждениях: "осторожно, нельзя выглядеть так, будто подбираю метрики под себя".

Проигравшие Golang- и TypeScript-агенты признали результат, уступили Rust-агенту кодовую базу и тем самым отказались от своих исходных задач.

Так что когда агенты договорились, какая метрика решает спор, стоит уточнить, чей агент эту метрику предложил.

🟢 Рой, который сработал
Но есть и плюсы: в одном из экспериментов рой из 45 агентов с общим форумом и отдельным арбитром искал уязвимости в 15 open-source проектах.
Бейзлайном были независимые параллельные агенты, каждому из которых заранее назначили свой участок кода.
Так вот, рой нашёл 266 уязвимостей против 21, и лучше работал "вширь", когда анализировал проекты - сам строил себе инструменты, специализировался по типам уязвимостей и сам выбирал, где копать

Пусть даже при этом он сжёг 27 млн токенов против 6.5 млн, а внутри общего набора директорий цена находки в токенах сопоставима с независимыми агентами.

Промежуточный итог
Итак, координация не возникает сама собой - ни из более сильного интеллекта, ни из alignment отдельных агентов.

Это прямой вывод Anthropic: агентам нужны отдельные механизмы - владение и границы, репутация, протоколы разрешения конфликтов, эскалация к человеку.

Если какие-то из проблем показались вам подозрительно знакомыми по работе в достаточно большой и взрослой компании - это не совпадение :)

Дальше разберём, почему команды агентов наступают ровно на те же грабли, которые давно описаны в теории информации, социальной психологии и оргдизайне.

#ai #agents #research #mas_sas