Социальные агенты: коллективный интеллект улучшает прогнозы LLM? 1/2

Несколько свежих работ посвященных агентам набрали внимание и первоначальную критику. Одна из них про мудрость толпы для ИИагентов против классической мудрости толпы (человека) получила критику типа качественных факторов перехода, недостаточное покрытие статистическими примерами. Но какие наративы там вообще присутствуют? И с какими рисками столкнулись в практических симуляциях?

кос AGI, botsvshumans, ИИАгенты, эмерджентность

https://openreview.net/pdf?id=73J3hsato3

Социальные агенты: коллективный интеллект улучшает прогнозы LLM?

Фреймворк Social Agents реализует классические принципы «мудрости толпы» (Wisdom of Crowds) Джеймса Шуровьески через моделирование синтетического общества агентов на базе больших языковых моделей (LLM).

Реализация четырех столпов в системе выглядит следующим образом:

1. Разнообразие мнений: Фреймворк использует «Фабрику агентов» (Persona Agent Factory), которая содержит персоны с широким спектром демографических (возраст, пол, местоположение) и психографических (ценности, интересы, образ жизни) характеристик. Это позволяет системе охватывать множество социальных предпочтений и взглядов, имитируя разнообразие человеческого общества.

2. Независимость: Для предотвращения «группового мышления» каждый агент опрашивается отдельно. Между агентами нет взаимодействия или взаимного влияния: каждая модель-персона выносит суждение о стимуле (рекламе, веб-странице или видео) строго индивидуально.

3. Децентрализация: Каждый агент основывает свои суждения на уникальном контексте своего профиля и «повседневном опыте», заложенном в его промпте. Вместо того чтобы полагаться на усредненные глобальные данные, агенты используют свои «локальные знания», соответствующие их социальной роли, что делает их оценки более специфичными и глубокими.

4. Агрегация: Результаты работы отдельных агентов собираются в единый коллективный вердикт.

◦ Количественная агрегация: индивидуальные баллы (например, вероятность клика или оценка привлекательности) объединяются путем вычисления среднего арифметического.

◦ Качественная агрегация: модератор (LLM в нейтральном режиме эксперта) синтезирует все индивидуальные обоснования агентов в одно единое объяснение, которое интерпретирует причины консенсуса или разногласий в «толпе».

Такая структура позволяет системе компенсировать индивидуальные ошибки агентов и достигать более высокой точности прогнозирования по сравнению с одиночными моделями. Модель не просто суммирует мнения, но и эксплицитно указывает на причины конфликтов (разногласия = ценная информация). Если мнения разделились, итоговый отчет будет содержать описание этого раскола, что делает модель более интерпретируемой по сравнению со стандартными «черными ящиками» LLM .

Поведенческая классификация (Behavioral Attribution): Фреймворк показал лучшие результаты, чем Behavior-LLaVA (в режиме zero-shot), с преимуществом до 55,3% в определении стратегий убеждения и более чем на 30% в классификации действий и причин в рекламе.

Подчеркивается, что такие высокие результаты Social Agents достигаются с помощью простого 5-кратного промптинга в то время как модели-эксперты требуют обучения на огромных наборах данных, включающих миллионы примеров. (Парето/Ресурс)