Социальные агенты: коллективный интеллект улучшает прогнозы LLM? 2/2

Риски и ограничения фреймворка Social Agents:

1. Неточная симуляция старших возрастных групп

Наиболее выраженным риском является снижение точности симуляции для людей старше 55 лет. В то время как для молодежи (18–24 года) корреляция с реальными человеческими оценками достигает 0,71, для группы 55+ она падает до 0,22–0,25. Это связано с тем, что обучающие данные больших языковых моделей (LLM) смещены в сторону молодых «цифровых кочевников», из-за чего модели плохо воспроизводят эстетические нормы и предпочтения пожилых людей.

2. Зависимость от мощности базовой модели

Эффективность фреймворка напрямую зависит от размера и качества используемой LLM. Исследования показали, что:

• В моделях с малым количеством параметров (например, LLaMA 8B или 11B) прирост точности от использования персон может быть нестабильным или незначительным.

• Некоторые компактные модели могут снижать общую ошибку, но при этом терять способность к тонкому различению нюансов и точному соответствию человеческим суждениям.

3. Сложности с высокоуровневыми когнитивными задачами

Social Agents показывают отличные результаты в простых прогнозах (например, кликабельность), им трудно превзойти узкоспециализированные модели в задачах, требующих глубокой абстракции и долгосрочного прогнозирования.

• Например, фреймворк не смог превзойти модель Henry, специально обученную на данных о человеческой памяти, в задаче предсказания долгосрочной запоминаемости видео.

4. Риск внесения шума при чрезмерном масштабировании

Увеличение количества агентов не всегда ведет к улучшению результата. Существует риск того, что необоснованное расширение списка персон внесет шум, а не усилит полезный сигнал.

• Оптимальное количество агентов обычно составляет 10–20; при превышении этого порога точность часто выходит на плато или даже может снижаться в субъективных задачах.

5. Ошибки в специфических категориях классификации

В задачах поведенческой атрибуции (Behavioral Attribution) были зафиксированы периодические снижения качества классификации эмоций для некоторых конфигураций системы. Это указывает на то, что даже коллективный разум агентов может ошибаться в распознавании сложных скрытых интентов и эмоциональных резонансов.

6. Сохранение системных предубеждений (Bias)

Поскольку все агенты создаются на базе одного и того же «каркаса» (backbone model), они могут наследовать общие системные ошибки и корреляции, заложенные в предобученную модель. Это означает, что фреймворк лишь частично смягчает, но не устраняет риск предвзятости, свойственный базовой технологии LLM.