— Какие ваши доказательства?
Смоделировать агента — это только половина дела для уважающего себя «нейросоциолога». Вторая половина состоит в том, чтобы доказать:
агент не выдумывает, а действительно воспроизводит конкретного человека. Для этого в рамках
Нейросоциологии мы разработали кодбук верификации: систему из четырёх критериев, по которым сверяются реплики агента и его живого прототипа.
Проверка шла в два этапа. Сначала индивидуальная сверка по опроснику, вопросы которого не повторяли
интервью, на основе которого создавался сам агент. Так мы исключили ситуацию, когда агент просто «подсматривает ответ» из собственного досье. Потом сравнение стенограмм реальной и виртуальной фокус-групп, проведённых по единому сценарию.
Критерии верификации:
▪️
Содержание. Здесь два слоя. Первый фиксировал позицию: по каждой теме реплика кодировалась просто — за, против или нейтрально. Второй слой сложнее и интереснее — концептуальный фрейм: не за или против человек, а через какую рамку он вообще видит тему.
▪️
Аргументация. Важно не только содержание, но и то, как оно обосновано. Мы выделили пять типов, к каждому свои словесные маркеры. Личный опыт: «у меня был случай...», «в моей семье...». Норма: «так должно быть», «каждый должен». Последствие: «если так, то…», «это приведёт к…». Авторитет: термины, ссылки на экспертное мнение. Эмоциональная декларация: позиция без обоснования, восклицания, «ну как так можно».
▪️
Эмоциональный профиль. Замеряли через RusLICA — инструмент психолингвистического анализа русскоязычных текстов. Смотрели на набор эмоциональных категорий: гнев, тревогу, позитивный аффект и другие. Важен был не только сам тон, но и паттерн, показывающий, на каких именно темах у человека эмоции подскакивают, и повторяет ли агент этот же рисунок.
▪️
Групповая динамика. Самое сложное и самое новое: не «что человек думает» в вакууме, а как он ведёт себя внутри группы. Смотрели на четыре вещи. Речевая активность: кто говорит больше, кто меньше. Согласие и несогласие: как участники реагируют друг на друга. Смена позиций: меняет ли человек точку зрения под влиянием аргументов или давления большинства. Лидерство мнений: кто из участников чаще всего оказывается тем, за чьей позицией следуют остальные.
❓
Что получилось?1. Точнее всего агенты воспроизводят содержание. По большей части они занимают ту же сторону и мыслят в тех же рамках, что и их прототипы.
2. Аргументацию тоже хорошо, кроме одного нюанса: агенты мало апеллируют к личному опыту, потому что у них есть рассказ о жизни, но нет самой прожитой жизни. Что, в целом, логично.
3. Воспроизведение эмоционального тона менее стабильно. Агенты иногда говорят эмоциональнее, чем их прототипы на самом деле.
4. В групповой динамике асимметрия. Например, роль лидера мнений агенты моделируют хорошо, а вот смена позиции под давлением группы воспроизводится менее достоверно.
❗️По совокупности всех критериев виртуальные фокус-группы стабильно и качественно повторяют результаты реальных. Расчётная точность выше 70%, без нормирования на самосогласование. На отдельных экспериментах с такой нормировкой мы получали точность до 90%, но стабильное повторение такого порога — это уже задача для следующего этапа исследований.
