Таллинский симулякровый эксперимент продолжил Стэнфордский и Уханьский
Два симулякровых эксперимента (Уханьский и Стэнфордский) показали невообразимые ранее перспективы социохакинга.
• Уханьский эксперимент дал точный прогноз итогов президентских выборов в США, предсказав за 2 мес, что Трамп победит со счетом 309 : 229 (в реальности было 312 : 226).
Фишкой прогноза было, что он основан на анализе ИИ-моделью мнений и возможного выбора не людей, а их симулякров.
• Стэнфордский эксперимент пошел дальше. Сконструировав 1000 симулякров индивидуального сознания «типовых» американцев, экспериментаторы статистически корректно сравнили ответы и поведение этих симулякров с таковыми у людей. В итоге симулякры предсказали ответы своих реальных прототипов – людей по тесту GSS с точностью 85%.
Новый симулякровый “Таллинский эксперимент” (совместный проект PyMC Labs Tallin, Estonia и Colgate-Palmolive Company New York, USA) поднял планку практической востребованности симулякров людей еще на пару порядков:
• “цена продажи” избирателям кандидата в президенты США – это несколько ярдов;
• а “цена продажи” новых товаров покупателям (исследования потребительского спроса) – это по миру сотни ярдов в год.
Идея создания симулякров покупателей на основе LLM появилась 3 года назад. Еще в 2022 я рассказывал своим читателям о супероткрытии, названном мною «Китайская комната наоборот». Это открытие на стыке алгоритмов обработки естественного языка, когнитивистики и социологии – технология создания алгоритмических копий любых социальных групп. Тогда впервые выяснилось, что алгоритмы почти неотличимы от людей в соцопросах. И это открывало огромные перспективы для политического социохакинга - влияние на выбор избирателей, путем подбора оптимальных стратегий убеждения в экспериментах с симулякрами социальных групп.
Как уже сказано выше, цена маркетингового социохакинга на 2 порядка выше. Но здесь пока был облом.
Когда компании попытались использовать LLM в качестве синтетических потребителей, они уперлись в стену. Если напрямую попросить такой симулякр оценить намерение покупки по шкале от 1 до 5, учитывая концепцию продукта, то получите нереалистичные распределения: слишком много троек, практически нет крайних ответов, а закономерности не соответствуют реальному поведению людей.
И однозначный вывод был, что использование вместо людей симулякров при опросах потребителей ненадёжно и рискованно.
Прорыв «Таллинского эксперимента» в том, что они показали - это не так. Проблема не в LLM, а в том, как задаются вопросы.
Авторы разработали «Рейтинг семантической схожести» (SSR). Вместо того чтобы заставлять LLM выбирать число, предложены 2 шага:
1. Позволить ИИ ответить естественным текстом (как люди реально рассуждают о готовности купить)
2. Спроецировать этот ответ на распределение оценок по шкале 1–5 с помощью семантической похожести, сравнивая высказывание ИИ с опорными (якорными) формулировками для каждого балла
Результат получился прорывным
Используя 57 реальных опросов потребителей, проведенных ведущей компанией по производству потребительских товаров (9300 ответов), метод SSR показал:
• Достижение 90% корреляции с рейтингом продукта в опросах людей
• Более 85% сходства распределения с фактическими результатами опроса
• Реалистичные модели ответов, отражающие то, как люди на самом деле оценивают продукты
Т.е. это не просто улучшение, а первый подход, который создает достаточно надежные синтетические данные о потребителях, чтобы на их основе принимать реальные решения по разработке продуктов. А в самом близком будущем симулякры на основе LLM заменят людей и на других видах опросов (удовлетворенность, доверие, релевантность ...)
#Социохакинг #Маркетинг