Почему синтетические респонденты - плохая идея?

Крис Чапмен — один из создателей термина количественный UX (QuantUX), автор книги по количественным методам, популяризатор метода МаксДиф при исследовании предпочтений пользователей, глава отдела в Амазон, гораздо интереснее и глубже анализирует аргументы против подобного рода методов как синтетики-респонденты - даже с количественной точки зрения.

Вебинар достаточно интересный, посмотрите, не откажите себе в удовольствии, есть даже приличные субтитры на русском https://www.youtube.com/watch?v=gseHxz4PfVw&t=5s

Какие аргументы?

Пожалуй, самый интересный:
Ответы на опрос — это не фиксированные «настоящие баллы» в ответах опроса, которые ждут, чтобы их извлекли. Это мотивированная коммуникация, формируемая контекстом, формулировками, обстоятельствами участников опроса. В то время как синтетические данные — это текст, генерируемый LLM, основанный на обучающих данных и подсказках. В опросных исследованиях, поскольку цель — учиться у людей, их мотивации и контексту, их замена меняет объект исследования. Важно помнить, что моделирование — это не то же самое, что измерение, а симуляция — это не то же самое, что участие в опросе.
Все опросы в мире так или иначе являются смещенными в сторону мотивированных пользователей

Более очевидные и прагматические аргументы

"Подпевалы"
Ошибки в негативных ответах - разрыв в ответах "Нет, не нравится" у людей и синтетиков в десятки процентов. Возможно, что следствие статистической оптимизации. Синтетики хуже отказываются и ставят нет - Крис привел несколько исследований с этим феноменом и это гораздо важнее для бизнеса - знать, что НЕ нравится

Прагматическая неудача
Хорошая метафора в том, что если бы синтетические респонденты так хорошо эмулировали и симулировали человеческое поведение, то все бы загружали себе ЛЛМ для покупки и продажи на рынке акций - но так никто не делает, а если делает, то не слишком успешно (условно загрузить книгу по паттернам анализа японских свечей можно, только это скорее путь потерять деньги). Ни один из ЛЛМ для создания цифрового двойника не предсказыает будущее - так, чтобы быть в этом уверены с позиций прагматизма

Симуляция не для любого опроса и мы не знаем для какого именно
Хотя ЛЛМ может эмулировать ответы 1 человека, иногда даже удачно, но не может эмулировать ответы выборок (как случайных, так и не случайных) так, чтобы разница между выборками была не статзначима. Когда некоторые статьи показывают, что ответы близки к ответам людей, стоит помнить, что в бесконечном варианте всех вопросов всех возможных опросников в мире будут ситуации, где отличие опросника ЛЛМ от живых людей не будет значимым, и будут ситуации, где это отличие будет статистически значимым.

Инструментально сложно использовать
Кроме того, именно репрезентативность выборок дает возможность строить гипотезы о мире - а если различие выборки ЛЛМ и людей десятки процентов, то о каком построении гипотез может идти речь? Естественно, в конце ссылки с разными ссылками на работы про синтетических юзеров, особенно, мне понравилась статья "Синтетические юзеры - гомеопатия исследований"

Презентация будет в комментариях