Еще
1) Протестили на результатах 57 опросов по продуктам по персональному уходу (зубная паста и тп), 9300 ответов
2) Обычно в этих опросах используют шкалу Ликерта а-ля "Я куплю этот продукт, если он появится в продаже" от "Точно нет" (1) до "Конечно да" (5)
3) При помощи LLM генерируем виртуальных покупателей (типа того, как мы делали с юзерами) и просим их ответить по шкале. НО вот тут зарыта собака: обычно при прямом промптировании LLM на шкалу от 1 до 5, они достаточно плохо это делают (сдвинутые распределения, несоответствующие реальности).
4) Поэтому ресерчеры чуть подкрутили этот шаг: сначала они просят LLM сгенерировать текстовый ответ а-ля "выглядит прикольно, я бы наверное попробовал, если не очень дорого и работает стабильно", а потом по смыслу - специальным методом, который назвали Semantic-Similarity Rating - маппят эти ответы на шкалу. И сразу получилось адекватно - 90%+ корреляция результатов реальных и виртуальных покупателей.
5) Парочка "но": LLM-ки плохо предсказывали ответы в зависимости от пола, религии, этнической принадлежности и вероятно плохо работают с продуктами, по которым недостаточно данных/обсуждения онлайн; с доходом и возрастом же все было гуд.
А я вот думаю: это реально LLMки молодцы или мы зря делаем исследования, можно было просто почитать форумы?