Помните пост про предсказание покупок с помощью LLM? Один из авторов исследования — Thomas Wiecki — рассказал про проект, который они сделали с Colgate-Palmolive: заменили consumer survey стоимостью $50K восемью промптами. 57 продуктов, 90% корреляция с реальными покупателями, без файнтюнинга.
3) При помощи LLM генерируем виртуальных покупателей (типа того, как мы делали с юзерами) и просим их ответить по шкале. НО вот тут зарыта собака: обычно при прямом промптировании LLM на шкалу от 1 до 5, они достаточно плохо это делают (сдвинутые распределения, несоответствующие реальности).
4) Поэтому ресерчеры чуть подкрутили этот шаг: сначала они просят LLM сгенерировать текстовый ответ а-ля "выглядит прикольно, я бы наверное попробовал, если не очень дорого и работает стабильно", а потом по смыслу - специальным методом, который назвали Semantic-Similarity Rating - маппят эти ответы на шкалу. И сразу получилось адекватно - 90%+ корреляция результатов реальных и виртуальных покупателей.
Собственно, бонус: запилили с дружбаном agent skill для этого - забирайте:
1) Описываешь свой продукт/концепт
2) Агент генерит 5-8 персон (возраст, доход, локация — именно эти параметры важны)
3) От лица каждой персоны пишет текстовую реакцию
4) SSR конвертирует текст → распределение по шкале Ликерта
5) Получаешь скор, разбивку по сегментам + текстовое описание
ВАЖНО:
Когда НЕ юзать такой скилл: нишевые и B2B продукты без онлайн-обсуждений. И когда есть деньги на настоящие исследования 😉
P.S. будем разбирать эту тему на AI Native Product Team, кстати