— У вас респонденты натуральные?
— Нет, синтетика 80%.

Сейчас много надежд на синтетических респондентов. Они могут дать ебейшую скорость и дешевизну исследований. Особенно хочется ускорить исследования для новых или сложных рынков с малодоступными респондентами. Например, чтобы найти 10 ЛПРов в B2B исследовании, может уйти 2-3 месяца и по $700 за интервью на каждого.

Мы совершенно точно придём в точку, где появятся новые методы исследования с использованием ИИ. Ждём только, когда их достоверность можно будет посчитать, и она окажется приемлемой.

Но пока рано. Все проверки результатов исследований, сделанных на ИИ-респондентах, либо «проверяются экспертно» методом самооценки продактом «ммм, похоже на правду», либо в доказательствах большущие дыры. Nielsen и EY попробовали оценить качество исследования на синтетиках, но вышло так себе: методология их оценки не проходит моего критического мышления. Но хотя ребята из syntheticusers.com заявляют, что данные их синтетиков проверяются независимыми университетами, точность там 95%, причём даже в странах и на рынках, на которых LLM, кажется, не обучаются.

Поэтому для важных исследований жду, пока появится надёжное обоснование их достоверности.

В любом случае, я верю в них, и хочу делать с ними проекты. Но я делаю исследования на заказ, и мне недостаточно просто увидеть, что результат похож на моё представление о клиенте, порадоваться и написать пост «AI уволил моих исследователей». Я должен доказать каждый тезис выводов, потому что результатом моей работы клиент защищает решения перед своим руководителем. Нужно не просто принять решение, а ещё и доказать его.

Что делать, чтобы угнаться за ИИ в сфере исследований
... расскажу в завтрашнем посте