Нейросети предсказывают результаты социальных экспериментов лучше людей 🫣🫣🫣

Ну вот, приехали. Свеженькое исследование ученых из Нью-Йоркского и Стэнфордского университетов показало, что современные LLM (например, ChatGPT) способны с высокой точностью предсказывать результаты различных экспериментов.

В статье приведены примеры 70 экспериментов, включающих исследования, проводимые на национально-репрезентативных выборках (США), затрагивающих различные области: психология, социология и общественное здравоохранение.

Что выяснили:
🌟 Высокая точность прогнозирования: GPT-4 показал высокую корреляцию с реальными результатами экспериментов (r = 0,85). Это означает, что модели способны точно предсказывать результаты социальных экспериментов.
🌟 Сравнение с экспертами: Прогнозы, полученные с помощью GPT-4, показали себя лучше, чем прогнозы, сделанные людьми. Это особенно важно в контексте быстроты и низкой стоимости таких прогнозов по сравнению с традиционными методами.
🌟 Прогнозирование неизвестных результатов: Модель GPT-4 показала высокую точность даже при прогнозировании результатов экспериментов, которые не были опубликованы или включены в обучающие данные модели. Это говорит о способности модели предсказывать новые результаты, что является значительным достижением.

Какие выводы и возможности для практического применения можно сделать:
Модели могут использоваться для проведения пилотных исследований, особенно количественных. Это может сильно ускорить и удешевить процесс оценки эффектов до начала полноценных экспериментов с участием людей.

Однако, несмотря на все преимущества, использование LLM не заменит эксперименты с человеческими участниками, а скорее станет дополнением к ним. Пока наиболее точные результаты были получены при комбинации прогнозов людей и модели. Ну в целом нет гарантии того, что нейронка не начнет галлюцинировать или выдавать «социально одобряемый» результат. https://docsend.com/view/ity6yf2dansesucf#