ИИ в психотерапии: новые данные

На днях вышло очередное исследование, сравнивающее людей-терапевтов и ИИ. Исследователи хотели проверить как соотносятся ответы / реакции на ситуации (vignettes) в парной терапии, предложенные профессиональными терапевтами и ИИ. Всего было восемнадцать ситуаций; человеческие ответы давались тринадцатью терапевтами, со стажем практики от пяти до двадцати лет, девять из которых имели докторскую степень. Для дальнейшего сравнения отбирались ответы — ИИ и людей-экспертов, которые другие эксперты сочли лучшими. Затем эти ответы поступали на панельную оценку группе из восьмисот тридцати человек.

В целом, люди оказались практически не в состоянии определить, где суперквалифицированный терапевт, а где ИИ — человека угадывали правильно в 56% случаев, ИИ в 51%. С учетом того, что нулевой / случайный результат — 50%, отличие едва ли заметное.

Ещё показательнее, что ответы ИИ оценивались выше, чем ответы терапевтов — существенно или, как пишут исследователи, large and reliable difference — по общим факторам терапии, особенно по таким качествам, как установление связи, эмпатичность и культурная компетентность. Обнаружился и эффект атрибуции: когда люди думали, что ответ написал терапевт, они давали ему более высокую оценку, в итоге, больше всего баллов набрали ответы, написанные ИИ, которые были (ошибочно) сочтены человеческими, а меньше всего — ответы терапевтов, (ошибочно) приписанные искусственному интеллекту.

Замечу, что хотя исследование было опубликовано на этой неделе, оно проводилось прошлой весной, почти год назад — так уж до сих пор работает академический паблишинг — и авторы использовали модели (версию ChatGPT), доступные в тот момент. Когда не было ни Claude Sonnet 3.5, ни Gemini 2.0, ни «рассуждающих» моделей, ни других выдающихся новаций последних месяцев, сделавших ИИ существенно сильнее и нюансированнее во всех отношениях.

* Hatch S.G., et al. When ELIZA meets therapists: A Turing test for the heart and mind. PLOS Mental Health, 12.02.2025. Ссылку увидел у Justine Moore из a16z.