Большие языковые модели и тест Тьюринга

Мы уже отмечали, что генерируемый большими языковыми моделями и выглядящий осмысленным текст фактически означает, что нам придётся отказаться от теста Тьюринга. Но одно дело так утверждать, а другое дело - проверить. Недавно опубликованный препринт (Jones, Bergen, 2024) - это вроде бы первая крупная проверка того, как ведут себя в тесте Тьюринга современные большие языковые модели.

Участники эксперимента были случайным образом поделены на 4 группы по 100 испытуемых. Каждая из групп общалась в чате в течение 5 минут с одним из собеседников: Eliza (созданная ещё а 60-ые годы прошлого века программа), GPT-3.5, GPT-4, человек. После этого испытуемые выносили вердикт – является ли его собеседник человеком или программой.

В результате 22% собеседников посчитали человеком ELIZA, 50% - GPT-3.5 и 54% - GPT-4. Эффективность опознавания систем ИИ ухудшалась с возрастом, а вот от степени знакомства с чат-ботами она оказалась не зависимой. Как показал опрос, решения испытуемыми в большей степени принимались на основе стилистических особенностей диалога или проявлений в нём личностных особенностей собеседника, а не собственно логических или интеллектуальных аспектов.

Как оценивать эти результаты? С одной стороны, 54 процента - это не так уж много. И на практике при групповой оценке люди и машины всё ещё хорошо различимы. Но это также означает, что на уровне одного среднестатистического человека эффективность опознания не выше уровня случайного угадывания.

Какое-то время поможет использование более жёсткого критерия. Но у этого подхода потенциал меньше, чем можно ожидать. Ведь при общении с живым человеком лишь 67% собеседников поверили, что на том конце диалогового окна человек, а не машина.

Описываемое исследование интересно ещё и тем, что помимо самих ответов оценивалась уверенность в них по 100-бальной шкале. Изучение уверенности (например, в ответе) - один из современных трендов в нейронауке. В данном случае она показывает, насколько трудно было принять решение. Самый высокий уровень уверенности в ответах оказался для ELIZA, в остальных случаях уровни уверенности были близки. В ситуации, когда GPT-4 принимался за человека, средний уровень уверенности был 73 балла.

Jones C.R., Bergen B.K. (2024). People cannot distinguish GPT-4 from a human in a Turing test. arXiv preprint arXiv:2405.08007.

#ТестТьюринга #LLM