Учёные из Швейцарии и Чехии провели исследование, чтобы оценить способности больших языковых моделей (LLMs) в решении и создании тестов на эмоциональный интеллект.
Согласно результатам исследования, LLMs способны — по крайней мере, на уровне, сопоставимом со многими людьми — выполнять социально-эмоциональные задачи, традиционно считавшиеся доступными только людям.
⚙️ Методология
В эксперименте участвовали 6 LLMs:
🟣 ChatGPT-4
🟣 ChatGPT-o1
🟣 Gemini 1.5 Flash
🟣 Copilot 365
🟣 Claude 3.5 Haiku
🟣 DeepSeek V3
Эти модели прошли 5 стандартных тестов на эмоциональный интеллект, включая Situational Test of Emotion Management (STEM) и Geneva Emotion Knowledge Test (GECo).
Пример задания:
Руководитель, с которым Альфонсо было неприятно работать, увольняется с работы. Что скорее всего почувствует Альфонсо?
(a) Радость
(b) Надежду
(c) Сожаление
(d) Облегчение
(e) Печаль
Затем ChatGPT-4 сгенерировал новые версии этих тестов, которые вместе с оригинальными версиями были предложены для прохождения 467 участникам-людям.
💬 Результаты
☑️ Нейросети превзошли людей по тестам на эмоциональный интеллект, достигнув средней точности 81%. Средний показатель человека — 56%.
☑️ Новые тесты, созданные ChatGPT-4, были сопоставимы по сложности с оригинальными.
☑️ Различия в восприятии ясности, реалистичности и разнообразия заданий между оригинальными и сгенерированными тестами были незначительными (Cohen’s d < ±0.25).
Результаты свидетельствуют о том, что LLMs могут генерировать ответы, соответствующие точным знаниям о человеческих эмоциях и их регулировании.
❗️ Ограничения исследования
▶️ Модели оценивались в контексте конкретных тестов, что не отражает полного спектра человеческих эмоций и ситуаций.
▶️ Контроль генерации со стороны ChatGPT-4 не исключает возможности подгонки под формат известных тестов.
▶️ Участники-люди проходили тесты в одном раунде, а модели — в условиях без ограничений по времени.
▶️ ИИ не обладает внутренними переживаниями — его понимание эмоций остаётся симуляцией, а не эмпатией в человеческом смысле.
🖤 Какие выводы?
🖤 LLMs могут быть полезным инструментом в эмоционально чувствительных областях, даже если они не полностью воспроизводят человеческую эмпатию.
🖤 LLM — перспективный ресурс для улучшения интеграции ИИ во взаимодействие человека и компьютера.
🖤 Способность ИИ справляться с задачами, требующими социального и эмоционального мышления, — ещё один аргумент в пользу того, что мы приближаемся к созданию искусственного общего интеллекта.
Пишите в комментариях, какие эмоции, по-вашему мнению, скорее всего испытывает Альфонсо↪️
💬 Тест Тьюринга. События в сфере ИИ. Подписаться