21 января в Scientific Reports вышло исследование команды Université de Montréal под названием "Divergent creativity in humans and large language models", которое сравнило творческие способности ИИ и 100 тыс. человек.
‼️ Это самое масштабное прямое сравнение креативности человека и ИИ, на проведение которого ушло почти 3 года.
✏️ Для справедливого сравнения креативности человека и машины исследователи использовали Divergent Association Task (DAT) — психологический тест, измеряющий дивергентное мышление.
Пример задачи: "Назовите 10 слов, которые максимально не связаны друг с другом по смыслу". Далее для оценки используется алгоритм семантической дистанции, который вычисляет, насколько далеки по смыслу слова друг от друга в многомерном семантическом пространстве. Чем больше дистанция — тем выше креативность. Тест занимает 2-4 минуты и имеет сильную корреляцию с другими установленными тестами креативности.
Итак, ключевые результаты
1️⃣ ИИ превзошел среднего человека
Исследование показывает, что некоторые ИИ-системы на основе LLM теперь могут превзойти среднюю человеческую креативность в четко определенных задачах. При максимальной температуре (параметр, контролирующий случайность) GPT-4 достиг среднего балла 85.6 на DAT. Этот результат превосходит 72% участников-людей.
2️⃣ Топ-10% людей значительно впереди любого ИИ
Когда исследователи сфокусировались на наиболее креативных людях, картина кардинально изменилась. Для топ-50% креативных людей средний балл превышает любую протестированную ИИ-модель. В топ-25% разрыв становится еще больше, в топ-10%: разрыв уже огромный.
3️⃣ Для творческого письма результаты аналогичны
Исследователи также тестировали способность написать хайку (трехстрочные японские стихи), киносценарии и короткие рассказы. Паттерн повторился: ИИ иногда превосходил средних людей, но наиболее талантливые человеческие авторы последовательно создавали более сильные и оригинальные работы.
Что это означает? 👀
ИИ достиг "порога средней человеческой креативности", но существует потолок, который современные LLM не могут преодолеть. Результаты подчеркивают, что ИИ-креативность сильно зависит от человеческого руководства.
Наконец, исследование НЕ предсказывает конец творческих карьер. Вместо этого оно предлагает будущее, где ИИ как креативный ассистент — расширяет идеи, открывает новые пути для исследования.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться