🎨 Интересная работа по сравнению ИИ и людей в творчестве, которая доказывает, что в закрытых задачах люди признают ИИ уже более творческим, а в открытых задачах больше предпочитают ответы людей. Однако видно по статистике, как от версии к версии LLM люди всё больше отстают от ИИ в закрытых творческих результатах, и ИИ стремительно сокращает отрыв там, где нужно открытое исследование.

Закрытая задача — задача, где уже цель задана, но способ решения, предметная область и конкретный результат выбирает сам исполнитель.

Открытая задача — задача, где ответ должен удовлетворять явному, проверяемому набору критериев, но цель явно не определена и исполнитель имеет свободу ее постановки себе.

Статистическая надёжность довольно высокая: 738 участников для слепой оценки шести творческих ответов, случайно выбранных из трёх групп — каждая из которых содержала 160 ответов — сгенерированных как людьми, так и ИИ. Иными словами, если вы хотите продать творческий результат людям по закрытой задаче, то уже лучше его создать с ИИ.

Интересно, что исследование явно показывает, в каком даже не дремучем, а просто опасном для себя заблуждении находятся многие люди, которые убедили сами себя, что ИИ неспособен к творчеству. Опасность тут в том, что другие люди предпочтут купить картину, текст песни или чертёж здания у ИИ, а не у них. Если цель для ИИ чётко поставлена, то это уже так.

Почему такая большая зависимость ИИ от внешней цели понятно — это основа Reinforcement Learning. Однако в чём-то даже неожиданно, что ИИ, пусть и слабее людей пока, но силён и в задачах без явной цели, но с критериями. Это тоже можно объяснить: современный Reinforcement Learning очень часто применяет «рубрики и критерии к ним», поэтому оценка чего-то относительно критериев для ИИ — нативная операция.

Ещё из популярных заблуждений людей в части их понимания творческого потенциала ИИ — часто люди думают, что ИИ «перебирает ответы» или занимается комбинаторикой готовых вариантов. И то и другое в чистом виде современным нейросетям даже недоступно. Современные нейросети — это feed-forward network. Они делают вообще ОДИН проход, в них нет циклов вообще. Мы не умеем обратным распространением ошибки обучать зацикленные (рекуррентные) нейросети. Для комбинаторики компонентов ИИ нужно помнить компоненты точно, но это невозможно даже математически, т. к. количество весов модели на порядки меньше объёма информации из её обучения.

В реальности в творчестве ИИ не перебирает подходящие решения, а «одним взглядом» видит родственные задаче векторы в своём 10 000-мерном гиперпространстве смыслов. Фактически ИИ быстро проращивает граф таких решений, который вполне наблюдался экспериментально в той же работе Meta как COCONUT. Вместо комбинаторики ИИ применяет генерализацию концепций, т. е. обобщение и саму суть данных обучения; выучивание синтаксиса делается даже для ИИ сложнее. Когда ИИ придумывает новое, то ещё срабатывает как универсальный аппроксиматор по теореме Цыбенко, т. к. ИИ способен придумать принципиально новый ответ как интерполяцию между кейсами обучения в семантическом пространстве, а не просто их комбинациями.

https://academic.oup.com/ej/advance-article/doi/10.1093/ej/ueag015/8443370