Математический предел креативности нейросетей 💀

Математика не шутит, особенно когда дело касается творчества ИИ. Недавняя работа австралийского исследователя Дэвида Кропли из Университета Южной Австралии утверждает, что у генеративных ИИ-систем вроде ChatGPT есть жесткий математический потолок креативности. Речь о том, что даже самые «креативные» ИИ-системы, по мнению Кропли, могут быть креативными только до определенного предела. Давайте разбираться, в чем же тут подвох?

Дэвид Кропли использует классическое определение творчества из психологии, где продукт признается креативным только тогда, когда он одновременно новый и уместный. Он формулирует это так: C = N × E
где C — это креативность, N — новизна, а E — эффективность.

А как это соотносится с языковыми моделями вроде ChatGPT? Кропли вводит понятие вероятности того, какое слово модель выберет на данном шаге. И оказывается, что креативность на одном шаге можно описать как: C = p × (1 − p) = p − p²
где p — это вероятность выбранного слова. Математика подсказывает, что максимальная креативность может быть достигнута, когда вероятность равна 0.5 (средний выбор). Когда слово слишком вероятно, оно становится банальным, а когда слишком редким — уместность теряется.

Пример с котом 😺

Чтобы понять, как это работает, Кропли приводит пример: «The cat sat on the ...». Для ИИ слово mat будет очень вероятным, но оно настолько банально, что новизны почти не добавляет. Более редкие варианты, вроде moon или chair, с одной стороны, новее, но рискуют быть неуместными.

Так вот, каждый шаг в процессе генерации у ИИ балансирует между «банально, но правильно» и «оригинально, но рискованно». И как бы ни старались модели, они не могут быть одновременно очень новыми и очень уместными. То есть, как бы ни учились на данных, ИИ всё равно окажется где-то в середине, между слишком банальным и слишком странным.

Кропли делает вывод, что текущие языковые модели могут лишь имитировать творчество на среднем уровне. В реальности они, по его мнению, никогда не выйдут на уровень профессионалов или гениев. Их «творческий потолок» — это как раз 25% шкалы творческих способностей человека. Выходит, ИИ может быть хорош в создании посредственных идей, но сложно ждать от него настоящего прорыва.

Однако Кропли не говорит, что ИИ всегда будет таким. Он утверждает, что для достижения «экспертного» уровня потребуется новая архитектура, которая будет генерировать идеи, не привязанные к уже существующим данным. То есть, новые технологии, которые смогут выходить за рамки привычных статистических паттернов. Фуух, будущее есть!

Data Science