Чего не может ИИ в литературе? Почему он выглядит столь убого по сравнению с писателями-романистами? Какие операции с текстами можно доверить ИИ, а для чего использовать его просто стыдно и опасно для репутации?

Предлагаю вашему вниманию отрывок из интервью, подготовленного Дереком Томпсоном.

Томпсон: Какие, по вашему мнению, отличительные черты текстов, написанных искусственным интеллектом? И как эти черты изменились за последние четыре года?

Сперо: Ранние модели ChatGPT и искусственного интеллекта обучались на этом наборе данных, настроенном под инструкции, и злоупотребляли некоторыми словами и фразами. Например, “углубляться”, ”гобелен“, "запутанный”. Им действительно понравились эти отдельные слова. Если вы видели слово “копаться” в неподходящей обстановке, это сразу же становилось тревожным сигналом для некоторых людей.

Возможно, через год они смогли устранить эти несоответствия на уровне слов. Но закономерности все еще оставались. Например, конструкция «Это не просто X, а Y» называется негативным параллелизмом, и большие языковые модели любят ее, потому что она оказывает сильное влияние на читателя.

Предложения, в которых используются длинные тире, ассоциируются с хорошим стилем письма. Теперь, я думаю, они даже устранили некоторые из этих несоответствий. Поэтому я полагаюсь на более широкий контекст. Это происходит на уровне абзаца или предложения. Я могу оценить структуру текста и сказать, что он похож на ChatGPT или Claude.

Томпсон: Мне нравится теория о том, что масштаб «рассказа» ИИ менялся с течением времени.

Раньше «рассказ» ИИ существовал на уровне слова — «delve» — или на уровне знаков препинания, например длинного тире. Затем ИИ научился писать лучше, и масштаб был поднят до уровня предложения. ИИ полюбил такие предложения, как «Это не X, а Y», — отрицательный параллелизм, который, как ни странно, я часто использовал.

Spero: В меру — это хорошо.

Томпсон: Я заметил, что длинные тексты, написанные искусственным интеллектом, часто пытаются обобщить и переобобщить информацию. Это заметно на уровне абзаца. Они как будто говорят: «Это действительно важно». «Это основное блюдо». «Суть в том, что…» Каждое предложение пытается превзойти предыдущее в умении обобщить то, что оно пытается сказать.

Что же там происходит?

Spero: ИИ стремится сделать каждое предложение самым впечатляющим. Он действительно пытается произвести впечатление на читателя. Отчасти это связано с тем, как настроены эти системы.

Как правило, модели искусственного интеллекта обучаются в два этапа. Первый этап — предварительное обучение, когда модель предсказывает следующий токен. Она анализирует интернет-данные и говорит: «Думаю, дальше будет такое слово».

Второй этап — это обучение с подкреплением, при котором модель уже хорошо справляется с прогнозированием следующего токена. Вместо этого мы задаем ей новую функцию вознаграждения, например, вознаграждаем ее, если она выдает хороший текст или правильный ответ. При обучении с подкреплением положительный сигнал возрастает до 11. Людям нравится, когда они читают ответ и считают его впечатляющим. Вы берете этот сигнал вознаграждения и увеличиваете его. В конце концов, он повторяет одно и то же снова и снова, потому что так, по его мнению, он сможет сделать свой ответ максимально понятным для человека. Он делает эти предложения впечатляющими и содержательными, потому что знает, что за это его оценят как более умелого автора.

Томпсон: Именно это и происходит. Каждое предложение пытается быть лучше предыдущего. Это сводит меня с ума, потому что в хорошем тексте такого быть не должно.

Когда я писал свои первые большие статьи для The Atlantic, я работал с редактором по имени Дон Пек. Когда я присылал ему первые черновики, он говорил: «Ты слишком рано даешь подсказки. Ты пытаешься вбить в головы читателей: “Вот почему эта статья важна”». Но в статье объемом 7000 слов читатели хотят отправиться в путешествие. Они хотят немного заблудиться. Они хотят, чтобы вы рассказали им историю, а в конце угостили конфетой.