Вы, наверное, уже слышали про ИИ-скандал во Франции? Из списка номинантов на Гонкуровскую премию убрали дебютный роман Телисона Орельена «Либо это, либо смерть». Анонимный твиттер-аккаунт, за которым скрывались французский журналист и исследователь философии, обвинил автора в использовании ИИ при написании романа. Как рассказывают журналист и исследователь, они прогнали текст через ИИ-детектор Pangram, который показал, что большая часть романа была сгенерирована.

А дальше — понеслось. Исключение из списка Гонкура, отмена пресс-тура и даже обвинение в плагиате. Сам Орельен отрицает написание текста с помощью ИИ, говорит, что использовал его только для поиска информации. Но что удивительно, продажи его книги растут и растут. Роман вышел 19 августа, и за шесть недель было продано 65 тыс. экземпляров. Из них почти 19 тыс. Пришлось на неделю после обвинения в использовании ИИ. В общем рейтинге GfK/Livres Hebdo он занял четвёртое место, а среди новинок — первое.

Здесь любопытно два момента.

Во-первых, Pangram — ИИ-детектор, который используют во многих университетах и издательствах для проверки текстов на генерацию. Весной или летом этого года в Reddit я случайно наткнулась на огромную ветку обсуждения этого детектора. Залипла на несколько часов. Читать это было смешно и грустно одновременно. Больше всего мне запал крик души пользователя, который пишет маркетинговые тексты для университетов. Его работу тоже проверяют через Pangram. Так вот, он пожаловался, что уже пять раз переписал свой текст, но так и не смог пройти проверку детектором. При этом он объясняет, что маркетинговые тексты строятся по одному шаблону, из-за чего у него постоянно проблемы с этим сервисом, который обвиняет пользователя в генерации. Дальше чувак писал уже капслоком, что он не знает, что ещё сделать, чтобы пройти эту сраную проверку. Другой пользователь предложил ему переписать текст с помощью ИИ, вдруг получится.

Ещё один пользователь рассказал, что загрузил в Pangram свой рассказ, написанный 20 лет назад, до появления языковых моделей ИИ. Детектор показал 100% генерацию. Кто-то провёл эксперимент и скормил Pangram сгенерированный ИИ текст. Тот показал только частичную генерацию. Затем пользователь взял кусок, указанный как ИИ-текст, и загрузил его отдельно. Результат — текст написан человеком. В общем, выглядит это всё забавно, если не учитывать тот факт, что инструмент работает некорректно, и его результаты могут серьёзно поднасрать.

Во-вторых, во всех ИИ-скандалах напрочь отсутствует презумпция невиновности. Поскольку ИИ-детекторы несовершенны (и будут ли когда-нибудь — вопрос), получается слово против слова. А общественность и представители индустрии всегда встают на сторону обвинения. Эта ситуация схожа с обвинением в сексуализированном насилии, которое вскрывается через 10-15-20 лет после совершенного предполагаемого преступления. Почему предполагаемого? Потому что доказательств тоже нет. С одной стороны, это приводит к реальному раскрытию преступления, но в основном в том случае, когда есть другие жертвы. С другой — иногда обвинение в насилии используют как месть. Такие случаи тоже были, и на эту тему даже написано несколько книг.

Как принцип презумпции невиновности будет работать в случае использования ИИ — непонятно. Есть подозрение, что никак. Пока не изобретут совершенный ИИ-детектор, во что я не сильно верю, поскольку языковые модели развиваются быстрее противоядия. Но, мне кажется, это хороший вопрос, чтобы подумать об этом.