Отдельно стало интересно, как работает Pangram и другие ИИ-детекторы. Если вам тоже, можно посмотреть статью на сайте самого Панграма.

Если максимально коротко и упрощенно, то раньше многие ии-детекторы пытались предсказать слово, которое нейросеть будет использовать дальше. Например, в предложении «I’m going to take my dog for a ...» для модели наиболее вероятным кажется слово walk. Соответственно, чем чаще выбирались наиболее предсказуемые продолжения, тем вероятнее детектор классифицировал, что текст написан ИИ. Любому понятно, что это так себе критерий для определения подлинности, поскольку люди весьма часто выбирают наиболее предсказуемое продолжение.

У Панграма другая логика: анализируется совокупный паттерн письма. Для текста создается, грубо говоря, ИИ-двойник, его просят написать ИИ-текст, максимально похожий по теме, длине, тону и содержанию. Затем данные размечаются (человек/не человек), и на основе этих данных модель учится.

В статье приводят пример с Достоевским (забавно, что выбрали именно ФМ, учитывая его любовь к двойничеству в творчестве).

Как понять, что перед нами текст Федора Михайловича? Нужно нанять нескольких людей-имитаторов, которые будут писать максимально приближенно к стилю писателя. Сравнивая разные версии копии с оригиналом, мы сможем найти характерные черты стиля писателя.

Какие именно критерии (длина слов, их порядок, частота и тд) являются ключевыми для нейросети при определении стиля, мы не знаем.

Для меня до сих пор удивительно, что стилевого анализа оказывается в большинстве случаев достаточно для определения того, писал текст человек или нейросеть. Т.е. не очень важно, какие у Достоевского были конкретные мысли по разным вопросам, например, христианству, принципиальнее оказывается форма.

Тут правда важный нюанс: насколько я понимаю, Панграм анализирует не только отдельные слова и синтаксис, но и устойчивые способы разворачивать мысль (как появляется тезис, чем он обосновывается, как вводятся уточнения и контраргументы, как одна мысль переходит в другую и тд.).