На основе Signs of AI writing сделал скрипт который находит ИИ-паттерны в тексте и возвращает тип паттерна. Чтобы убедиться, что скрипт работает - прогнал на 3000 статьях из Википедии и корпусе текстов (который был сохранен еще до выхода ChatGPT) с популярного блога, а затем сравнил с текстами, которые выдает ChatGPT. Есть заметные различия.

Далее будут самые явные различия. Сначала среднее значение (процентное соотношение к общему числу слов в статье) из Википедии, потом ChatGPT.
- cliches: 0.31 / 2.5
- overexplaining: 0.02 / 0.18
- surface_analysis_ing (ing на конце слов): 1.2 / 3
- broad_generalizations: 0.000750 / 0.039
- false_ranges: 0.005 / 0.021
- not_only_but: 0.003 / 0.063

В общем, "следов" более чем предостаточно, без всяких там векторов, регрессионных моделей и т.д.

После того как получил подтверждение, что скрипт работает - сделал сайт под него - encypher.xyz. Есть бесплатный API. Тексты нигде не сохраняются. Никаких вероятней, что это ИИ-текст - не выводится, пользователь пусть сам решает.

#ai #контент