AI-детекторы: часть 1

Все больше людей используют ИИ для создания текстов во всех сферах. И иногда встает вопрос о том, а не является ли конкретный текст порождением ИИ, что по определению снижает мое доверие к нему (независимо от сферы – СМИ или юриспруденция). Здесь на сцену выходят AI-детекторы: софт, который позволяет ответить на вопрос, «кто» написал анализируемый текст.

Под капотом AI-детектора находятся модели разной степени развития, т.к. задача бинарной классификации - стандартная. Поэтому палитра внутренностей AI-детектора широкая: от простых логистических регрессий и наивного байесовского классификатора, до больших языковых моделей.

Первая страница поисковика дает десяток ссылок на разные онлайн детекторы, выбирай – не хочу.

Однако мой опыт их использования показал, что они не работают. Я предлагал нескольким AI-детекторам работы как дореволюционных правоведов, так и советских и современных. Их вердикт был одинаковый: текст сгенерирован ИИ.

Например, фрагмент из учебника гражданского права под редакцией Ю.С. Гамбарова оказался сгенерирован ИИ с вероятностью 74% (по версии одного сайта, на картинке) и с вероятностью 100% сгенерирован ИИ - по версии другого сайта.

В обратную сторону, когда я предлагал для анализа сгенерированный ИИ текст, результат лучше: AI-детектор определил вероятность его ИИ-авторства как 50%. При таком качестве анализа можно использовать монетку и подбрасывать ее над каждым текстом, надежность будет такая же.

Разумеется, у такой недостоверности может быть масса причин – начиная с языка (может быть русский звучит для модели аномально, если вы используется «импортный» софт) и заканчивая невероятным улучшением качества текстов моделей в последнее. В любом случае, я использую ИИ-детекторы лишь как игрушку из любопытства – подтвердит он или опровергнет мое предположение о происхождении текста, но никогда не полагаюсь на его вывод.

P.S. использование ИИ для генерации текстов поддерживаю, но в разумных пределах, когда автор не пытается переложить на языковую модель процесс собственного мышления.