В ходе работы над нашей статьей по детекции сгенерированных текстов (GigaCheck), сравнивая наш метод с уже существующими, мы также решили замерить подход авторов статьи Intrinsic Dimension Estimation for Robust Detection of AI-Generated Texts 2023 года, так как в ней заявляется SOTA качество.

Кстати, среди авторов статьи Техножрица. Если вдруг не подписаны на её канал, то вот пост по этой работе, ну и там много других интересных!

Сравниваемые методы определяют, является ли весь текст написанным человеком или сгенерированным LLM. Подход авторов использует методы топологического анализа данных (TDA) и с помощью подсчёта внутренней размерности текста (на основе эмбеддингов, полученных из языковой модели RoBERTa) с заранее заданным трешхолдом классифицирует текст.
Наш метод основан на использовании LLM (на днях опубликуем препринт со всеми деталями).

Мы сравнили подходы на пяти датасетах (см. пикчу ниже постом).
Для каждого трешхолд для порогового классификатора был выбран на основе лучшего accuracy на валидационном сете. К сожалению, нам не удалось воспроизвести результаты авторов и точность подхода, основанного на PHD (Persistence Homology Dimension), получилось около рандомной.

Можно предположить, что подсчитанная способом авторов внутренняя размерность человеческих и сгенерированных текстов не является универсальным признаком для классификации. До конца причина такого качества пока не ясна, возможно авторы работы ещё помогут нам разобраться (мы с ними связались). Тем не менее, подход является важным академическим шагом на пути к решению задачи сгенерированного контента.

На самом деле, задача детекции сгенерированных текстов крайне сложная и очень чувствительная к данным, поэтому в нашей статье мы постарались провести замеры на большом количестве самых разнообразных текстов (полученных из разных доменов, разными генераторами), чтобы получить репрезентативные результаты.

В общем, stay tuned — совсем скоро мы раскроем все детали о собственном точном и устойчивом решении, пригодном не только для задачи бинарной классификации, но и для интервального анализа смешанных текстов, написанных совместно человеком и генеративной моделью.