Мы обновили алгоритм обнаружения ИИ-текста.
Главное изменение — детектор точнее определяет, где именно в документе находятся фрагменты с признаками машинной генерации и где проходят их границы.
Это особенно важно для смешанных текстов. Автор может написать часть работы самостоятельно, использовать нейросеть для отдельных фрагментов, а затем отредактировать результат. В таком документе один общий процент ИИ сам по себе мало что объясняет.
«Детектор ИИ — это вероятностный инструмент. В отличие от проверки на заимствования, здесь невозможно предъявить конкретный источник и дать неопровержимое доказательство. Да и в использовании нейросетей для работы нет ничего предосудительного, с одной оговоркой, что использование было этичным. Таким образом, задача хорошего детектора — дать эксперту устойчивую и интерпретируемую картину того, какие участки текста имеют признаки машинной генерации и сделать это с максимально возможной точностью», — отмечает Юрий Чехович.
Алгоритм протестирован на большом массиве документов и работает в Думейт с середины августа.
А если по результатам проверки нужно разобраться подробнее, в отчете можно сразу задать вопрос ИИ-помощнику — например, попросить разобрать отмеченные фрагменты или объяснить результаты проверки.
☝️Таким образом, следующий этап развития ИИ-детекции — это не вопрос «сколько ИИ нашла система», а вопрос «насколько точно она определяет границы его присутствия в тексте». Такой подход поможет точнее оценивать, насколько этичным было использование генеративных моделей при подготовке академической работы.
👉 Подробнее.