​​Что вы на самом деле покупаете, когда приобретаете детектор ИИ
Автор: Ань Май
При покупке AI-детектора образовательная организация фактически покупает не столько «детектор ИИ», сколько систему выявления подозрительных работ — вместе с риском ошибочных обвинений.
Здесь важна не только общая точность детектора, но и то, на ком именно он ошибается. Исследование  (Liang et al., Patterns, 2023)  показало резкое ухудшение результатов на текстах студентов, для которых английский не является родным языком: ложноположительные срабатывания достигали в среднем 61,3%, тогда как на текстах американских школьников детекторы работали почти идеально. Простое изменение словарного уровня текста резко меняло результат при неизменном авторстве. Это означает, что детектор может фактически принимать особенности языка и стиля письма за признаки машинной генерации.
Однако, существуют и противоположные исследования с очень низким уровнем ложных срабатываний. Поэтому вопрос должен звучать не «точен ли детектор?», а:
На каком корпусе, при каком пороге и для какой категории учащихся измерена его точность?
Особенно важен масштаб ошибки: даже 1% ложных срабатываний при десятках тысяч студенческих работ означает сотни ошибочно подозреваемых студентов.
Статья критикует подход, при котором университет покупает детектор, но не покупает одновременно процедуру апелляции и расследования. Детектор, по мнению автора, должен быть лишь сигналом для дополнительной проверки, а не доказательством нарушения.
Перед покупкой нужно проверить три вещи:
1. Каков уровень ложноположительных результатов и на каком корпусе он рассчитан?
2. Сколько ошибочных срабатываний получится в масштабах именно вашего университета и сможет ли система апелляций их обработать?
3. Можно ли доказать нарушение без самого показания детектора?
Предлагается перестать рассматривать AI-detector как инструмент, который «определяет, писал ли студент с помощью ИИ», и рассматривать его как вероятностный индикатор, который запускает человеческую проверку и несет вполне конкретный риск дискриминационных ошибок.
Читать 4мин)