Илья Семухин нашел очень интересное дело про детекцию сгенерированного текста. А дело-то родное - Верховный суд Республики Татарстан и Вахитовский районный суд Казани. Фабула простая: студентка пытается защитить диплом, работу прогоняют через "Антиплагиат.ВУЗ" - систему, которая вроде как умеет находить ИИ-контент. И тут начинается цирк.
Работу загружали трижды:
⬖ 7 июня - ИИ-контент 41,91%;
⬖ 8 июня - научрук заявляет, что более чем в 70% текста намеренно перемешаны слова, чтобы искусственно поднять оригинальность ценой смысла, называет это фальсификацией и отправляет работу на доработку;
⬖ 9 июня - ИИ-контент 11,92%, а оставшиеся 88,08% суд потом зафиксирует как показатель авторского текста и приравняет к требованию оригинальности не менее 50%.
Тут необходимо сделать оговорку, что неясно, изменялся ли текст между загрузками. Но в сухом остатке - отчисление. Добро пожаловать во взрослую жизнь.
Но девушка решила побороться в суде и победила. Основные выводы суда:
⬖ Человеческой верификации не было. Уже в заседании представитель ответчика признал: научный руководитель вообще не в курсе, как работает Антиплагиат, и компетенции проверять текст на ИИ у нее нет. Представитель также не смог объяснить принципы работы программы, пределы погрешностей и критерии достоверности - короче, ничего. Все просто посмотрели на выводы программы и решили: "И так сойдет!"
⬖ У Антиплагиата нет прозрачной методологии. Отчет системы - вероятностный по своей природе, и в нем самом стоит оговорка: окончательное решение за живым экспертом. А этот "эксперт" немножечко кнопкожим, да и не эксперт вовсе. Вишенка на торте: сравнили отчеты от 7 и 9 июня - одни и те же куски текста в одном помечены как "написал ИИ", а в другом - как "написал человек". И наоборот.
Итоги: вероятностная циферка, которую никто не понимает и не может перепроверить, не может быть единственным и бесспорным доказательством того, что студент жульничает.
Важный нюанс: судя по тексту, представитель вуза давил на то, что определенный процент сгенерированного текста сам по себе является проблемой. Правда, почему это проблема и как ее определять, не рассказал. От себя еще раз отмечу, что в отсутствие цифровых отпечатков в контенте способы определения ИИшницы больше напоминают гадание на кофейной гуще.
Грустная история (благо хоть с хорошим концом) о том, как непроверенные алгоритмы решают судьбу человека.