Метод для выявления работ написанных с применением ИИ

Привет киты! 🐳 Забавная статья попалась по теме проверок работ студентов на написание текстом ИИ https://habr.com/ru/articles/1067420/

Профессор вставил белым шрифтом на белом слово Madagascar в документ-задание по эссе про промышленную революцию. Человек при чтении его не видел, а при копировании и вставке в диалог с LLM оно конечно передавалось, что заставляло модель его использовать в ответах и иногда генерить вообще бессмыслицу.

Результат эксперимента: 32 из 35 работ содержали это слово и бессмысленные предложения с ним! - ну чистый наивный вайбкодинг с полным доверием результату и без его валидации ))

Что это дает нам? То что валидация результатов - это все еще ваша ответственность. Вы тот человек который отвечает за переданную информацию, вы ее добыли и обработали, ссылка на "это ИИ криво написал" не прокатит. Если бы нужна была работа такого качества - вас бы не было в цепочке.

У меня ко всем ответам подозрение, иногда даже в очевидной и знакомой тебе теме может попасть ляп. И даже валидация другой моделью не всегда помогает. Потому глаза и мозг в деле - тратим калории и вкладываемся в результат сами.

История из жизни:
Я так новые инструкции на бумаге давал читать людям. Обычно где-то на 3-5 странице в текст было вставлено название животного или слово явно не из этой темы (как у профессора), которое при прочтении ну явно бросалось в глаза.
В вопросах на проверку были обычные вопросы на понимание, несколько штук. И один на проверку внимания: какое животное упоминалось в тексте? В первый раз 4 из 4 не сдали.

А вы валидируете ответы ИИ сами?

#ai #внимание #методика #проверка