​​«Если компании, занимающиеся тестированием, используют ИИ для выставления оценок, почему мы не можем?»
Понимание технологии, лежащей в основе автоматизированной оценки эссе
Автор: Ник Поткалицки
📝 Основная идея
Автор разбирает путаницу в учительской среде относительно ИИ, разделяя «страшилки» о ChatGPT и реальные системы, которые уже годами используются в образовании (на примере штата Огайо). Главный вывод: проблема не в самом ИИ, а в его типе, прозрачности данных и контроле качества.

🔍 Ключевые тезисы
1. Дискриминативный vs Генеративный ИИ
Важно различать две принципиально разные технологии:
Дискриминативный ИИ (используется в тестах Огайо): Старая, проверенная технология (LSA), которая классифицирует текст и выставляет балл на основе заданных параметров. Она не «пишет», а «сравнивает».
Генеративный ИИ (типа ChatGPT): Создает новый контент. Исследования показывают, что он пока не пригоден для массового оценивания из-за нестабильности: оценки меняются от формулировки промпта или обновления версии модели.

2. Человеческий контроль — залог точности
Система в Огайо считается надежной не из-за «умных алгоритмов», а из-за жесткого надзора:
Тысячи работ сначала оцениваются людьми вручную.
ИИ обучается только на этих проверенных данных.
25% всех работ в процессе тестирования перепроверяются людьми для исключения ошибок машины.

3. Проблема предвзятости (Bias)
ИИ может занижать баллы ученикам, для которых английский не является родным (ESL/ELL).
Алгоритмы часто принимают специфические грамматические конструкции за признак низкого качества письма.
Решение: Обучение нейросети на огромных массивах данных (от 30 000 примеров), включающих работы иностранных студентов.

Наибольшую опасность представляют не государственные тесты, а неконтролируемые эксперименты внутри округов, где учителя обучают ИИ на малых выборках работ прошлых лет без внешней проверки и защиты от предвзятости.

💡 Рекомендации для педагогов
Уточняйте тип технологии: Какой именно ИИ используется — классификатор или генератор?
Требуйте прозрачности: На каких данных обучалась система и как проверяется её точность?
Защищайте уязвимые группы: Следите, чтобы ИИ не дискриминировал студентов по лингвистическому признаку.

Читать в переводе 6мин