Нейросети настолько умные, что не могут притвориться двоечником

Исследователи из Университета Дрекселя попытались заставить языковые модели изображать школьников с разным уровнем знаний по алгебре. Но одной инструкции «отвечай как слабый ученик» для реальной роли двоечника оказалось недостаточно.

Gemini 3.1 Flash Lite, Claude Haiku 4.5 и GPT-5.4-mini получили 379 заданий по алгебре и пять разных ролей учеников. Однако с задачей они не справились. Неважно, была ли модель «отличником» или «двоечником» точность оставалась на уровне 96,8–100%.

Проблема в том, что модель уже знает правильное решение и с трудом подавляет собственные способности. Поэтому авторы разделили задачу на две: сначала отдельный алгоритм моделирует, что ученик знает и где ошибается, а затем LLM формулирует объяснение его ответа. Так удалось получить более правдоподобную градацию: точность «почти эксперта» составила 85,2%, среднего ученика — 57,8%, а слабого — 44,1%.

Авторы признают, что еще не сравнивали своих виртуальных «школьников» с реальными учениками, поэтому пока речь идет скорее о способе научить ИИ правдоподобно ошибаться, чем о точной модели человеческого обучения.

Техобзор 🤖