Час с ИИ-репетитором дал тот же прирост GRE, что занятие с экспертом. Сессия стоила семь центов

Подготовка к GRE — американскому экзамену для магистратуры — обычно покупается по часам у репетитора. В StudentBench 2 383 взрослых участника сначала решали тест без помощи, затем час занимались с ИИ, человеком или вообще без репетитора и снова сдавали похожий тест.

После часа ИИ в среднем дал такой же прирост, как эксперт-репетитор. В пяти из семи разделов лучший ИИ-вариант показал больший средний результат. Исследователи собрали 2 469 сессий и 175 тысяч сообщений студентов с моделями. Рекорд — у Gemma 4 31B. Её результат прошёл статистический тест на эквивалентность человеку. Один процентный пункт роста стоил $0,0052 против $4,81 у эксперта: в 918 раз дешевле. Вся часовая сессия — план урока, задачи и диалог — стоила $0,067.

Так что индивидуальный разбор задач, который раньше был дорогой услугой, можно дать почти любому человеку за цену нескольких токенов. Следующая проверка: удержит ли такой репетитор знания, поможет ли слабому ученику и сможет ли работать за пределами стандартизированного теста.

Препринт StudentBench

🐊 Матвей про ИИ в MAX