🧠 Медленный учитель удваивает счёт быстрого агента в реальном времени

RealtimeBench заставляет агентов играть в шесть типов игр без паузы на инференс — и картина меняется: медленный GPT-6.1-sol обходит быстрый Jev, когда игры ставят на паузу, но проигрывает, когда таймер тикает. Причина банальна: правильное действие, пришедшее с задержкой, уже бесполезно. Авторы предлагают TORSI — медленный учитель анализирует ошибки на паузе, пишет инструкции для быстрого ученика, а тот действует без вызовов учителя. Два раунда таких инструкций поднимают средний балл Jev с 13.51 до 24.19 по шкале 0–100, улучшая все шесть типов игр.

→ RealtimeBench: 180 задач, игры идут без паузы
→ GPT-6.1-sol сильнее Jev на паузе, но проигрывает в реальном времени
→ TORSI: два раунда, Jev вырос с 13.51 до 24.19
→ Инструкции улучшили ещё три модели без переобучения

Бенчмарки с паузой систематически завышают полезность тяжёлых моделей: в проде задержка инференса часто важнее качества одного ответа. TORSI показывает, что размышления можно вынести в офлайн и передать быстрой модели через текстовые инструкции, не трогая веса. Если метод переносится с игр на реальные агентные задачи, оптимизация сдвигается с размера модели на качество сжатых инструкций.

arXiv
#RealtimeBench #TORSI #агенты #LLM #инференс