FrogNano: кодинг-агент на 4 млрд параметров, дообученный без копирования ответов больших моделей

В новом отчёте Microsoft описан подход к обучению небольших агентов для разработки ПО. FrogNano проходил постобучение исключительно через reinforcement learning на синтетических задачах примерно в 1 500 программных окружениях, без традиционной дистилляции от более крупной модели.

Особенность - генерация задач прямо по ходу обучения. Их сложность подстраивается под текущие возможности агента: он получает задания, которые уже способен решить, но пока с трудом.

По мере улучшения модели меняется и набор задач. Это позволяет поддерживать полезную сложность, вместо того чтобы снова обучать агента на уже освоенных примерах.

Авторы связывают результат прежде всего с точностью подбора сложности. В их экспериментах такой подход позволил получить конкурентоспособного небольшого кодинг-агента на синтетических задачах.

Цель проекта - работа на ограниченном железе. В отчёте разобраны методика обучения, оценки в разных окружениях и анализ приобретённых навыков.

Статья - https://arxiv.org/abs/2609.07925