🛠 Агент NVIDIA сократил число токенов на 49% в среде GPT-5.6 Sol

Сама модель не менялась — отдельный исследовательский агент переписал среду вокруг неё. На 51 задаче EdgeBench связка SoL-Pi с GPT-5.6 Sol отправила 1,10 млрд токенов против 2,15 млрд у базовой открытой среды Pi, а счёт за API составил 894 доллара против 1339 у Pi и 1787 у проприетарного Codex. Исследователь перебрал 152 идеи на 535 задачах за 3000+ прогонов, и только четыре приёма прошли отбор. Подробный разбор — на Habr.

Прошедшие оптимизации конкретны: Action Fusion объединяет правку файла и запуск тестов в один вызов, ObservationPack убирает большие выводы команд из истории после двух обращений, Evidence-Preserving Reducer сжимает журналы работы недорогой GPT-5.6 Luna с проверкой цитат, а Online Context Compact сжимает историю, только если экономия перекрывает сброс кэша запросов.

Экономия оплачена качеством: на EdgeBench полный SoL-Pi набрал 42,0 балла против 44,8 у Pi, а на Terminal-Bench 4 решил 15 из 63 задач против 18 у Pi и Codex. Каждую конфигурацию прогоняли один раз, разброс между прогонами в статье не замеряли, поэтому разницу в 2–3 балла на 51 задаче от случайности не отделить. Бенчмарк к тому же открыт только наполовину: 51 задача из 134.

Показательно, что один только ObservationPack дал 47,2 балла и счёт ниже на 5%, а полный набор из четырёх приёмов — уже минус 2,8 балла. Оптимизация среды не переносится на другой набор технологий без пересчёта: выгода от сжатия истории напрямую зависит от цены кэша запросов конкретного провайдера и от доли бенчмарка, которая утекла в подбор.

#SoL-Pi #NVIDIA #harness #EdgeBench #GPT-5.6Sol