Астра иногда встаёт посреди работы и решает, что уже закончила
Я обещал писать не только про плюсы OpenAI. Сейчас я упёрся в бетонную стену с Astra + Hermes.
Сейчас всё объясню по порядку. Начнем с печенегов.
Представьте, что вы наняли человека выкопать бассейн.
Он бодро приходит утром. Размечает участок. Вызывает экскаватор. Снимает первый слой земли.
А потом ближе к 11 утра кладёт лопату, подходит к вам и подробно объясняет:
«Для завершения бассейна осталось углубить котлован, залить чашу, провести коммуникации и установить оборудование».
И уходит домой.
Примерно так у меня периодически работает Astra в Hermes.
Она берёт задачу, вызывает инструменты, что-то исследует, иногда даже пишет большой содержательный отчёт о том, что ещё осталось сделать.
А Hermes принимает этот промежуточный текст за финальный ответ.
Занавес.
Задача осталась лежать на операционном столе с аккуратно разложенными ножницами, зажимами, скальпелем и маской с кислородом. Рядом на льду лежит пульсирующее сердце. Astra всё понимает, видит незавершённую работу и даже может перечислить следующие шаги.
Только не делает их.
Я сначала проверил очевидную версию: вдруг мы сами сломали это своими доработками Powerpack.
Нет.
Сравнили код с чистым upstream, проверили фактически установленный runtime, его версию, receipt, route и managed executable. Этот класс поведения пришёл из самого Hermes, а не появился после нашего merge.
И сообщество о нём знает. Так было с GPT 5.3 и вот эта фишка снова с нами.
Есть открытые issues про ложное завершение после инструментов и про агента, который выполнил только часть задачи. Есть несколько PR с попытками научить Hermes распознавать фразы вроде «продолжаю работу», незакрытые задачи и прямое признание недоделки. Но это всё криво и не работает.
Самый близкий кандидат уже предлагает до двух раз возвращать агента за стол, а потом честно показывать статус PAUSED.
Но пока ни одно решение не влито.
И конкретно мой случай они тоже ещё не закрывают: Astra работает через chat_completions, отвечает по-русски и может написать не короткое «сейчас продолжу», а полноценные полстраницы о том, почему работа всё ещё не закончена.
Для текущих детекторов это выглядит не как брошенная лопата.
Это выглядит как красивый финальный отчёт.
Что особенно интересно: с Sol в Hermes у меня такой проблемы нет. Он продолжает работать после инструментов и не путает промежуточный перекур с концом рабочего цикла.
Поэтому я пока не могу сказать, что нашёл волшебную настройку.
Проблема реальная. Проблема известная. Сообщество её ещё не решило.
Но, возможно, её может решить только Тибо из OpenAI. В самом Codex они как-то закрыли этот вопрос и там модель работает без остановки.
Я мониторю upstream, новые issues и PR. Проверяю не заголовки, а конкретный код: поддерживает ли решение chat_completions, понимает ли длинные русские ответы и способно ли отличить честный отчёт о незавершённой работе от выполненной задачи.
Как только появится нормальное решение — проверю его на живом сценарии и расскажу вам, что получилось.
А пока у меня два работника.
Sol копает, пока бассейн не готов.
Astra иногда выходит из котлована, отряхивает руки и приносит мне великолепную презентацию о том, как было бы здорово всё-таки построить бассейн.
Post #8813
1.32K
