Модель не справляется


▶️ Наблюдение, но подтверждается многократно. Отлаживаю оркестратор, гонял его на разных моделях и часто - второго эшелона. Glm, qwen и m2, например. Хорошие модели!

И в 100% случаев когда воркфлоу падал по причине ошибок агента, когда он что=то не то делал - оказывалось проблема в контексте. Противоречивые инструкции, взаимоисключающие инструкции, недостаточно ясные формулировки, отсутствие информации, битые отсылки и тп.

То есть - все дело в промпте и контексте! Модели с понятными заданиями с нормальным контекстом справляются уверенно

👉 Поэтому: если у вас модель лажает в таком месте, где по вашим ощущениям должна справится - то скорее всего есть причина, и ее реально найти.

👌 как искать? Глазами, если вы старовер. Ну и агентами: у меня "старшие" модели проводили расследование и указывали на противоречия или иные проблемные моменты контекста! Модели такое видят. Конечно, контекст им надо предъявить.


#post
@deksden_notes