держу вкурсе, лучше всех мне сэкономил токенов Progressive disclosure и изоляция стадий.

У меня есть оркестратор из 14 скиллов, который ел ~1.2M токенов за один прогон.

Я решил по оптимизировать. Не загружать все 14 скиллов одновременно, а только при переходе к след стейту. Корневой orchestrator выбирает одну stage-инструкцию, а stage-runner читает только ее. Такая тема на полном пайплайне из девяти стадий устраняет около 8 820 повторно загружаемых слов.

В итоге стало 784 400 токенов, экономия около 415 600, или ~35%.