Ребята, вот вы в интернетах читаете или даете другим советыИспользуйте как Оркестратор самую умную модель
Типа как логика из жизни, чтобы руководить другими — нужно быть самым умным. Исходя из этой логики управлять государством должны самые умные ученые, а управляют те, кто управляют. Ну и вспомните ваших начальников, они всегда были умнее вас?
А эти сущности ЛЛМ, они вообще не подчиняются человеческой логике, это просто генератор текста, типа Т9 — только очень мощный.
Когда вы какие-то задачки модели ставите:
• дорогая модель условно потратила $10 и решила задачу с первого раза
• дешевая модель потратила $3 и не решила задачу или решила с ошибками. В этом случае мы просто выкидываем эти $3 в помойку.
И я такой задумался, вот я скачиваю из интернет какой-то софт, назовем его orca, который вносит какие-то изменения в мою систему: устанавливает скиллы, ставит хуки, изменяет
CLAUDE.md и
Agents.md.
И какие это изменения, я не изучаю, а доверяюсь этому промпт инженеру, который эти промпты писал:
• Я пишу /init и агент сам создает
CLAUDE.md• Я пишу промпт в Оркестратор. Он этот промпт как-то изменяет и передает воркеру.
• Воркер открывает ПР, который проверяет Ревьювер. Этот Ревьювер тоже передает Воркеру какие-то инструкции, которые я не читал.
• Чтобы было еще веселее вы можете добавить еще в эту систему Критика, которого желательно не вы создавали, чтобы он тоже добавил в это что-то свое.
Т.е. между всеми этими ЛЛМ постоянно происходит какое-то взаимодействие.
И вот теперь как оценить результат того, что они там все вместе нафигачили, особенно с учетом того, что эти ЛЛМы они очень доверчивые и лизоблюдские. Вот вы сами проведите экспиримент типа:
• Чувак, а давай используем GPT-6 Astra Мах.
Он напишет:
• Ты абсолютно прав! Такая мощная модель То что нужно, для решения этой задачи.
Вы пишите:
• Я тут подумал, что наверное GPT-6 Max будет многовато. Давай GPT-5.6 Sol.
Он напишет:
• Ты абсолютно прав! Такая мощная модель несколько избыточна для решения этой задачи.
Вы пишите:
• Я тут подумал. Давай GPT-5.6 Luna low.
Ну вы уже кажется поняли, что он напишет. А теперь представьте, что Т9 будет за вас эти инструкции писать.
В общем, к чему я тут клоню, что пока вы не определите критерии приемки, как вот именно вы определяете, вот эта задача решена правильно, или эти токены просто были выкинуты на помойку. Эти Т9 могут крутить и вертеть вами как угодно.
Они могут
бесконечно бродить по кругу, придумывать в вашей системе краевые случаи, которые на практике никогда не достижимы и просто жечь ваши токены.
И вы вечно будете искать модель поумнее и подписку подешевле.