Верить в "its just scale" больше не модно, однако я все больше убеждаюсь во мнении, что решает ML/AI твою задачу или нет в первую очередь определяется способностями модели. Промтпы, скаффолды, раги и прочие костыли вносят эффект в пределах чуть больше погрешности. Даже если они помогают, то со следующим релизом модели побольше и поумнее эффект пропадает.

Несколько наблюдений на тему. Я сейчас играюсь с GUI агентами, даже сделал свой скаффолд а-ля MobileAgentV3. Общаясь текстом ты не сразу увидишь разницу скажем между Gemini 2.5 Flash, Gemini 3 Flash и Gemini 3 Pro. Но когда ты сажаешь эту штуку управлять телефоном через тулколы разница видна моментально несмотря на то, что модели обучались на схожих данных. Flash 2.5 не может тапнуть куда нужно, принимает иконку Google Translate за Google Play, галлюцинирует целые экраны. Flash 3 уже сносно работает, Pro 3 делает прям вау.

Причём ты можешь дать маленькой модели самый лучший скаффолд, заточить тулы под задачу, очень хитро и умно оптимизировать контекст и всё равно будет плохо. Ты можешь дать большой модели всё максимально кривое и она разберётся.

Другие наблюдения которые объясняются этой гипотезой. Почему Claude Code сработал так, как не сработал до этого Cursor? Потому что вышли Sonnet 4.5/Opus 4.5 у Claude Code и вкупе с максимально простым скаффолдом (фор луп + тулколлы + периодический compact) вдруг заработало. Почему у людей зааработал OpenClaw сделанный максимально проклято, хотя предыдущие попытки сделать такого ассистента не смогли? Вышел Sonnet 4.5 и заработало.

Вывод я для себя сформулировал так. Делая что-то на LLM надо начинать с самой умной и дорогой модели, а затем смотреть насколько ты можешь снизить косты не потеряв в качестве катастрофически. А не начинать эксперименты с мелких моделек и расти по необходимости. Ты понаделаешь для мелких моделей тонну костылей, но все равно не заработает, и все это будет впустую так как большим моделям костыли не нужны и даже мешают.

Очень хочется любить мелкие модели, но не получается