Самая мощная модель нужна далеко не каждому запросу

Недавно писал про OpenClaw и то, сколько всего сейчас происходит не столько с самими моделями, сколько вокруг них: память, инструменты, браузер, работа с контекстом. Так вот, вышла новость о том, что похожую архитектурную логику теперь можно увидеть и в Alice AI, которая теперь сама выбирает модель под запрос.

Простому вопросу — быстрый ответ. Если же нужно сопоставить несколько документов, что-то посчитать и учесть кучу условий, система может подключить режим «Эксперт».

Логика понятна. Гонять каждый запрос через самую тяжёлую модель — дорого и долго, а будет ли ответ от этого лучше, ещё вопрос.

Под капотом тут две отдельные задачи. Роутер решает, какой модели отдать запрос. Харнесс уже организует саму работу: передаёт контекст, даёт доступ к поиску и файлам, позволяет вызывать инструменты и использовать результаты этих вызовов на следующих шагах.

Например, если надо сравнить несколько документов, недостаточно просто скормить модели один промпт. Нужно разобрать файлы, найти нужные куски, при необходимости что-то посчитать, а потом собрать всё это обратно в один ответ. И вот эта часть вокруг модели сама по себе довольно большая инженерная задача.

Для пользователя это выглядит так: загружаешь файлы и описываешь, что нужно сделать. «Эксперт» может включиться автоматически, но его можно выбрать и вручную. По ходу видно, какие шаги выполняет Алиса и к какой информации обращается.

В интервью Forbes Валерий Стромов объяснил экономику этой схемы: значимая часть запросов просто не требует самого дорогого и мощного интеллекта. Поэтому роутер должен сам понимать, какая модель справится с задачей за минимальную стоимость.

До «Эксперта» на своих реальных рабочих задачах я пока не добрался, поэтому про качество судить не буду. Но подумал вот о чём: если собираешь свой AI-продукт и что-то работает не очень, я бы теперь не первым делом бежал менять модель на более дорогую. Сначала стоит посмотреть, что именно она видит, какие инструменты ей дали и не теряется ли по дороге нужный контекст.

Вполне возможно, что чинить надо вообще не модель.