⚡️ Поменять модель или повысить effort?

Когда агент не справляется с задачей, первое естественное желание — поменять модель. Причём работает это в обе стороны: то суперумная модель странно тупит на казалось бы лёгкой задаче, то маленькая вообще не отдупляет, что происходит в сложной.

Но модель это не единственная ручка, которую можно покрутить. Может, лучше повысить/понизить effort?

Выбор модели определяет то, что агент знает по умолчанию. Веса любой модели были зафиксированы в процессе обучения, благодаря чему она знает о паттернах, фреймворках, подводных камнях и так далее. Размер модели определяет, насколько много и насколько хорошо она разбирается в различных областях. Если проводить весёлые аналогии, то Fable — Principal Engineer, Opus — Senior, Sonnet — Middle, а Haiku лучше не подпускать к коду.

Effort же определяет, насколько каждый из них будет стараться над решением конкретной задачи. Сколько файлов прочитать, сколько раз перепроверить себя, насколько уверенным быть перед ответом. На одном и том же промпте одна и та же модель с высоким effort может сгенерировать в 7 раз больше токенов, чем с низким.

Отсюда принцип работы с крутилками:

1. Если ошибка от нехватки знаний (тонкий баг, незнакомая область, архитектурное решение, модель уверенно врёт при любом количестве контекста) — берите модель крупнее.
2. Если ошибка от нехватки старания (агент пропустил файл, не прогнал тесты, не перепроверил себя) — поднимайте effort.

Подробнее про механику выбора, влияние на расход токенов и качество результата, читайте в новой статье на Хабре.

@ai_for_devs