Дешевые LLM модели приносят больше вреда, чем пользы

Сейчас случайно поймал в одной из задач, что вместо Опуса субагент запустился на Хайку. Хайку это самая дешевая, тупая и быстрая модель у Клода, Опус самая дорогая, умная и медленная. По умолчанию я всегда работаю с Опусом

Агент делал аудит. Из 7 его находок 5 оказалось ложно-положительными. Т.е. Хайку нашел какие-то проблемы в документах, которых на самом деле не существует. И вроде бы запуск Хайку для этой задачи произошел ради экономии, но на деле на задачу ушло еще больше времени и лимитов из-за его косяков

На этот счет у меня для Клода прописано глобальное правило: Никогда не используй Хайку. И оно в целом помогало, субагенты никогда не запускались на этой модельке до сегодняшнего дня. Ну или я так думал. В Клоде есть встроенные агенты, настройки которых предопределены заранее и не следуют правилам проекта. Так вот оказалось, что по умолчанию один из них — Explore агент, который имеет права только на чтение файлов для быстрого исследования — запускается всегда на Хайку. И вот главный агент запустил его и я получил кучу ложных результатов в аудите, потому что тупая и дешевая модель сильно чаще галлюцинирует

Так вот, если используете нейронки, то всегда выбирайте самую мощную модель из доступных, даже если она быстрее жрёт лимиты в подписке. Выбор в сторону более дешевых даст вам кучу багов, ошибок и косяков, исправление которых потребует больше вложений, чем стоит использование нормальной модели со старта