Мифы и заблуждения в AI-разработке

Забавно, как в мире AI-разработки постоянно появляются новые лучшие практики, а потом оказывается, что они неэффективны или, наоборот, приносят больше вреда, чем пользы. Приведу несколько примеров.

Эффективность

Миф: Дешевая модель сделает задачу дешевле, чем более дорогая.
Реальность: Стоимость задачи складывается из стоимости запроса и количества итераций. Поэтому более дорогая модель может сделать задачу дешевле.

Миф: Чем выше reasoning, тем лучше качество.
Реальность: Модель на более низком reasoning может показывать результаты лучше, чем на высоком.

Миф: Чем больше сабагентов работает над задачей, тем лучше.
Реальность: Увеличение декомпозиции ролей агентов приводит к ухудшению качества.

Миф: Скиллы значительно улучшают качество работы агента.
Реальность: Большинство скиллов не имеют эвалов, и если их просто сгенерировал агент, то получаем ухудшение качества.

Экономия токенов

Миф: Caveman экономит 65% токенов.
Реальность: JetBrains измерили и оказалось, что экономия составляет всего 8,5%.

Миф: RTK экономит 60–90% токенов.
Реальность: На высоком reasoning ничего не экономит, а на низком, наоборот, может увеличить стоимость.

Миф: С Ponytail агент пишет на 54% меньше кода.
Реальность: На самом деле всего на 15%.

А с какими заблуждениями в AI сталкивались вы?