WSJ: Почему дешёвые модели ИИ могут обходиться дороже

Сначала американские компании призывали сотрудников использовать как можно больше ИИ, это называли #tokenmaxxing. Теперь бизнес столкнулся с неожиданно высокими счетами и пытается научиться контролировать расходы на токены.

Прогнозировать такие расходы сложно: исследование среди 396 компаний показало, что лишь 11% из них способны точно оценить будущие затраты на ИИ. В отличие от традиционного ПО, ИИ действует скорее как сотрудник: выполняет задачи, принимает решения и может ошибаться, а количество необходимых для работы токенов каждый раз может отличаться.

Более дорогие модели не всегда оказываются дороже в итоге. Они могут справляться с задачей за меньшее число шагов, тогда как дешёвая модель, не подходящая для конкретнной задачи, способна потратить гораздо больше токенов.

Исследователи из Стэнфорда, Carnegie Mellon, Беркли и Microsoft проверили это на более чем 6800 задачах по математике, программированию, науке и другим направлениям. В 32% случаев более дешёвые модели в итоге обходились дороже.

«Нельзя судить о том, какая модель на самом деле дешевле, только по её цене», - отметил один из исследователей.

Показателен пример с моделями Google Gemini 3.1 Pro и Gemini 3 Flash. Pro выполнила задачу по анализу кадра из видео на YouTube за 85 шагов и потратила около $1, тогда как более дешёвая Flash сделала 952 шага, не справилась с задачей и израсходовала $14 на токены.

Расходы могут сильно различаться даже при использовании одной и той же модели. Исследователи сравнили разные запросы и обнаружили существенную вариативность результатов: новая задача может потребовать значительно больше токенов и при этом не обязательно привести к успешному результату.

Google, Anthropic и OpenAI с тех пор выпустили новые модели, показывающие лучшие результаты в отраслевых тестах. В Google отмечают, что определённая вариативность на уровне отдельных запросов неизбежна, а общая стоимость зависит от множества факторов, поэтому точно прогнозировать расходы на новые технологии сложно.

По мере распространения ИИ компаниям придётся не только следить за счетами, но и управлять тем, какие модели сотрудники используют для разных задач. Без таких правил расходы на ИИ могут превратиться для бизнеса в своеобразный «чёрный ящик».

https://perforum.io/news/t/ai-and-daily-life