Токеномика: почему дешёвая модель может оказаться дорогой

Когда компании оценивают стоимость ИИ, обычно смотрят на цену миллиона токенов и стоимость генерации ответа.

Но для ИИ-агентов такая арифметика работает плохо.

Модель не «помнит» предыдущий разговор как человек. При каждом новом запросе ей приходится снова обрабатывать системный промпт, историю диалога, документы, результаты работы инструментов и другие данные, накопленные в контексте.

Поэтому короткое сообщение «продолжай» после часа работы может стоить значительно дороже полноценного запроса в новом чате.

Автор статьи Дмитрий Гуреев проанализировал работу своей агентской системы и получил среднее соотношение:

38 входных токенов на 1 выходной.

То есть для генерации миллиона токенов полезного ответа агенту приходится обработать около 38 миллионов токенов контекста. Это не универсальная константа для всех систем, а результат конкретных измерений, но масштаб проблемы она показывает очень хорошо.

Для предварительной оценки автор предлагает формулу:

реальная стоимость ≈ 38 × цена входа + цена выхода

И здесь рейтинг моделей начинает выглядеть совершенно иначе.

Модель с дешёвой генерацией может оказаться дорогой из-за высокой стоимости обработки входного контекста. А небольшая или локальная модель способна выиграть не качеством финального ответа, а дешёвым «перечитыванием» накопленной информации.

Особенно заметно это в агентских сценариях, где модель выполняет десятки последовательных шагов:

— анализирует документы;
— вызывает инструменты;
— получает результаты;
— корректирует план;
— снова обращается к контексту.

Чем длиннее история, тем дороже становится каждый следующий шаг.

Отсюда несколько практических выводов.

1. Большое контекстное окно не всегда преимущество

Лимит в миллион токенов выглядит впечатляюще, но если агент постоянно переносит весь этот объём между шагами, расходы растут очень быстро.

2. Контекстом нужно управлять

Завершённые этапы стоит суммировать, ненужные документы — выгружать, а данные — подгружать только тогда, когда они действительно нужны.

3. Кэширование становится частью архитектуры

Если системный промпт и начало контекста не меняются, провайдер может не обрабатывать их заново. По приведённым в статье данным, prompt caching способен заметно снизить эффективную стоимость входа. Но кэширование требует стабильной структуры контекста: изменение ранней части истории может привести к повторному расчёту всего последующего блока.

4. Не все задачи требуют фронтирной модели

Рутинные операции, классификацию, извлечение данных и простые преобразования можно передавать компактным или локальным моделям. Более дорогие модели стоит оставлять для этапов, где действительно требуется сложное рассуждение.

5. Считать нужно стоимость результата, а не запроса

Главная метрика — не цена одного ответа, а стоимость выполнения всей бизнес-задачи до приемлемого результата.

Фактически токен становится единицей прямых переменных затрат. Мы можем увидеть, сколько стоит не только инфраструктура в целом, но и конкретный агент, процесс или пользовательский сценарий.

И это уже не просто вопрос выбора модели.

Это вопрос архитектуры памяти, маршрутизации запросов, кэширования, ограничения контекста и распределения задач между моделями.

Главная мысль статьи: в агентских системах мы часто платим не за то, что модель написала, а за то, что она была вынуждена снова прочитать.

Полный материал:
https://nukonechno.ru/i-iisledovaniya/tokenomika-pochemu-my-nepravil-no-schitaem-zatraty-na-ii

https://t.me/horizon_singularity

#ИИ #Токеномика #AIАгенты #LLM #FinOps #АрхитектураИИ