Stanford HAI в отчёте AI Index 2025 сообщил: стоимость вывода для системы уровня GPT-3.5 упала более чем в 280 раз с ноября 2022 по октябрь 2024 года. Причина в маленьких моделях, которые стали способными, и в железе: стоимость на уровне оборудования снижается на 30% в год, энергоэффективность растёт на 40% в год.

Привычная трактовка: вычисления дешевеют, значит, маржа AI-продукта подтянется сама. Другая сторона видна в разборе a16z: спрос на вычисления превышает предложение по оценке источников в 10 раз. Цена токена падает, а число токенов на задачу растёт, потому что продукт делают сложнее.

Как это превращается в счёт:
1. Продукт переходит на модель попроще, и цена запроса падает.
2. Команда добавляет агентов, длинный контекст, повторные проверки.
3. Токенов на одну задачу становится в десятки раз больше.
4. Итоговый счёт растёт, хотя цена каждого токена ниже.

Что считать вместо цены токена:
- стоимость выполненной задачи пользователя, а не одного запроса;
- сколько запросов в среднем уходит на одну задачу и как это число менялось за квартал;
- долю стоимости модели в цене тарифа.

Дешёвый токен делает продукт возможным. Прибылью его делает счёт за задачу.

#erartaai #evgeniydubskiy #aieconomics #inference