Мы уже в экспоненте?

Генерация токенов улетела в космос. За последние месяцы трафик Anthropic вырос в 4 раза, потребление китайских моделей скакнуло в 6 раз, OpenRouter — втрое. Это кратный рост за квартал, а не за год.

Причина в агентах. Мы перестали использовать LLM в режиме чата. Теперь я даю агенту задачу, и он уходит на пару часов: сам пишет код, запускает тесты, ловит ошибки и исправляет их по кругу. Так же есть кроны, рутинные автоматизации итп. Все это время модель беспрерывно жрет токены.

Этот паттерн ломает рынок железа. Исторически аренда видеокарт дешевела за счет оптимизации инференса и выхода новых мощных GPU. Но на графиках Vast.ai видно, что сейчас цены пошли вверх на мощные гпушки.

Если мы реально идем к тому, что у каждого человека будет 24/7 крутиться пара ИИ агентов в фоне (а у повер юзеров их будет десятки), то производители железа и памяти (типа Nvidia) - это не раздутый пузырь. Они жестко недооценены под тот объем дата-центров, который скоро понадобится миру просто для базовой нагрузки, даже при значительном апгрейде небольших моделей.

P.S. Сами данные по ценам выложены вот сюда для вашего анализа storage.googleapis.com/vast-public-gpu-pricing/gpu-price-history.json