Если кратко — инференс становится доступнее, а инфраструктура требует все больше ресурсов.
✏️ OpenAI и Anthropic снижают цены
Компании почти одновременно представили модели дешевле предшественников. Но цена токена уже не дает полной картины затрат.
✏️ Кэширование выходит на первый план
Все большую роль играет повторное использование контекста. Тренд заметен и по DeepSeek, которая снизила стоимость кэшированного входа.
✏️ Обновляется стек для ML
За месяц вышли новые версии PyTorch, vLLM и SGLang. В SGLang улучшили работу с кэшем и время до первого токена.
✏️ NVIDIA выводит Vera Rubin в производство
Компания подтвердила серийное производство нового поколения ускорителей.
О том, что еще происходит в сфере ИИ и что это значит для экономики инференса, читайте в свежем ML-дайджесте Академии Selectel 👉