🚀 NVIDIA: “Massive performance leap” для MoE-инференса на Blackwell

NVIDIA выкатили свежий разбор, как их инференс-стек на Blackwell (GB200/NVL72) резко ускоряет Mixture-of-Experts (MoE) модели — на примере DeepSeek-R1.

Главная идея:
MoE-модели дают топовое качество, но *только если* ты умеешь быстро и дешево “роутить” токены по экспертам.
Blackwell + софт-оптимизации делают это реально промышленным.

Что улучшают:
- выше throughput на GPU (больше токенов/сек на железо)
- ниже cost per token
- оптимизации под sparse MoE (эксперты включаются не все)
- акцент на “real-world” сценарии: не бенчмарки ради графиков, а прод-инференс под нагрузкой

Почему это важно:
MoE сейчас — это де-факто архитектура frontier-моделей.
И гонка идет не только за качеством, а за тем, кто даст самый дешевый reasoning/token.


https://developer.nvidia.com/blog/delivering-massive-performance-leaps-for-mixture-of-experts-inference-on-nvidia-blackwell/