580 токенов в секунду на Qwen3.5 - новый рекорд для агентских задач на GPU NVIDIA.

PyTorch Foundation опубликовали разбор оптимизации Qwen3.5 в движке инференса TokenSpeed.

Цифра скорости света - 580 tps на агентских ворклоадах. Под капотом: дизайн, реализация и тюнинг моделей в TokenSpeed, плюс FlashAttention-4 от Tri Dao.
Над релизом работали инференс-команда Alibaba Qwen, TokenSpeed от Lightseek Foundation, NVIDIA и Mooncake.

Кому интересно, как именно выжали такую пропускную способность - блог по ссылке.