#полезное
❤️‍🔥 1.3 млн токенов/сек на H800 — новый рекорд для LLM-инференции

Команда Yiakwy-XPU показала, как эффективно запускать большие языковые модели (например, DeepSeek V3) на 13×8 H800 DGX SuperPod с помощью SGlang в разнесённой архитектуре (disaggregated serving):

Что удалось достичь:
🔵 1.3M токенов/сек на входе (prefill)
🔵 20K токенов/сек на выходе (decode)
🔵 До 80K токенов/сек суммарной производительности
🔵 При 50–150 параллельных запросах — стабильный throughput до 55K токенов/сек

Важные выводы:
🟠 Префилл — главное узкое место (TTFT ↑ при длинных запросах и больших батчах)
🟠 Оптимальное соотношение вход/выход — 4:1, а prefill/decode — 3:1
🟠 Меньшие tp и chunked-prefill уменьшают задержки между токенами (ITL)
🟠 В режиме смешанного сервинга (decode + prefill) — лучше использовать батчинг именно с chunk-prefill, иначе резко растёт latency

Бенчмарки: bench_one_batch_server.py, genai-bench, evalscope
Используемая модель: Yi-1.5 34B

Полная статья и код

👉Новости 👉База вопросов