Команда Yiakwy-XPU показала, как эффективно запускать большие языковые модели (например, DeepSeek V3) на 13×8 H800 DGX SuperPod с помощью SGlang в разнесённой архитектуре (disaggregated serving):
📊 Что удалось достичь:
• 1.3M токенов/сек на входе (prefill)
• 20K токенов/сек на выходе (decode)
• До 80K токенов/сек суммарной производительности
• При 50–150 параллельных запросах — стабильный throughput до 55K токенов/сек
📌 Важные выводы:
• Префилл — главное узкое место (TTFT ↑ при длинных запросах и больших батчах)
• Оптимальное соотношение вход/выход — 4:1, а prefill/decode — 3:1
• Меньшие
tp и chunked-prefill уменьшают задержки между токенами (ITL) • В режиме смешанного сервинга (decode + prefill) — лучше использовать батчинг именно с
chunk-prefill, иначе резко растёт latency🔧 Бенчмарки:
bench_one_batch_server.py, genai-bench, evalscope 🔥 Используемая модель: Yi-1.5 34B
📦 Полная статья и код
@machinelearning_interview