Почему TCP провалил дизагрегированный инференс MiniMax-M3

Собрали стенд из двух узлов по восемь NVIDIA B200 и проверили, как транспорт KV-кэша влияет на disaggregated-инференс — когда prefill и decode живут на разных GPU-узлах. Прогнали 268 тестов через sglang.

Картина резкая. RDMA/InfiniBand с GPUDirect срезал медианный TTFT в 5,4-11,5 раза и поднял пропускную способность по выходным токенам в 2,8-3,8 раза против обычного TCP. А вот TPOT почти не изменился — то есть транспорт бьёт именно по стыку prefill → decode, а не по самой генерации.

Главное про надёжность: TCP отвалился в 41% прогонов (31 из 75), а InfiniBand отработал все 75 без единого сбоя. Падает цепочкой: ошибка копирования из памяти CUDA → таймаут переноса KV → роутер отдаёт HTTP 503.

Любопытно, что полосы хватало с запасом: TCP еле выжимал 8,7 Гбит/с, InfiniBand — около 52-62 Гбит/с, и обе сети были далеки от предела. Решает не ширина канала, а способ переноса: host staging против zero-copy GPUDirect.

Разбор целиком: Habr

🔥 — InfiniBand в деле
🤔 — а TCP жаль

@ai_n_hardware