Влияние транспорта KV-переноса на производительность PD-disaggregation на примере инференса MiniMax-M3 #habr
https://habr.com/ru/articles/1094076/
Tags: llm inference, PD-disaggregation, KV-cache, RDMA, InfiniBand, GPUDirect, TCP, TTFT, sglang, minimax-m3
Author: AquaDll
Post #325802
107