RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache #habr
https://habr.com/ru/companies/vk/articles/1082026/
Tags: vk cloud, kubernetes, облако, vk tech, LLM-инференс, KV-cache, маршрутизация запросов, prefix-aware routing, GPU, vLLM
Author: GRADDATA (VK Tech, VK)