В статье представлено расширение Kubernetes Gateway API, разработанное для нагрузок LLM/инференса, обеспечивающее маршрутизацию с учётом модели, критичность на уровне запроса и балансировку нагрузки, оптимизированную для инференса

Читайте здесь

👉 DevOps Portal