Новая Gateway API Inference Extension для Kubernetes упрощает маршрутизацию запросов к моделям ИИ с учётом их особенностей. Это снижает задержки и повышает эффективность работы GPU, обеспечивая стандартизированный и умный подход к обслуживанию генерирующих ИИ-сервисов.

Подробности: https://kubernetes.io/blog/2025/06/05/introducing-gateway-api-inference-extension/

#en

@devo_pes | Другие наши каналы