KServe это open source платформа для запуска AI/ML inference прямо в Kubernetes. Поддерживает predictive и generative AI, масштабирование и разные ML-фреймворки.

Грубо говоря, если модель уже обучили и теперь нужно нормально запустить ее в проде, масштабировать и не собирать все на костылях, посмотрите в сторону KServe.

🐈Подписаться