Дано:
— AWS EKS (≥ v1.28.0)
— Karpenter (v.0.31) для создания GPU-нод
— k8s-device-plugin от NVIDIA для предоставления GPU для подов
— Mistral 7B LLM, наша open-source LLM
— Hugging Face text-generation-inference (TGI) сервер
Что делаем с этим:
Запусткаем рабочую нагрузку на основе больших языковых моделей (Large Language Model, LLM) с использованием ускорения на GPU и Elastic Kubernetes Service (EKS).
👉 Читайте в новой статье
@DevOpsKaz 😛