👌ТОП-5 MLOps-фреймворков
Сегодня тема MLOps очень востребована: ML-системы становятся все сложнее, а их разработка и поддержка включает не только вычислительные алгоритмы и прочую Data Science, но и лучшие практики разработки ПО с тонкостями развертывания в production. При этом нужно постоянно следить за дрейфом входных данных и реакции ML-модели на них, своевременно корректируя код с его версионированием. Наладить такую непрерывную цепочку помогают комплексные MLOps-фреймворки, наиболее популярными из которых считаются следующие:
• MLflow — платформа с открытым исходным кодом для управления сквозным жизненным циклом машинного обучения https://www.mlflow.org/
• Kubeflow — платформа машинного обучения с открытым исходным кодом, позволяющая использовать ML-конвейеры для управления сложными рабочими процессами, работающими в Kubernetes, например, обработка данных, затем использование TensorFlow или PyTorch для обучения модели и развертывание в TensorFlow Serving или Seldon. Kubeflow построен на основе внутреннего метода Google для развертывания моделей TensorFlow, который называется TensorFlow Extended. https://www.kubeflow.org/
• FastAPI — это современная, быстрая и высокопроизводительная веб-инфраструктура для создания API-интерфейсов с Python 3.6+ на основе стандартных подсказок типов Python. Он полностью поддерживает асинхронное программирование и может работать с Uvicorn и Gunicorn. https://fastapi.tiangolo.com/
• ZenML —платформа MLOps с открытым исходным кодом, созданная для команд машинного обучения. Она обеспечивает уровень абстракции для максимально простого переноса ML-моделей из исследований в производство. С ZenML Data Scientist получает полный контроль и право собственности на весь процесс конвейера, не вдаваясь в тонкости процессов развертывания. ZenML стандартизирует написание конвейеров ML для различных стеков MLOps, независимо от облачных провайдеров, сторонних поставщиков и базовой инфраструктуры https://zenml.io/
• Seldon Core - платформа с открытым исходным кодом, упрощает и ускоряет развертывание ML-моделей и масштабных экспериментов в Kubernetes. Seldon Core обслуживает модели, созданные в любой среде построения моделей с открытым исходным кодом или в коммерческой среде. Можно использовать мощные функции Kubernetes, такие как настраиваемые определения ресурсов, для управления графами модели. Есть возможность подключить CI/CD-инструменты, чтобы масштабировать и обновлять развертывание. Seldon обеспечивает масштабирование до тысяч производственных ML-моделей и предоставляет готовые расширенные возможности машинного обучения, включая расширенные метрики, регистрацию запросов, эксплейнеры, детекторы выбросов, A/B-тесты, Canary и многое другое. https://www.seldon.io/solutions/open-source-projects/core