🎯7 инструментов MLOps
MLOps (Machine Learning Operations) – это культура и набор практик комплексного и автоматизированного управления жизненным циклом систем машинного обучения, объединяющие их разработку и операции эксплуатационного сопровождения, в т.ч. интеграцию, тестирование, выпуск, развертывание и управление инфраструктурой.
Обычно MLOps-система включает платформы сбора и агрегации данных, их анализа и подготовки к ML-моделированию, средства выполнения вычислений и аналитики, а также инструменты автоматизированного перемещения ML-моделей, данных и созданных на их основе программных продуктов между различными процессами жизненного цикла. Такие унифицированные конвейеры частично или полностью автоматизируют рабочие задачи Data Scientist’a, дата-инженера, ML-специалиста, архитектора и разработчика Big Data решений.
Инструментальным воплощением MLOps может быть готовая ML-платформа и даже собственное решение на базе open-source библиотек. Сегодня наиболее популярными инструментами MLOps считаются следующие:
• AI Platform от Google Cloud - полностью управляемая комплексная облачная платформа для анализа данных и машинного обучения https://cloud.google.com/ai-platform
• Azure Machine Learning от Microsoft – облачная служба машинного обучения корпоративного уровня для быстрого создания и развертывания ML-моделей, интегрированная с другими сервисами MS Azure https://azure.microsoft.com/ru-ru/services/machine-learning/
• SageMaker от Amazon Web Services - платформа облачного машинного обучения, позволяющая разработчикам создавать, обучать и развертывать ML-модели в облаке AWS https://aws.amazon.com/ru/sagemaker/
• Kubeflow от Google для Kubernetes - бесплатная ML-платформа с открытым исходным кодом для использования конвейеров машинного обучения в среде контейнерной виртуализации Kubernetes https://www.kubeflow.org/
• MLFlow – open-source платформа для управления жизненным циклом машинного обучения, включая эксперименты, воспроизведение, развертывание и центральный реестр ML-моделей https://mlflow.org/
• Sacred – инструмент для автоматизации проведения ML-экспериментов, от отслеживания параметров до сохранения конфигураций и воспроизведения результатов https://github.com/IDSIA/sacred
• DVC – Git-подобная система контроля версий ML-проектов с открытым исходным кодом для локального использования https://dvc.org/