🤖💥🧠Малоизвестные, но достаточно полезные-фреймворки для DL
1. ZenML - это фреймворк MLOps, который позволяет создавать готовые к использованию конвейеры машинного обучения. Он предоставляет высокоуровневые абстракции, позволяющие специалистам по обработке данных полностью управлять конвейером, вплоть до его развертывания в продакшн. В отличие от Airflow, который ориентирован на инженеров данных, ZenML упрощает работу с объектами Pandas и PyTorch, не требуя от пользователя глубокого понимания инфраструктуры и инструментов развертывания. Data Scientistу достаточно описать желаемую структуру конвейера, а ZenML возьмет на себя остальные детали и настройки.
2. MLRun - представляет собой дополнительный фреймворк для управления конвейерами машинного обучения. Он предоставляет стандартизацию для конфигурационных файлов, окружений, параметров и источников данных, тем самым снимая необходимость беспокоиться о месте запуска конвейера.
3. Metaflow - это библиотека, предназначенная для управления проектами в области Data Science, разработанных на языках Python или R. Изначально Metaflow был создан в компании Netflix с целью повышения производительности Data Scientist'ов, которые занимаются разнообразными проектами - от классической статистики до современного глубокого обучения.
4. Kedro разработан для создания многомодульного кода MLOps, который обладает свойствами воспроизводимости и поддерживаемости. Он использует принципы программной инженерии и применяет их к коду машинного обучения. Важные концепции, применяемые в Kedro, включают модульность, разделение задач и управление версиями. Кроме того, Kedro предлагает веб-интерфейс для визуализации конвейеров.
5. Seldon Core является платформой MLOps, разработанной для оптимизации рабочих процессов машинного обучения. Она предоставляет набор инструментов, включающих журналирование, расширенные метрики, возможность тестирования (например, A/B-тестирование), масштабирование и преобразование моделей в микросервисы с использованием протоколов REST или GRPC.
6. Flyte представляет собой MLOps-платформу, предназначенную для отслеживания, обслуживания и автоматизации рабочих процессов машинного обучения, включая процессы, связанные с Kubernetes. Она обеспечивает возможность воспроизводить выполнение моделей машинного обучения путем отслеживания изменений модели, управления версиями и контейнеризации модели вместе с ее зависимостями. Flyte предлагает как интерфейс командной строки (CLI), так и веб-интерфейс для удобного взаимодействия с платформой.