Подборка полезных материалов по ML Engineering & ML Ops

- Обзорная статья про то, что вообще такое ML Ops “Machine Learning Operations (MLOps): Overview, Definition, and Architecture”. Статья хорошо структурирована, содержит много красивых схем про разные роли, их ответственность и взаимодействие в рамках работы над ML проектом: Business, DS, DE, IT Solution Architect, SWE, DevOps, ML Engineer. Но, как правильно заметил Арсений Кравченко в своем тг-канале, такая строгая бюрократизация ролей и процесса может подойти не каждой компании. Многое зависит от уровня зрелости компании, масштаба и количества решаемых задач.

- Обзорные статьи от bigdataschool про основные шаги внедрения ML Ops и оценку уровня зрелости ML Engineering & ML Ops в вашей компании: разбор методики от Google и от GigaOm. Вообще, на ресурсе много кратких обзорных статей по ML Ops и Data Engineering: как по отдельным инструментам, так и в целом. Если хочется получить общее представление по отдельным темам, рекомендуем. Подробное описание уровней зрелости от Google можно почитать вот тут.

- Открытый курс ODS “MLOps и production подход к ML исследованиям”. Курс был высоко оценен в сообществе Open Data Science. По итогам его прохождения Юрий Кашницкий опубликовал статью на Хабр с подробным рассказом про опыт создания своего проекта в рамках курса.

- Открытый курс от DataTalks.Club: MLOps ZoomCamp. На курсе детально рассказывается про весь цикл работы MLOps: есть записи лекций, домашние задания и открытый лидерборд.

- Курс от Weights & Biases (wandb.ai): “Effective MLOps: Model Development”. Хороший бесплатный обзорный курс, где рассказывают про основные инструменты и, конечно, не забывают порекламировать проприетарные продукты Weights & Biases.

- Серия видео-семинаров Стенфорда по System Design в ML. Нам показалось, что в материалах акцент больше дается на ML Engineering & ML Ops, поэтому классифицировали ссылку в эту подборку.

- Наикрутейший инструмент - конструктор ML Ops стека на базе open-source инструментов. Позволяет посмотреть плюсы и минусы и итеративно выбрать любой из имеющихся в open-source инструментов для всех ключевых шагов MLOps (Experiment Tracking, Experimentation, Data Versioning, Code versioning, Pipeline orchestration, Runtime Engine, Artifact Tracking, Model Registry, Model Serving, Model Monitoring). Далее, получаем красивую схему архитектуры вашего MLOps стека и рекомендации по его установке.

Если считаете, что подборку стоит чем-то дополнить, welcome в комментарии!

#tech #ml_engineering #ml_ops