DevOpsConf 2024 в Сколково: Будущее DevOps и MLOps на горизонте.

Этот год стал настоящим переломным моментом для DevOps-сообщества. Kubernetes уже не единственный герой дня, уступая место новым звездам: Platform Engineering, Безопасности, и самое главное, сфере Machine Learning. Было проведено несколько воркшопов, связанных с применением локальных LLM моделей, с некоторыми DevOps практиками и с проработкой soft-скилов внутри команд. Также нашлось и место для Fail-митапа, на котором множество спикеров из разных компаний рассказывали о своих крупных фейлах. Однако об этом говорить неприятно, поэтому все, что было на этом докладе, останется навсегда в зале 🤫

Мой доклад нашел место как раз в новой секции Big Data и Data Engineering и назывался “Как создать ML-платформу по выводу 💯 моделей в неделю”.
Я долго думал над этим названием, над тем, стоит ли делать его таким броским, однако все же остановился на таком. Как и упоминалось в предыдущем посте, этот доклад был некоторым продолжением с предыдущей конференции.

Вся структура доклада была построена на разграничении обязанностей между командами разработки и MLOps инженерами. Она питалась вопросом: А чем должен заниматься MLOps инженер? Первый блок был посвящен тому, как мы научились на лету распределять ресурсы для Jupyter ноутбуков. Как предоставить ноутбуки пользователям, основываясь на том, что MLOps инженеры должны прежде всего предоставлять среду для разработки, а уже опытные DS и DE будут ее использовать так, как им это необходимо, не зная всю инфраструктуру в целом. Второй блок представлял собой улучшенный подход в обучении и выкладке моделей по сравнению с предыдущим вариантом с конференции из прошлого поста.

По итогу выступления наша команда не только решила проблемы нескольких компаний, которые имеют похожий продукт, но и получила объемную обратную связь по части оптимизации текущего подхода.

Как только появится запись доклада на YouTube, я выложу ее в этой группе

#it_conferences