Вступ до MLOps і LLMOps

Добрий вечір пані і панове,

Сьогодні прийшов до вас з вебінаром по MLOps і LLMOps, який проводить Дмитро Сподарець - і він займався цим ще до мейнстріму. Враховуючи глибоку експертизу, ми запросили Дмитра допомогти в організації DevOpsDays Ukraine: AI Chapter (відбудеться восени), і я хотів би порекомендувати відвідати безкоштовний міт:

➡️ https://lu.ma/pz9mltkn?tk=4k0AIj

Також і я працюю в цьому домені, тому тримайте мікро-підбірку технологій, які не будуть зайвими в Machine Learning Operations. Частину ми використовуємо або використовували, частину я бачив на суміжних проектах, тощо.

Основна суть - додати собі в "контекст", щоб коли зустрічаєте статтю або гайд - не скіпали, а розбирались. Все це (ну майже) сетапиться на K8S, і цього набору буде достатньо щоб створити і потикати ML pipeline.

Отже, поїхали, по доменам:
1) Annotation - CVAT, Label Studio
2) Pipelines - KubeFlow / Metaflow / Airflow
3) Experiment tracking - MLFlow
4) Distributed Training - Ray, Horovod
5) Data Versioning - DVC
6) Serving - скиньте в коменти, у нас модельки на еджі (BentoML? KServe? Seldon Core? )
7) Feature Store - Feast
8) Model Registry - також MLFlow
9) Monitoring - Prometheus Stack
10) Tracing - OpenTelemetry + Jaeger

(закінчив список на тулах, які ви ВЖЕ знаєте - для хорошого настрою)

По KubeFlow у нас прям топова експертиза, в сторону multi-region, на 1000+ GPU-шних нод (автоскейлінг звісно). А ще ми випалили лям доларів через залипші поди в кубфлоу, але про це колись буде окремий пост.

Тихої ночі!