значит, вы уже работали с DAG, даже если сами этого не осознавали.
Когда дело доходит до MLOps, AI/ML или сложных пайплайнов,
вам неизбежно придется работать с cloud-native инструментами, которые используют DAG в своих пайплайнах.
Так что же такое Directed Acyclic Graph (DAG)?
По сути, это описание всего вашего пайплайна, в котором определены все задачи, порядок их выполнения и зависимости между ними.
Terraform уже использует эту концепцию.
Перед выполнением
terraform apply он автоматически строит граф зависимостей ресурсов (тот самый DAG). Именно благодаря этому Terraform знает, что сначала нужно создать VPC, а уже потом подсеть.Argo Workflows тоже использует DAG для построения сложных воркфлоу.
Мы впервые познакомились с DAG в Airflow во время работы над MLOps-проектом.
Сегодня такие инструменты, как Kubeflow, используют DAG на Python для оркестрации AI/ML-пайплайнов.
Нужно ли DevOps-инженеру разбираться в этом?
Да. Времена, когда можно было сказать: «Разработка - не моя зона ответственности», уже прошли.
С современными AI-инструментами вы без труда сможете писать пайплайны на Python.
Если хотите на практике разобраться с DAG,
прочитайте материал про пайплайн Airflow + DVC в Kubernetes, где подробно объясняют, как работают Airflow и DAG с точки зрения DevOps-инженера.
Подробнее: https://newsletter.devopscube.com/p/mlops-airflow-dvc-pipeline
👉 DevOps Portal