По какой логике создавать DAGи и делить их между собой?

На практике без опыта может возникнуть желание объединить все процессы обновления данных в рамках одного DAG, чтобы не плодить множество разных.

Но если копнуть глубже, то к задаче формирования DAG нужно подходить внимательно

1. Каждый DAG имеет свое расписание запуска. Если нужно разное расписание или частота запуска, тогда нужны разные DAGи

2. Объединение множества задач в один DAG может быть критичным, когда нам нужно остановить часть задач, а остальные оставить работать. Так сделать не получится, только переписывать DAG

3. В рамках обновления витрин удобно создавать отдельные DAG с разным расписанием, чтобы равномерно распределять нагрузку на кластер DWH и избавиться от пиковых нагрузок в одно время

#вопрос_от_ученика

Кто я | Навигация | Обучение