🛠 Как я организовал оркестрацию данных с помощью Airflow

Недавно собрал пайплайн на Apache Airflow для автоматизации обработки батчей данных. Вот как это устроено:

📦 Каждый батч (например, 2025_01, 2024_12 и т.д.) проходит через три стадии:

- Extract — тянем данные
- Preprocess — подготавливаем к сохранению
- Save — сохраняем в хранилище

⚙️ После завершения всех батчей запускаются финальные таски:

- optimize_clickhouse_table — оптимизация таблицы в ClickHouse
- cleanup_tmp_files — очистка временных файлов

Airflow отлично справляется с зависимостями и параллелизмом — как видно на скрине, задачи исполняются по мере готовности данных.

Теперь мониторинг и управление всем пайплайном занимает минуты, а не часы. Люблю, когда система работает за тебя! 💻⚡️

📲 Все алерты по фейлам летят мне в Telegram через кастомный callback + Telegram API. Уведомления чёткие — сразу вижу, на каком таске упало и с каким exception.

#DataEngineering #Airflow #ClickHouse #ETL #Automation