В Airflow все задачи могут завершиться успешно, а данные всё равно оказаться неправильными. Например, после повторного запуска в таблице появляются дубли, хотя сам DAG остаётся зелёным.

На скрине реальная сдача с DE-практикума: пайплайн запустили повторно, после чего отдельно проверили количество строк. До перезапуска было 99 441, после осталось столько же. Значит, повторная загрузка не продублировала данные.

Если вы уже работаете с SQL и хотите лучше понимать весь путь данных от источника до BI, посмотрите канал Дмитрия Кузьмина. Мы знакомы лично, поэтому могу его порекомендовать.

Дмитрий работает Data Engineer и разбирает конкретные инженерные ситуации: слои DWH, grain, проверки качества, Spark, Airflow и расследование ошибок в пайплайнах.

Сейчас в канале он также показывает, как устроен шестой поток DE-практикума со стартом 12 октября. Сначала можно посмотреть технические разборы, работы участников и бесплатные материалы.

Начать лучше с закрепа