Чему мы научились после 2 лет работы с Airflow на Kubernetes

Apache Airflow — один из ключевых компонентов нашей Data Platform, который используют разные команды внутри компании. Он обеспечивает работу всех наших процессов трансформации данных, механизмов выявления мошенничества, инициатив в области Data Science, а также множества внутренних задач и сервисных процессов в Teya.

Чтобы представить масштаб: у нас более 300 DAG'ов в продакшене, которые ежедневно выполняют свыше 5 000 задач. Можно сказать, что это средний по размеру деплой Airflow, который стабильно приносит ценность нашим пользователям. Более того, уже больше 8 месяцев мы работаем без единого инцидента или сбоя в Airflow.

В этом посте мы хотим поделиться важными аспектами нашей конфигурации, которые помогли нам построить масштабируемую и надёжную среду. Надеемся, это будет полезно тем, кто только начинает свой путь с Airflow в продакшене или ищет идеи для улучшения текущей инфраструктуры.

https://medium.com/apache-airflow/what-we-learned-after-running-airflow-on-kubernetes-for-2-years-0537b157acfd

#devops #девопс

Подпишись 👉@i_DevOps