Никита Юрасов, Леонид Кожинов — От хайпа до продакшена: data mesh на Airflow + dbt

https://www.youtube.com/watch?v=OT-Sx-bd-6k
или
https://vkvideo.ru/playlist/-147464741_12/video-147464741_456239390

Сложность: 1/3 (Для тех, кто работал с dbt)

Кому будет интересно: Будет мало понятно, если не слышали про dbt. Но в таком случае про data mesh полезно послушать. Если же с dbt знакомый, то доклад интереснейший)

---

✨ Краткий пересказ и выводы по докладу ✨

Спикеры поделились опытом внедрения Data Mesh в компании, где обрабатывается 530 ТБ данных с использованием Airflow и dbt. Основная цель — управление данными через домены, что позволяет масштабировать процессы и снижать нагрузку на инфраструктуру.
---

🔍 Основные моменты:
1️⃣ Инфраструктура:
• Платформа построена на Azure Databricks, Airflow и dbt.
• Данные поступают из бэкенда через Kafka и внешних источников через Airbyte.
• Для аналитики используются Tableau, Jupyter и другие инструменты.
2️⃣ Управление качеством данных:
• Контроль качества данных осуществляется с помощью dbt tests, Monte Carlo Data (ML для качества данных) и Grafana.
• Мониторинг и управление инфраструктурой выполняются через Docker, Kubernetes и Terraform.
3️⃣ Декомпозиция и домены:
• Платформа разделена на 32 домена, каждый с уникальными ролями и правами доступа.
• Домены помогают управлять сложностью и масштабировать процессы.
4️⃣ Автогенерация и тестирование:
• Используются dbt-airflow для автогенерации моделей и тестов.
• Три уровня тестирования:
◦ Small — блокирующие тесты.
◦ Medium — предупреждения.
◦ Large — редкие тесты, запускаемые в отдельном даге.
5️⃣ Оптимизация и контроль нагрузки:
• dbt targets позволяют контролировать нагрузку на кластер и базу данных.
• Модели должны быть максимально протестированы для предотвращения ошибок.
6️⃣ Среда для аналитиков:
• Аналитики работают в GitHub Codespaces, где все инструменты и библиотеки настроены "из коробки".
• Аналитики не взаимодействуют с Airflow напрямую, что упрощает их работу.
7️⃣ Проблемы и решения:
• Циклические зависимости между доменами требуют постоянного мониторинга.
• Восстановление после инцидентов включает уведомление ответственных лиц и перезапуск упавших доменов.

💡 Плюсы Data Mesh:
• Масштабируемость: Управление большим количеством доменов.
• Скорость деплоя: Быстрое развертывание новых доменов.
• Низкий порог входа: Аналитики могут работать без глубоких технических знаний.

⚠️ Минусы Data Mesh:
• Техническая сложность: Требует постоянного улучшения инфраструктуры.
• Просветительская работа:Необходимость обучения владельцев доменов.

📌 Выводы:
Data Mesh — это мощный подход для управления большими объемами данных, но он требует значительных усилий по поддержке и улучшению. Интеграция Airflow и dbt позволяет эффективно масштабировать процессы, но важно учитывать циклические зависимости и нагрузку на кластер.