💧 Python начинает колыхать воды… 💧

ETL для людей: понятная архитектура и работающие пайплайны

Спикер: Владимир Ефимов

📅 Когда: 20 сентября
📍 Где: коворкинг fun(c), г. Самара, ул. Скляренко, 32
🔗 Регистрация на митап в Самаре: вот тут

Данные бывают разными: структурированными и хаотичными, в базах данных, API и просто в файлах.
Если их не собирать и не приводить к единому виду - они остаются просто шумом.
Чтобы превратить этот шум в ценность, мы строим ETL-пайплайны.

В этом докладе мы разберёмся, как построить надёжный и масштабируемый ETL-процесс с нуля — от архитектуры до развёртывания в Kubernetes.

В программе:
- Эталонная архитектура ETL процессов и ключевые принципы проектирования.
- Основы Airflow и лучшие практики создания DAG-ов на Python.

Почему стоит посетить?
- Создадим один царь DAG, чтобы править всеми! 😈
- Настроим синхронизацию пайплайнов с Git-репозиторием.
- Развернём ETL в Kubernetes и напишем свой KubernetesPodOperator.
- Узнаете про лайфхаки, практические советы, боль и факапы на реальных ETL проектах.

Успей зарегистрироваться!