🛠 Как я знакомился с dbt

Жаркое лето в Питере не отпускает и не даёт вернуться к записи рецептов, так я еще и умудрился простыть 🥲
Поэтому сегодня вместо рецепта обзор dbt!

В начале года перешел на новое место работы, где предстояла большая миграция:

Postgres + Pentaho
⬇️⬇️⬇️⬇️⬇️
Greenplum + dbt + Airflow

До этого ни разу не использовал dbt в проде, и пока наши девопсы разворачивали инфраструктуру, я решил разобраться, что это вообще за зверь и как он используется на практике.

🔍Что такое dbt?

dbt (data build tool) это опенсорс-инструмент для трансформации данных внутри хранилища (DWH).
dbt позволяет:
➖Писать SQL-код, который легко переиспользовать.
➖Встроить автоматические тесты качества данных.
➖Получить удобную документацию и lineage («кто от кого зависит»).
➖Упростить разработку через Jinja-шаблоны и макросы.

dbt часто относят к букве 🔤 (transform) в 🔤🔤🔤, потому что он заточен на удобную трансформацию данных.

📌 Как я изучал dbt?

У dbt отличная документация с кучей примеров, но хотелось именно посмотреть, как его настраивают и используют в реальности. В итоге я наткнулся на плейлист Владимира Амелина, где максимально просто и последовательно объясняются все базовые моменты:
👉 Плейлист на YouTube

Ещё очень помог понятный обзор от одного из крупнейших каналов Инжиниринг Данных:
👉 Что такое dbt и зачем он нужен?

Эти материалы очень выручили в самом начале, когда было совсем не понятно, что к чему.

Если сейчас у тебя похожая ситуация и тоже осваиваешь dbt ,то крайне рекомендую начать именно с этих видео. Сохраняй чтобы не потерять 😏

🤔 В следующих постах вернемся к Airflow, как его поднимать и запускать, про то, как запускать dbt-модели прямо из Airflow, разберём, как дружат эти два инструмента между собой, и многое другое!

Подписывайся, чтобы не пропустить следующие посты
✏️ Кстати, будет интересно узнать у тебя есть опыт работы с dbt или только планируешь изучение?
👇 рассказывай в комментариях