(выпуск My first week with the new dbt, рассылка Analytics Engineering Roundup)
🔸 Старт разработки без головной боли
With the Cloud CLI, every dbt build I execute on the command line is parsed and executed from within a VM living inside of dbt Cloud’s infrastructure. This means: I no longer have to do local version upgrades, a massive advantage for someone like me who honestly just doesn’t have time to f around with Python dependencies.
Это замечательно и то, что нужно. Фокус аналитика - на создании аналитических приложений, а не на борьбу с зависимостями, version upgrades и поиск error codes на stackoverflow. Чем больше чистого времени у аналитика, тем больше результатов можно получить.
Я уже давно использую devcontainers и даже писал об этом для тех же целей - это бесплатно и не требует иметь лицензию dbtCloud.
🔸 Auto-deferral
Auto-deferral (now also available in the IDE) means that every time you execute a dbt run, dbt is comparing the state of your development project to the state of the production environment and it is only executing code in your development environment where that code differs from production, or is downstream of those changes. All upstream references point to prod.
Я давно использую defer в рамках CI tests (= прогон и тесты только изменяемых graph nodes). Теперь, в рамках dev это ускоряет процессы разрабтки на порядок.
Жаль, что удобно использовать это можно пока только в dbtCloud.
Из связанного, на ум сразу приходит фича Snowflake zero-copy clone.
🔸Data Mesh
Коротко, это про то, чтобы DWH разделить на зоны ответственности и дать командам развивать интересующие их области самостоятельно, по их правилам.
Называйте это Microservices в Data.
Задействованы и технические аспекты (как это реализовать) и организационные (кто владеет ownership).
Это классная идея и эволюционное развитие, но это скорее релевантно крупным компаниям, в которых как минимум несколько отделов-ветвей заинтересованы в data services, у них есть свои ресурсы на разработку и устоявшиеся правила. Читай, это для корпораций. По моим оценкам, доля таких компаний среди пользователей dbt пока не очень велика. Но это тренд!
They have set up their own CODEOWNERS and other processes, and are much more able to operate independently. They’re excited, empowered.
🔸 Explorer на смену dbt Docs
Мне доступна эта версия в dbtCloud. Приложу несколько скриншотов в комменты.
Выглядит весьма удобно и красиво. Это как раз то, на что я хотел бы давать ссылки для бизнес-пользователей и любителей SQL, отвечая на их вопросы.
Из главного: визуальный граф (DAG), факты о расчете модели (когда, кем, сколько - это новое!), code, dependencies, columns, tests.
dbt Docs just knew about your code, it didn’t really have any more information to show you. Explorer also knows about job and test execution, can trend runtimes, can tell you when data was last loaded, and more. After a few hours with it, I can now feel myself gravitating to it as the place to learn about what’s going on inside our warehouse.
#dbt #roundup #opinion
🌐 @data_apps | Навигация по каналу