Data Lineage от таблицы до дэша 🚀

Новости с саммита от dbt — автоматический lineage от источников до дэшборда в dbt cloud. Доступно только на Enterprise-плане, но это прям киллер-фича!

💡Что такое data lineage — это процесс отслеживания пути данных. В dbt уже можно посмотреть, как таблицы связаны между собой, а теперь обещают добавить и связь с дэшбордами.

Еще анонсировали авто оркестрацию — можно будет запускать экстракт в Tableau сразу после обновления модельки! То же самое обещают и для Power BI. Интересно, будет ли работать с Custom SQL и Relations.

📍Почему важно иметь такую возможность:
- если что-то меняется в данных, будет понятно, в каких дэшах это может что-то сломать или изменить;
- можно будет проверять, используются ли таблицы — и удалять те, что не нужны.
Кажется, это даст ещё и больше возможностей для интеграции с тестами: хотя бы — не запускать экстракт, если тест не прошёл. Может, даже получится выводить автоматические плашки в дэш, что с данными что-то не так.
Что такое dbt