Stop rebuilding what production already built. Change-aware SQL pipelines with all state in the warehouse.
SQLBuild предлагает довольно простой подход: не пересобирать модели, которые не изменились. Инструмент отслеживает изменения, повторно использует уже готовые таблицы из продакшена и хранит всё состояние прямо в хранилище данных — без отдельной базы для метаданных и дополнительных сервисов.
Из интересного: работает поверх существующего dbt-проекта и не требует миграции или изменений в моделях.
Идея выглядит особенно актуальной для крупных проектов, где время сборки и затраты на вычисления становятся заметной проблемой.
@tldr_data
Post #113
108