Подъехал "убийца DBT"
Встречаем SQL Mesh
SQLMesh можно использовать через CLI/ноутбук или в веб-IDE с открытым исходным кодом.
SQLMesh создает эффективные среды разработки и промежуточного хранения с помощью «Виртуальных витрин данных» с использованием представлений,
что позволяет вам плавно откатывать или накатывать изменения!
С помощью простой замены указателя вы можете перенести свои «промежуточные» данные в рабочую среду.
Это означает, что вы получаете неограниченные среды copy-on-write при записи,
которые делают исследование данных и предварительный просмотр изменений дешевыми, простыми и безопасными.
Основной концепцией SQLMesh является идея виртуальных сред данных,
которые представляют собой набор представлений в схеме,
указывающих на материализованные таблицы, хранящиеся в отдельной схеме
Некоторые другие ключевые особенности:
- Автоматическое создание DAG путем семантического анализа и понимания сценариев SQL или Python.
- Модульные и интеграционные тесты CI-Runnable с возможностью преобразования в DuckDB.
- Обнаружение и согласование изменений на уровне столбца
- Нативная интеграция с Airflow
- Импортируйте существующий проект DBT и запустите его в среде выполнения SQLMesh(в превью)
Выглядит достаточно интересно
Post #102
693
Forwarded from 5 minutes of data
- 👍 6
- 👏 2
- 🤔 2