На вебинаре 1 июля было много вопросов по функционалу и ИИ-возможностям платформы DataForge. Ниже – ответы на вопросы, которые эксперты не успели охватить в рамках прошедшего эфира (1️⃣ часть):
1. Продукт управляется как SaaS или поставляется на on-premise?
DataForge поставляется в виде Docker-контейнеров и может быть развернут локально (on-premise) на серверах внутри защищенного периметра компании. Продукт полностью функционирует без обязательного подключения к интернету.
2. Чем продукт глобально отличается от dbt?
Глобальное отличие в позиционировании: dbt — это инструмент для трансформации данных (ELT, подготовка данных на уровне модели), а DataForge — это инструмент для создания и управления конечными представлениями (витринами, датасетами), с которыми непосредственно работают пользователи и BI-системы. DataForge замыкает на себе слой семантики и бизнес-логики, предоставляя готовые к потреблению данные.
3. Что именно DataForge генерирует на выходе: SQL-код, физические таблицы, views, materialized views, semantic model, dataset для BI?
На выходе DataForge генерирует SQL-код, который создает в хранилище данных (СУБД) представления (views) или материализованные представления (materialized views), а также может создавать физические таблицы. Этот код может быть выполнен автоматически из интерфейса или скопирован для ручного использования. BI-системы подключаются именно к этим созданным объектам в базе данных.
4. Эти дашборды смотрят просто на одну витрину?
Да, в большинстве демонстрационных примеров дашборды подключаются к одной конкретной витрине, созданной в DataForge. Это обеспечивает единый источник данных для дашборда. Однако витрины могут быть разными (плоские или "свернутые" с метриками в строках), и одни и те же показатели могут использоваться в нескольких витринах.
5. В каких сценариях ваше решение применимо? Если у меня уже настроены все ETL, настроены data marts и есть data catalog.
Если ETL, Data Marts и Data Catalog уже есть, DataForge приносит ценность за счет централизации и управления бизнес-логикой на финальном этапе:
🟣Унификация показателей: Перенесите логику расчета показателей, которая сейчас "зашита" в разных BI-инструментах и Excel, в DataForge.
🟣Единое управление изменениями: Изменение формулы одного показателя в DataForge автоматически обновит все витрины и отчеты, подключенные к ним, без необходимости править каждый дашборд вручную.
🟣Самообслуживание пользователей: Бизнес-пользователи смогут собирать под себя новые витрины с нужными разрезами и показателями без помощи разработчиков, переключая BI-системы на созданные в DataForge представления.
6. Есть ли общий линейдж, показывающий, в каком дашборде какие метрики используются и из каких источников они считаются?
DataForge строит линейдж (происхождение данных) автоматически на уровне расчетов показателей: как показатель зависит от других показателей, измерений и полей в таблицах. Можно увидеть, в какие витрины попадает показатель. Однако до конкретных дашбордов линейдж не доходит, так как BI-системы подключаются к витринам напрямую, минуя DataForge. Также в недавно появилась функциональность Impact Analysis для просмотра влияния изменений на все элементы проекта, включая витрины.
7. Покажите витрину, которая используется для этого дашборда. Какие метрики считаются на стороне BI, а какие на стороне БД?
В демонстрации на вебинаре использовались две концепции витрин:
🟣Плоская витрина: Каждый показатель в отдельной колонке, расчет агрегированных значений происходит на стороне СУБД.
🟣"Свернутая" витрина: Показатели выводятся в строках, что позволяет добавлять новые метрики в дашборд без его изменения.
Ключевая идея DataForge — вынести максимум логики (95% показателей) на уровень витрин в СУБД, оставив в BI-инструментах минимум (например, простые фильтры или специфические неаддитивные расчеты). DataForge выступает эталоном для тех формул, которые все же остаются в BI.
Продолжение вопросов ниже ⬇️
DataForge | Подпишитесь и следите за обновлениями продукта 🔗
#DataForge #DataForge_вебинар