TGViewer
Channel Public Channel
DataForge Platform

DataForge Platform

@dataforge_team

DataForge – российская self-service платформа централизованного управления аналитическими данными. Новый стандарт управления данными! dataforg.ru
Subscribers
80
Photos
26
Videos
0
Links
37

Showing posts older than #12 · Back to latest

Older Posts 8 shown
Post #10 98
Продолжение ответов на вопросы, которые не успели охватить в рамках эфира (2 часть):

9. Где существуют создаваемые представления витрин? В хранилище данных? Т.е. это, по сути, надстройка над хранилищем? Что мешает сделать вьюшку на реальных источниках, зачем использовать DatataForge? Этот продукт делает только представления, или как-то их ещё оптимизирует, например, делает индексы для быстрого поиска?

DataForge исключает человеческий фактор и обеспечивает контроль версий бизнес-логики. В отличие от ручного написания SQL, где каждый разработчик может интерпретировать правила по-своему, DataForge гарантирует, что все витрины будут построены по единым, согласованным и прозрачным правилам. Это снижает количество ошибок и избавляет от долгих разбирательств при расхождениях в отчетности.

10. Какая польза от продукта не в упрощенных, а в реальных сценариях, когда много логики закладывают в самом BI инструменте? Например, с FineBI много логики закладывается в расчетные поля внутри BI системы, и это одна из проблем взаимодействия с каталогом данных. Как эта проблема решается в DataForge?

В реальных сценариях в BI инструментах очень часто закладывают слишком много логики, значительную часть которой можно вынести на уровень витрин через DataForge, оставив в BI инструментах самый минимум. При этом основная бизнес-логика становится независимой от конкретных BI инструментов и может быть легко использована для параллельной работы в разных BI инструментах или при переходе с одного BI инструмента на другой. А для той логики, которую всё равно приходится оставлять в BI инструментах, DataForge выступает в роли хранилища эталонных формул расчёта, на которые должны ориентироваться BI разработчики при создании своих отчётов и дашбордов.

11. Не заставит ли использование продукта прописывать все формулы по два раза - один раз в DataForge и еще один раз в BI системе после сбора семантической модели?

DataForge предполагает, что вся основная логика расчётов вынесена на уровень витрин, и формулы для этих расчётов не требуется повторять в BI системе. При этом для отдельной логики, которую проблематично реализовать в универсальном виде на уровне витрин (например, расчёт неаддитивных показателей типа выполнения плана в %), да, может потребоваться прописать формулы и в DataForge, и в BI, но смысл тут остаётся в том, что во всех отчётах и дашбордах во всех BI системах все BI разработчики прописывают эти формулы “второй раз” по одному и тому же эталону, что помогает обеспечить единообразность расчётов. К тому же в будущем в DataForge планируется добавление возможности для конвертирования формул из описания семантического слоя в формат требуемой BI системы, чтобы такие формулы было проще переносить в BI при создании отчётов и дашбордов.

12. Можно ли использовать DataForge с Power BI, и какая будет польза?

Да, Power BI, как и любая другая BI система, может подключаться к витринам, созданным через DataForge. Польза в обеспечении независимости используемой логики расчётов от конкретной BI системы и прозрачной синхронизации этой логики между разными отчётами и разными BI системами.

13. Какая практическая польза от внедрения DataForge в связке с Qlik Sense?

Если Qlik Sense используется как визуализатор, DataForge создаст для него витрины. Если Qlik Sense включает ETL-функции, DataForge может работать в качестве описания семантического слоя, содержащего понятную бизнесу эталонную логику расчётов.

14. Как DataForge помогает мигрировать с одних BI систем на другие, например с Tableau / Power BI на тот же Superset?

DataForge хранит единую логику показателей и витрин. При миграции вы подключаете новую BI систему к тем же витринам, и вся бизнес-логика остаётся неизменной.
  • ❤ 2
Post #9 79
На вебинаре было много вопросов по функционалу и техническим особенностям платформы. Ниже – перечень ответов на вопросы, которые эксперты не успели охватить в рамках эфира (1 часть):

1. Чем DataForge отличается от витрин с описанием?

DataForge – это не статическое описание витрин, а исполняемый семантический слой, который управляет логикой расчётов. При изменении формул в DataForge витрины автоматически обновляются и становятся доступными во всех подключённых BI-системах.

2. Чем DataForge отличается от дата-каталога?

Дата-каталог, как класс продуктов, предназначен в первую очередь для документирования и описания всех существующих данных, не влияя на их преобразования.
DataForge же фокусируется на создании и управлении семантическим слоем для аналитических данных в связке с формированием витрин в хранилищах, обеспечивая использование единой логики расчётов во всех аналитических системах.

3. С каким технологическим стеком есть интеграции кроме PostgreSQL и ClickHouse? Поддерживаются ли S3 или Trino?

На текущий момент DataForge поддерживает PostgreSQL, Microsoft SQL Server и ClickHouse. При этом продукт ориентирован на взаимодействие с хранилищами данных через SQL-запросы. Это позволяет в дальнейшем расширять поддержку различных реляционных СУБД, аналитических хранилищ и SQL-движков, включая Trino.
Кроме того, мы учитываем растущую популярность архитектур Lakehouse и формата Apache Iceberg и планируем соответствующие интеграции. Они, в том числе, позволят работать с данными, размещёнными в объектных и файловых хранилищах, таких как S3.

4. Что в понятиях DataForge подразумевается под "Сверкой расчётов"? Есть ли проверка распределений на нормальность, мультимодальность, мультиколлинеарность? Возможно ли построение квантильных графиков?

DataForge не предназначен для выполнения статистического анализа и не реализует проверки распределений, корреляций или построение статистических графиков. Его основная задача – управление семантическим слоем и формирование витрин данных.
При этом в рамках «сверки расчётов» пользователи могут непосредственно в продукте вычислять значения показателей по заданным формулам на фактических данных источника, моделировать различные сценарии и сравнивать полученные результаты с внешними эталонными отчётами. Это позволяет проверить корректность формул и бизнес-логики до использования витрин в BI-инструментах.

5. Возможно ли использование DataForge для проведения A/B-тестов, факторного анализа и статистического моделирования?

Нет, DataForge не предоставляет инструментов для статистического моделирования. Это платформа для централизованного управления семантическим слоем и построения витрин.

6. Есть ли в DataForge возможность построить дерево метрик?

Да, DataForge автоматически строит дерево зависимостей (происхождение) для показателей (метрик), помогая понять, как одни показатели вычисляются на основе других.

7. Можно ли сказать, что DataForge похож на решение Oracle BI в части построения модели?

Да, на более общем уровне в DataForge используются те же самые внутренние слои у моделей:
- Физический слой фактического хранилища данных, с которым пользователи напрямую не работают
- Логический слой описанных пользователями моделей данных, которые связываются с необходимыми полями и таблицами из физического слоя
- Слой представления, описывающий понятные пользователям бизнес-сущности, созданные на основе элементов из логического слоя.
Однако в деталях реализации, естественно, возможны значительные различия.

8. Как был подключен к данным показанный в демо дашборд в FineBI?

Основным источником данных, где создавались витрины для демонстрационных дашбордов как в FineBI, так и в других BI системах, был ClickHouse. При этом в FineBI было настроено Direct подключение к необходимой витрине, а Excel и Power BI загружали эти данные в свои внутренние модели. Подключение к PostgreSQL использовалось только в рамках сценария миграции, где дашборд в Power BI переключался с витрины в PostgreSQL на созданную копию этой витрины в ClickHouse.
  • ❤ 2
  • 👍 2
Post #8 97
Вебинар DataForge_Презентация.pdf2.1 MB
Уважаемые коллеги!

❤️ Благодарим вас за участие в вебинаре «DataForge: как навести порядок в показателях, витринах, бизнес-логике и BI-отчётах», который состоялся 16 декабря.

⚡️ Запись вебинара уже доступна на Rutube и YouTube. Презентация – выше.

💬 Задать вопрос и оставить обратную связь о вебинаре можно в комментариях здесь.


➡️ Запросить демодоступ к платформе DataForge – на сайте dataforg.ru
  • 🔥 3
  • 👍 1
Post #7 90
Коллеги, мы завершили наш вебинар. Спасибо каждому, кто был, за участие!

Будем благодарны вашей обратной связи в комментариях 🔥
  • 🔥 3
  • ❤ 1
Post #6 97
🚀 Не пропустите вебинар DataForge – 16 декабря, 12:00

➡️ Уже завтра – первый вебинар по DataForge! Где мы представим новое российское self-service решение для визуального моделирования и проектирования хранилищ данных.

⚡️ После вебинара вы сможете:
🟣Увидеть, как DataForge формирует витрины данных, совместимые с любыми системами, в т.ч. BI, буквально за несколько кликов.
🟣 Понять, как избавиться от расхождений в показателях между разными отчетами, командами и инструментами.
🟣 Узнать, как быстрее и безопаснее обновлять логику расчетов и поддерживать отчетность – без участия разработчиков.
🟣 Оценить, как DataForge встраивается в технологический стек компании, и как использовать продукт в BI и DWH-проектах.


Решение покажут технический директор и владелец продукта DataForge.

➡️ Участие бесплатное! Регистрация еще открыта.

Все новости о продукте – в канале: t.me/dataforge_team
  • 🔥 2
  • ❤ 1
Post #5 2.02K
🚀 Премьерный вебинар DataForge — 16 декабря, 12:00

Приглашаем на вебинар, где мы впервые покажем DataForge – российскую self-service платформу для централизованного управления аналитическими данными.

Это новый инструмент, обеспечивающий прозрачную бизнес-логику и быструю разработку и сопровождение слоя Data Mart – возможно, единственное решение такого уровня в России!

📌 В стеке с ClickHouse DataForge формирует витрины и сразу обеспечивает согласованность расчётов – без ручной работы.

⚡️ На вебинаре разберем:
🟣 какие задачи решает DataForge и как ускоряет BI,
🟣 как устроены семантический слой и реестр показателей,
🟣 как автоматически создаются и публикуются витрины,
🟣 как изменения логики мгновенно попадают во все системы.


🎙 Спикеры – технический директор и владелец продукта DataForge.

➡️ Участие бесплатное! Забронировать место на вебинаре.

#DataForge_вебинар #DataForge

Все новости о продукте – в канале: t.me/dataforge_team
  • 🔥 5
Post #3
Channel name was changed to «DataForge Platform»
Post #1
Channel created
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →