Мой путь в программировании
#python
Для связи: @avagners
Post #456
71
Слои в корпоративном хранилище данных (КХД).
- Слой Raw (от англ. «сырой») — слой сырых данных. Исходные данные сохраняются, чтобы можно было сделать дополнительные ETL-процессы без перевыгрузки информации из систем-источников.
- Слой ODS (от англ. Operational Data Store — «хранилище операционных данных»). В рамках этого слоя сырые данные очищаются от технической информации: даты обновления строк, изменение полей и др. Состояние данных близко к источнику, но с ними уже могут работать аналитики.
- Слой DDS (от англ. Detail Data Store — «хранилище детализированных данных»). В этом слое готовятся справочники со всей нужной информацией по компании, нормализируются данные, создаются ключи связей, чтобы было удобнее использовать информацию из разных источников.
- Слой CDM (от англ. Common Data Marts — «общие витрины данных»). Здесь собираются широкие витрины с агрегатами и показателями с детализацией вплоть до пользователя. Данные поступают в витрины по регламенту из источников DDS слоя.
- Слой REP (от англ. Reporting — «отчётность»). Отсюда данные отправляются, например, в BI или автоматизированные боты, чтобы пользователи получили готовые отчёты. Данные в REP отличаются тем, что они готовятся для конкретной задачи. Данные же в слое CDM постоянно переиспользуются.
Описанные слои не являются обязательными для процесса обработки, всё зависит от целей и особенностей компании и её данных.
Чаще всего можно увидеть менее объёмную схему обработки данных:
Источник данных → слой Raw → слой ODS → слой CDM
👨💻
- Слой Raw (от англ. «сырой») — слой сырых данных. Исходные данные сохраняются, чтобы можно было сделать дополнительные ETL-процессы без перевыгрузки информации из систем-источников.
- Слой ODS (от англ. Operational Data Store — «хранилище операционных данных»). В рамках этого слоя сырые данные очищаются от технической информации: даты обновления строк, изменение полей и др. Состояние данных близко к источнику, но с ними уже могут работать аналитики.
- Слой DDS (от англ. Detail Data Store — «хранилище детализированных данных»). В этом слое готовятся справочники со всей нужной информацией по компании, нормализируются данные, создаются ключи связей, чтобы было удобнее использовать информацию из разных источников.
- Слой CDM (от англ. Common Data Marts — «общие витрины данных»). Здесь собираются широкие витрины с агрегатами и показателями с детализацией вплоть до пользователя. Данные поступают в витрины по регламенту из источников DDS слоя.
- Слой REP (от англ. Reporting — «отчётность»). Отсюда данные отправляются, например, в BI или автоматизированные боты, чтобы пользователи получили готовые отчёты. Данные в REP отличаются тем, что они готовятся для конкретной задачи. Данные же в слое CDM постоянно переиспользуются.
Описанные слои не являются обязательными для процесса обработки, всё зависит от целей и особенностей компании и её данных.
Чаще всего можно увидеть менее объёмную схему обработки данных:
Источник данных → слой Raw → слой ODS → слой CDM
👨💻
- 👍 2
