Если в компании очередь к DWH-команде длиннее, чем в поликлинике, то Data Mesh придумали для вас. Сегодня рассказываем, в чем суть подхода и как он применяется на практике. Для этого расспросили Александра Зеньковича, руководителя направления DWH/ML в компании «ДАР» (ГК «КОРУС Консалтинг»).
1️⃣ Почему компании переходят на Data Mesh?
Цель — быстрее извлекать пользу из данных: повышать их качество и применять для развития решений, оперативно запускать аналитику. Классический подход монолитного хранилища для манипуляций с информацией скорее мешает выполнить эту задачу. А единая DWH-команда обычно перегружена.
С подходом Data Mesh мы переносим ответственность за работу с данными на бизнес-домены. У таких подразделений, как маркетинг и продажи, например, есть свои источники данных и показатели. Команды сами собирают и структурируют информацию, но используют при этом стандартизированную инфраструктуру и правила для публикации и использования данных.
❗️ В итоге новые аналитические сценарии появляются быстрее, а «центральная команда» разгружается. В ряде проектов мы видели сокращение time-to-market аналитики в 1,5-2 раза и более прозрачную ответственность за качество данных.
2️⃣ Как это работает на практике?
Вначале мы декомпозируем бизнес на домены и закрепляем за ними ответственность за работу с собственными данными.
Далее выстраиваем платформенный слой: единый стандарт data-продуктов, каталог данных, базовые сервисы (хранение данных, их обработка и доступы). Так команды разных доменов могут работать по единым стандартам, автономно публиковать и использовать свои данные.
Важно закладывать правильную масштабируемую архитектуру платформы и выделять ИТ-ресурсы и команду под новые запросы. Кроме того, удобно использовать облака: они дают гибкую инфраструктуру и готовые сервисы — управление доступами, например.
3️⃣ Какие подводные камни?
Главный риск в том, что Data Mesh воспринимают как работу с исключительно технологической архитектурой. Но самый сложный шаг — это организационная и управленческая трансформация. Если нет изменений в бизнес-модели и реальных владельцев данных в доменах, то все сводится к «старому DWH на новых технологиях». Эффекта не будет.
Другая ошибка — преждевременная децентрализация. Когда команды получают автономию, но нет стандартов (единые Data Governance и Data Quality), это приводит к фрагментации, росту издержек и конфликтам между бизнес-доменами. Качество работы с данными может снизиться.
На практике важно внедрять Data Mesh поэтапно: сначала платформа и правила, а затем — постепенное распределение ответственности между подразделениями.
4️⃣ Кому подойдет Data Mesh?
Крупным компаниям с большим количеством доменов, команд и источников данных (например, в ритейле, финтехе, телекоме). То есть там, где с данными работают десятки команд и есть распределенная модель управления.
Отдельные элементы Data Mesh можно закладывать и в молодых, небольших компаниях, чтобы избежать проблем масштабирования в будущем.
#созвонились_обсудили