🤔Что такое Data Mesh: суть концепции
Data Mesh - это децентрализованный гибкий подход к работе различных распределенных команд и распространению информации. Data Mesh родился как ответ на господствующие концепции работы с данными в data-driven организациях - Data Warehouse и Data Lake. Их объединяет идея централизованности. Все данные стекаются в некое центральное хранилище, откуда уже их могут забирать для своих целей разные команды. Однако все это нуждается в поддержке командой data-инженеров с особым набором скиллов. Также при при росте количества источников и разнообразия данных становится всё сложнее обеспечивать их бизнес-качество, пайплайны по трансформации становятся всё сложнее.
Дата меш предлагает решать эти и другие проблемы на основе четырёх главных принципов:
1. Domain-oriented ownership - данными владеют доменные команды, а не централизованная Data-команда. Домен - это часть организации, выполняющая определённую бизнес-функцию, например, это могут быть продуктовые домены (маммография, флюорография, КТ органов грудной клетки) или домен по работе с врачами-разметчиками.
2. Data as a product - данные воспринимаются не как статичный датасет, а как динамичный продукт со своими пользователями, метриками качества, бэклогом развития, за которым следит выделенный product-owner.
3. Self-serve data platform. Основная функция дата-платформы в Data Mesh - это устранять лишнюю когнитивную нагрузку. Это позволяет разработчикам в доменных командах (data product developers и data product consumers), которые не являются специалистами по работе с данными, удобно создавать Data-продукты, билдить, деплоить, тестить, обновлять их, получать к ним доступ и использовать в своих целях.
4. Federated computational governance - вместо централизованного управления данными создаётся специальный федеративный орган, состоящий из представителей доменных команд, дата-платформы и экспертов (например, юристов и врачей), который устанавливает глобальные политики в области работы с данными и обсуждает развитие дата-платформы.