Статья Data Warehouse, Data Lake, Data Lakehouse, Data Mesh: What They Are and How They Differ

⏩Склад данных (DWH) — про централизованную чистую аналитику и жёсткие схемы

⏩Озеро (Data Lake) — про гибкость и дешёвое хранение сырья

⏩Лейкхаус (DLH) — пытается объединить их на объектном хранилище с ACID

⏩Меш (DataMesh) — не технология, а оргмодель с доменным владением данными

Выбор зависит от типа данных, требований к скорости/качества и зрелости команды.

〰️〰️〰️〰️〰️〰️〰️〰️

🌙 Как отличаются подходы 🌙

1️⃣ Data Warehouse (DWH) — "чистая кухня" для BI
Централизованное, чтение-оптимизированное хранилище под OLAP‑аналитику и отчёты. Схема фиксируется на записи (schema‑on‑write), сильные гарантии качества и согласованности (ACID), быстрые агрегации. Лучше всего отвечает на "известные вопросы про известные данные".
✏️ Минусы: жёсткость к изменениям, дороговизна при росте, слабая работа с полуструктурой.

2️⃣ Data Lake — "сырьевой парк" для экспериментов
Складывает данные "как есть" (schema‑on‑read) — от логов и JSON до медиа, дёшево масштабируется на объектных сторах. Идеально для исследований и ML.
✏️ Риск: без управления качество деградирует в "болото", запросы часто медленнее, транзакционных гарантий нет.

3️⃣ Data Lakehouse — "самолёт‑гибрид"
Один слой поверх дешёвого объектного стора + "табличный формат" (Delta/Hudi/Iceberg), который приносит ACID, снапшоты, эволюцию схем и ускорение запросов. Цель — гибкость озера c надёжностью склада.
✏️ Ограничения: зрелость стеков, сложность внедрения, иногда уступает специализированному DWH по перформансу.

4️⃣ Data Mesh — "микросервисы для данных"
Это не новый стор, а операционная модель: доменные команды владеют данными как продуктами, есть самосервисная платформа и федеративная (программируемая) дата‑гавернанс.
✏️ Хорош в больших организациях с автономными командами; требует культуры и инвестиций в платформу.

〰️〰️〰️〰️〰️〰️〰️〰️

❓ Когда что выбирать — ориентиры

❗️ У тебя отчётность и стабильные метрики, много SQL‑пользователей, высокие требования к "единой правде": начни с DWH (или с легковесной его версии в облаке).

❗️ Много полуструктуры/неструктуры, активный ML/DS, дешёвое "историческое" хранение сырья критично: ставь Data Lake, но сразу добавляй управление качеством и метаданными, чтобы не получить "болото".

❗️ Нужно и то, и другое, а два стека — боль: бери Lakehouse на открытом табличном формате (Delta/Iceberg/Hudi) — один слой, ACID, time‑travel, апгрейд до "медальонов".

❗️ У тебя много доменов и центральная дата‑команда — узкое горло: добавляй Data Mesh как орг‑надстройку (поверх DWH/Lake/Lakehouse), но не недооценивай стоимость самосервиса и федеративной политики.

👌 Пример из жизни продукта

Представь маркетплейс:
🟡 BI‑команда хочет "вчера к утру" отчёты по GMV/конверсии 🔜 витрины/март в DWH.
🟡 DS‑команда обучает рекомендашки на кликах/поисковых логах/изображениях 🔜 сырые/серебряные слои в Lakehouse на Iceberg/Delta.
🟡 Бизнес растёт, появляются автономные направления (Поиск, Логистика, Финансы) 🔜 они публикуют доменные "данные‑как‑продукт" (контракты, версии, SLO), а платформа обеспечивает каталог, lineage, права и качество ➡️ это уже Data Mesh поверх твоего Lakehouse.

⚡️ Что важно унести из статьи

Автор трезво разводит технологии и организацию:
🟢Lakehouse решает техническую боль разрыва "озеро↔склад"
🟢Mesh — организационную боль централизованных "бутылочных горлышек".

Серебряных пуль нет: стоимость владения и зрелость команды решают не меньше, чем выбор логотипа на диаграмме. Рекомендую прочитать оригинал.

#DE #DWH #DataWareHouse #DL #DataLake #DLH #LakeHouse #Mesh #DataMesh