Lakehouse — новый подход к данным, который убивает DWH и Data Lake

- Высокая вероятность, что массовый переход на Lakehouse начнётся в ближайшие 1-2 года — после того как первые игроки (Т-банк, Магнит, Ламода) уже доказали экономию и масштабируемость. Об этом в интервью «Коммерсанту» рассказал Леонид Савченков, руководитель продуктовой архитектуры платформы данных Yandex Cloud.
- Классические DWH на объёмах от 100 ТБ начинают тормозить: единственный способ — докупать серверы целиком, потому что хранение и вычисления сцеплены.
- Data Lake решал проблему объёма, но не давал нормального управления данными — отчёты строить было сложно.
- Lakehouse разделяет хранение и вычисления: можно нарастить мощности под «Чёрную пятницу» и не платить за лишнее место весь год.
- В отличие от Data Lake, здесь появляются строгие табличные форматы и управление данными как в СУБД.
- Узкое место — нужны спецы по Trino и Spark. Чудес не бывает.
- Для ИИ это идеально: вычисления можно выделить в отдельные мощности, не роняя основные отчёты. X5 уже построил бота по трендам молока в регионах.
- Через пять лет, вероятно, появится новая концепция. Если данных мало — старый DWH всё ещё дешевле и проще.

https://www.kommersant.ru/doc/8691430