У Apache появился отдельный «горячий слой» для lakehouse

Apache Fluss стал самостоятельным проектом верхнего уровня ASF. Это потоковое хранилище, которое объединяет события, постоянно обновляемые таблицы и исторические данные lakehouse через единую табличную модель.

Fluss работает с Flink и Spark, а холодные данные может связывать с Iceberg, Paimon, Hudi и Lance. Проект вырос из инфраструктуры Alibaba и уже применялся в её основных контурах электронной коммерции.

Для инженеров это возможная альтернатива архитектуре, где Kafka, оперативные таблицы и озеро существуют как три отдельных слоя с собственными копиями данных и конвейерами синхронизации. Статус проекта Apache говорит о зрелости сообщества и управления, но не заменяет проверку технологии под конкретную нагрузку.

#apachefluss #lakehouse #streamingstorage #apacheflink #apachespark #dataengineering

@data_engi