Как перейти на Iceberg и сохранить данные в ClickHouse

Масштабные миграции ETL-процессов на новый стек могут казаться сложными, но платформа o_rabbit упрощает этот переход. Она позволяет экспортировать данные в Parquet-файлы на S3, регистрировать их как таблицы Iceberg и обеспечивать доступ через Project Antalya. Это подходит командам, готовым перестроить процессы под открытый data lake и отказаться от привычных вставок в ClickHouse.

Что делает o_rabbit

• экспортирует данные в Parquet-файлы на S3
• регистрирует таблицы Iceberg для управления снимками и изменениями
• обеспечивает доступ к данным через Project Antalya
• делит задачи на мастера и исполнителей для отказоустойчивости
• использует SQLite для управления состоянием и восстановления после сбоев

Главное преимущество — масштабируемость и устойчивость к сбоям даже при больших объемах данных.

Читать статью

#Iceberg #ETL #ClickHouse #DataLake #ProjectAntalya