В ClickHouse 26.9 появился режим
APPEND INCREMENTAL для обновляемых материализованных представлений. При каждом запуске он обрабатывает только строки, зафиксированные после предыдущего обновления, вместо повторного чтения всей исходной таблицы.Механизм позволяет периодически переносить поток событий из MergeTree в таблицу Iceberg. Курсор сохраняется в метаданных того же снимка Iceberg и продвигается лишь после успешной записи — после перезапуска ClickHouse продолжит с нужного места без повторной выгрузки.
Для тебя это более простой инкрементальный конвейер в озеро без отдельного хранилища смещений. Ограничение: режим рассчитан на неизменяемые добавочные данные — события, журналы и аудит, а не на синхронизацию обновлений старых строк.
Пруф: ClickHouse 26.9 — 23 сентября 2026 года
#clickhouse #apacheiceberg #materializedviews #incrementalprocessing #datalake #etl #dataengineering
@data_engi
