ClickHouse читает физический WAL PostgreSQL — без Kafka 😎

10 сентября ClickHouse открыла исходный код WalShadow — движка, который реплицирует PostgreSQL в ClickHouse непосредственно из физического WAL. Изменения декодируются вне исходной базы и записываются сразу в нативные блоки ClickHouse: без Kafka, JSON и логических слотов репликации.

В тесте авторов задержка от фиксации транзакции до появления данных составила около 200 мс против 10 секунд у PeerDB, а пропускная способность достигла 289 тысяч строк в секунду.

Для инженеров это перспективный способ получить почти моментальную аналитику с меньшей нагрузкой на PostgreSQL. Но проект пока имеет статус Development Preview: поддерживаются PostgreSQL 16–18, незапланированное переключение ведущего узла не работает, а изменения одной транзакции в разных таблицах могут стать видимыми не одновременно.

Пруфы:
🔘анонс ClickHouse от 10 сентября 2026 года,
🔘репо и список ограничений

#postgresql #clickhouse #wal #cdc #replication #realtimeanalytics #dataengineering

@data_engi