ingestr представил встроенную поддержку CDC.

Одна из главных идей проекта — сделать CDC максимально простым.
Без Kafka, Kafka Connect и дополнительной инфраструктуры, которая обычно сопровождает такие решения.

На старте поддерживаются PostgreSQL, MySQL, SQL Server и MongoDB.
Работать можно в двух режимах:

- Batch — чтение журнала изменений микро-батчами, удобно для ETL-пайплайнов.

- Streaming — непрерывная обработка изменений в режиме реального времени.

Что интересно:

не требуется отдельная инфраструктура — достаточно указать строку подключения;
всё работает в одном Go-бинарнике;
один и тот же инструмент поддерживает и batch, и streaming, поэтому можно начать с простого сценария и при необходимости перейти к постоянной синхронизации данных.

В последние годы CDC почти всегда ассоциировался с Debezium, Kafka и довольно сложным стеком. Любопытно видеть, как появляются инструменты, которые пытаются убрать большую часть этой сложности и сделать Change Data Capture доступнее. Если проект окажется стабильным в продакшене, это может стать хорошей альтернативой для многих задач.

@tldr_data