CDC (change data capture) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени.

Одним из самых широко применимых CDC решений является Debezium. Таким образом берешь Apache Kafka + поддерживаемый в ней Debezium Connector и получается стриминг решение с учетом всех изменений данных в базе.

Зачем это нужно ❓

Чтобы было понятно на примере зачем нужен CDC. В таблице над строками реализуются операции
- вставки (insert)
- обновления (update)
- удаления (delete)

С помощью CDC можно не просто забирать актуальные данные записанную в строку в данный момент, но отслеживать всю историю изменения данных в строке с учетом всех операций вставки, обновлений и удалений в реальном времени.


Полезные ссылки 😉
🔗 What is CDC
🔗 CDC в Yandex Data Transfer
🔗 Знакомство с Debezium CDC для Apache Kafka