В Apache Flink 2.3 появились функции
FROM_CHANGELOG и TO_CHANGELOG.Первая превращает поток строк с кодами операций в динамическую таблицу с
INSERT, UPDATE и DELETE. Вторая делает обратное — переводит обновляемую таблицу в append-only журнал событий.Для инженеров это означает, что нестандартные CDC-форматы, аудит и запись в append-only хранилища теперь можно собирать на SQL, без перехода к DataStream API. Но текущей версии нужны полные пары
UPDATE_BEFORE и UPDATE_AFTER, иначе состояние может получиться неверным.#apacheflink #flinksql #cdc #streamprocessing #dataengineering #datapipelines
@data_engi