Есть таблица-источник, которую мы грузим инкрементально.
В таблице есть два важных поля:
created_dt -- когда запись создана
updated_at -- когда запись последний раз обновлялась
Инкрементальная загрузка работает примерно так:
where created_dt > last_watermark_created_dt
or updated_at > last_watermark_updated_at
То есть мы забираем:
🟢новые записи;
🟢старые записи, которые были изменены после прошлой загрузки.
В какой-то момент появилась задача полностью перелить таблицу с нуля:
🟢очистить target;
🟢загрузить всю таблицу заново;
🟢обновить лог успешной загрузки и выставить watermark.
👇Вопрос:
Какие значения нужно записать в watermark после успешной полной загрузки?
last_watermark_created_dt ❓
last_watermark_updated_at ❓
З.Ы.
Как же хорош GPT стал в генерации картинок
Заходи учиться — бесплатно 🤓
➡️ https://etl-kitchen-book.ru/data/
@etl_kitchen