#depatterns #заметкинаполях

Вторая глава повествует об организации начального этапа движения данных по направлению к конечному потребителю - шаблонам извлечения данных. Если быть совсем точным, то термин ingestion более широкий, чем просто извлечение, - это EL в ELT (см «Конвейеры данных»), но более адекватного перевода на русский я пока не встречал, сам пока тоже придумать не могу.
Может быть, когда-нибудь соглашусь на «поглощение»… «Дикость, как, впрочем, любой компромисс…» (мое почтение всем, кто узнал культовый фильм).

Первый шаблон, самый простой, называется Full loader, что в переводе на русский звучит примерно как «грузите апельсины бочками» (сегодня квиз по цитатам из советских фильмов).

Применимость:

▪️ Нет атрибутов, по которым бы можно было отследить изменения данных
▪️Относительно небольшой объем (автор выбрал один миллион строк в качестве порогового значения)
▪️Данные изменяются очень редко

Автор заранее предостерегает от использования самой простой реализации данного шаблона «drop-and-insert», ибо это чревато ошибками в случае, если кому-то приспичило прочитать данные между фазами drop и insert, или же потерей истории изменения данных.

А коль скоро так, свой вариант он тоже предлагает.

Продолжение следует…