Про отношения с источниками

Работа с источниками — это не только написать пайплайн, который забирает данные.

Иногда перед экстрактом надо доработать схему данных на источнике: например, добавить created_ts/updated_ts или проставлять флаг удаления вместо бесследного уничтожения строки.

И даже после того как пайплайн написан и поставлен на регулярный запуск тоже есть задачи: например, добиться, чтобы схема данных не менялась неожиданно. Для разработчиков на источнике тоже может быть новостью, что их данными теперь пользуется кто-то чужой, что эти данные больше не их единоличная собственность и теперь на них завязаны внешние процессы.

Колонки в схеме могут поменять название или даже содержимое, поставки могут неожиданно задержаться, а после восстановления окажется что данных за пропущенный период больше нет. Совсем.

Все эти кейсы надо обрабатывать и это тоже работа инженера данных. И решаются такие проблемы не через код, а через общение с людьми.


спасибо Семёну Осипову за поднятую тему дата-контрактов
https://t.me/ohmydataengineer/245