Данные трудно найти и легко потерять: изменение любого параметра ведет к проблемам. Следствие — нужен постоянный пересмотр проверок.
О том, как устроена система проверок в Сбере, рассказывает инженер данных Арина Шахтарина:
🟢 Проверки запускаются в зависимости от частоты обновления данных. Запуск настроен или по расписанию, или по событию.
🟢 Регулярно актуализируем проверки: для новых витрин данных — сразу при разработке, для тех, что уже в проме, — при появлении новых вводных.
🟢 Особое внимание уделяем непротиворечивости и корректности данных: это особенно важно для банковских продуктов.
Ну и главный секрет: закладывать ресурсы на проверку еще на этапе планирования.