Про актуализацию проверок.

Как часто вы обновляете свои проверки? В идеальной картине, наверное, один раз сделал и забыл. В реальности, постоянно что-то меняется. Точнее, почти всё)

Меняется работоспособность кластера - нужно или менять TLA, или оптимизировать, или решать проблемы с железом;
Меняется количество записей - расчеты идут дольше - снова или сдвиг TLA, или оптимизация, до какого-то момента;
Появляются новые вводные, новые требования к продукту, новые потребители - всё это тянет за собой пересмотр проверок. Как бизнесовых, так и технических.

Понятно, что все изменения одномоментно сделать очень сложно. Зачастую, работа непосредственно над проверками остаётся на "когда-нибудь потом" и делается по остаточному принципу. Или приходят к необходимости обложить проверками уже готовый продукт. Или логикой, написанием и реализацией проверок занимается не автор витрины данных, а совсем другой человек, которому нужно сначала разобраться, как это всё работает.
А ещё нужно подумать о технической реализации и способах получить человекочитаемый результат проверок.

В любом случае, стоит закладывать временные и человеческие ресурсы на это еще на этапе планирования, проектирования и оценке объёма работ.

Получается, работа над качеством данных - это постоянный непрерывный процесс совершенствования. Согласны?

#качестводанных #dataquality