Приветствую, любители аналитики!
Как ни странно, многочисленные курсы и учебные материалы по аналитике очень мало уделяют внимания такому крайне важному аспекту как качество данных.
Меж тем, конечные пользователи предпочитают надёжность данных разнообразию данных. Лучше быть уверенным в центральных метриках, чем иметь огромный зоопарк данных, которым не можешь доверять.
Как-то я проводил вебинар на эту тему, но хочу вновь к ней вернуться и подраскрыть в более спокойном формате. Сначала немножко определений.
Качество данных (КД) определим как степень соответствия данных требованиям для их использования.
Требования к качеству данных — желаемые значения метрик качества данных.
Метрики качества данных — показатели, отражающие различные аспекты истинности данных.
Пойдем с конца, то есть с метрик (или измерений) КД. Нет единой универсальной классификации метрик, но, в принципе, они все интуитивно понятны. Приведем несколько наиболее популярных.
Актуальность — соблюдены ли графики обновления, получения данных?
Допустимость — соответствие значений областям или множествам допустимых значений (наборы справочных значений или интервалы).
Полнота — все ли требующиеся данные присутствуют? Все строки доехали? Все требуемые столбцы заполнены?
Консистентность (непротиворечивость) — согласованность данных между собой. Например, дата активации пользователя не может быть до даты регистрации.
Соответствие (точность, истинность) — степень близости данных к «реальности». Измерить ее бывает крайне трудно, можно судить лишь по собранным данным в источнике.