Самая нужная проверка

Одна из основных проверок данных – проверка на полноту.
Есть разные теории, что понимать под этим, и даже в рамках одной организации подходы могут отличаться.

Полнота данных означает, что все необходимые элементы присутствуют в наборе данных и что они полностью соответствуют требованиям задачи.

Существует несколько вариантов того, что может подразумеваться под полнотой данных:

- Наличие всех необходимых атрибутов. Например, если мы создаем базу данных клиентов, то каждый клиент должен иметь свой уникальный идентификатор, имя, фамилию, адрес электронной почты и номер телефона. Если какой-то из этих атрибутов отсутствует, то данные считаются неполными.

- Отсутствие пропусков в последовательности значений. Например, если мы составляем список товаров для интернет-магазина, то каждый товар должен иметь свой уникальный артикул и цену. Если какие-то товары отсутствуют в списке или цены на них не указаны, то данные считаются неполными.

- Достаточность объема выборки. Например, если мы проводим социологический опрос населения города N, то необходимо опросить достаточное количество респондентов, чтобы получить репрезентативную выборку. Если число опрошенных людей недостаточно велико, то данные считаются неполными.

Примеры проверки полноты данных могут быть различными в зависимости от конкретной задачи. Однако важно понимать, что любая информация должна быть полной и точной для того, чтобы ее можно было использовать в дальнейшем анализе или принятии решений.
Иногда, под полнотой понимают только объём данных (например, что количество записей из таблицы 1 совпадает с количеством записей, преданных в таблицу 2), иногда – включают проверки на глубину и широту данных (есть данные за последний год и достаточное количество атрибутов заполнено), а иногда – просто на not null.

#качестводанных #dataquality