Основы качества данных, глава третья, часть 1/*.

Сбор, очистка, преобразование и проверка данных.

Интересное:
📎 Чтобы получить полное представление о качестве ваших данных, нужно знать весь их жизненный цикл.

📎 Основные шаги, влияющие на общее качество данных: сбор, очистка, преобразование и проверка

📎 Самый важный аспект сбора - точка входа, где данные не обработаны и могут быть структурированы или не структурированы.

📎 Источник данных редко зависит от инженеров, чаще от бизнеса

📎 Все источники данных можно поделить на три категории: журналы приложений, ответы API, данные датчиков. Я бы добавила четвертый, ручной ввод, но, пожалуй, это можно отнести и к приложениям.


Дальше подробнее напишу про каждую из этих категорий и этапы работы с данными

#качестводанных #dataquality #dqf