Роль очистки данных нередко недооценивают, а мне вот близка позиция автора статьи «Data Cleaning IS Analysis, Not Grunt Work», что это и есть аналитическая работа в чистом виде.

Аргументация выглядит так: «We’re doing cleaning because we want to extract the useful signal from the noise, and we decide certain bits of noise “correctable” at the data point level for that purpose».

В целом, в статье предлагается уйти от общепринятого подхода, когда для решения задачи данные сначала единовременно очищаются, а после анализируются.

Альтернатива такова: ничего безвозвратно не перетирать, создавая алгоритмы трансформации данных с возможностью отката и переиспользования (в статье есть визуализация для наглядности).

Ничего не напоминает? Мне вот кажется, что это попытка приземлить инфраструктурные практики продвинутых компаний на "простых" аналитиков (пропаганда перехода от ETL к ELT, если угодно).

🔗Ссылка

#инструменты