Блог о Data Science 💻 Наука о… on Telegram: “Стандарты в Data Science CRISP-DM Это, наверное,…”

Стандарты в Data Science

CRISP-DM

Это, наверное, самая известная методология, которая имеет расшифровку [Cross-Industry Standard Process for Data Mining] 
Идея состоит в том, что бы разделить разработку на определенные разделы подзадач. Как говорят аналитики из 'Яндекс' - Разделяй и властвуй. 
Состоит методология из 6 частей
* Понимание проблемы ( Business Understanding ) 
* Понимание данных ( Data Understanding ) 
* Подготовка данных  ( Data Preparation )
* Моделирование ( Modeling ) 
* Оценка ( Solution Evaluation ) 
* Развертывание ( Deployment ) 
Это безусловно не самая лучшая методология, но стоит внедрить ее в ваш pet-project, competition или любой другой проект, если вы еще не внедрили ее.

KDD

Knowledge Discovery in Databases - это вторая методология о которой я хотел бы рассказать, она не задает набор методов обработки или пригодные для анализа алгоритмы, он определяет последовательность действий, которую необходимо выполнить для того, чтобы из исходных данных получить знания. Данный подход универсальный и не зависит от предметной области, что является его несомненным достоинством.
* Сбор данных ( Data Mining )
* Подготовка данных  ( Data Preparation )
* Трансформация данных ( Data Transformation )
* Моделирование ( Modeling ) 
* Постобработка данных ( Post Data Preparation & Interpretation )

SEMMA

В отличие от другого широко используемого стандарта Data Mining, CRISP-DM, SEMMA фокусируется на задачах моделирования, не затрагивая бизнес-аспекты. Тем не менее, этот стандарт позиционируется как унифицированный межотраслевой подход к итеративному процессу интеллектуального анализа данных.
* Сбор данных ( Data Mining )
* Исследование ( Explore data analysis ) 
* Модификация ( Data Modification ) 
* Моделирование ( Modeling ) 
* Оценка ( Solution Evaluation )