Сегодня я изучил, что такое Data Understanding 🔍📊

Data Understanding — вторая фаза методологии CRISP-DM, которая помогает понять, как правильно работать с данными и подготовить их для анализа. Это критический этап, который задает основы для дальнейшей работы.

Вот что я узнал:

✨ Сбор данных 📥
Сначала важно понять, откуда берутся данные. Это могут быть:

- First-party data — данные, собранные компанией (например, с сайта или приложения).
- Second-party data — данные, купленные у других организаций.
- Third-party data — агрегированные данные, которые покупаются у специализированных поставщиков.
- Открытые данные — доступные для всех, например, государственные статистики.
Данные могут быть собраны через таблицы, базы данных, файлы или с помощью API.

✨ Описание данных 📑
Здесь мы используем описательную статистику, чтобы выявить ключевые характеристики данных:
- Средние значения, медиану, дисперсию.
- Частотные распределения и отклонения.
Это помогает лучше понять структуру данных и их особенности.

✨ Исследование данных 🔍
На этом этапе выдвигаем гипотезы и анализируем, как признаки данных могут быть связаны между собой. Также проводится визуализация данных, чтобы выявить скрытые паттерны и аномалии.

✨ Проверка качества данных ✅
Очень важно на этом этапе проверить данные на ошибки:
- Пропущенные значения.
- Выбросы и аномалии.
- Дубликаты или некорректные записи.
Исправление этих ошибок или минимизация их влияния обеспечит более точное моделирование.

Data Understanding — это основа для дальнейшего успеха в анализе данных. Этот этап помогает избежать ошибок и строить точные модели, которые принесут реальную ценность бизнесу. 🚀

#DataScience #CRISPDM #DataUnderstanding #MachineLearning