Чёрт ногу сломит да шею свернёт

Продолжаем копаться в источниках данных в рамках рубрики «где мои данные, чувак?». Первые варианты — [Kaggle] и [UCI Repository].

Сегодня сделаем шаг к более реальным данным: государственные порталы.

Государственные порталы открытых данных — это централизованные платформы, где органы власти публикуют данные для свободного использования в различных сферах (экономика, транспорт, здравоохранение и др.).

Например:
Портал РФ
Портал США
Портал ЕС

Есть разные типы порталов:
— национальные — макроуровень (экономика, население, расходы)
— наднациональные — сопоставимые данные между странами (торговля, миграция, энергетика)
— региональные / городские — операционные данные (транспорт, преступность, ЖКХ)

Чем для нас, аналитиков, эти данные могут быть полезны:
— работа с «грязными» данными: пропуски, дубли, несогласованные форматы
— навык понимания данных: что означает метрика, откуда берётся, каковы её ограничения
— навык постановки вопросов: аналитическую задачу ставишь себе сам
— работа с временными рядами

Примеры проектов на данных государственных порталов:

«Демография и экономика»
Данные:
— население по регионам
— уровень безработицы
— доходы
Задача:
— выявить регионы с ухудшающейся экономикой
— найти корреляции
Результат:
— дашборд
— аналитическая записка

«Транспорт»
Данные:
— поездки на городском транспорте
— загруженность
Задача:
— выявить пики нагрузки
— определить узкие места
Результат:
— анализ временных рядов
— рекомендации по оптимизации

«Экология»
Данные:
— выбросы CO₂
— качество воздуха
Задача:
— анализ трендов загрязнения
— сравнение стран / регионов
Результат:
— аналитический отчёт
— визуализация

Согласно данным из интернетов, в России реальная ценность не в одном общем портале, а в распределённой системе, и на региональном уровне данные часто лучше, чем на федеральном. Поэтому рекомендуют использовать Росстат, региональные порталы и отраслевые ведомства.

Я делала EDA-проект с сопровождением по данным о деревьях Нью-Йорка. Сам датасет очень объёмный и хорошо описанный, но было скучновато. Я даже дошла до уровня: «ну зачем мы будем смотреть эту одну строку, просто удали и всё, окей?»

Оказывается, мне сложно анализировать данные, если для меня они не имеют смысла. Даже в рамках тренировки.

💬 А у вас как? Смогли бы просто проанализировать ради смеха данные падений метеоритов на Землю?

#аналитик_ищет_данные
#где_мои_данные_чувак