Нейронные сети эффективно справляются с анализом данных. Если раньше для этого нужно было владеть языками программирования Python или SQL, то сейчас достаточно правильно задать промпт. С ИИ-инструментами можно обрабатывать сырые данные, находить в них скрытые взаимосвязи и визуализировать результаты.
🔹 Claude от Anthropic. Один из лучших инструментов для анализа данных, лучше, чем ChatGPT. На бесплатном тарифе есть возможность загрузить небольшой датасет и отправить немного запросов, поэтому долго поработать бесплатно не получится.
🔹 Еще один специальный инструмент — Julius ai. Не знаю, какой API он использует, но в сравнении с Claude качество было даже лучше. Бесплатно можно отправить 15 запросов, дальше — нужно покупать подписку (28$ в месяц).
Промпты для анализа данных
🔹 Поиск датасета. Kaggle — лучший ресурс для поиска любых датасетов. Большой выбор и гибкая система фильтров позволяют найти практически любой набор данных. Для примера я взял датасет California Housing Prices, который содержит информацию о жилье в Калифорнии с географическими координатами, характеристиками домов и районов.
🔹 Первичный анализ датасета
Загрузи датасет и проанализируй его структуру. Определи количество строк и столбцов, выведи первые 5 строк таблицы. Проверь наличие пропущенных значений и выведи количество пропусков по каждому столбцу. Определи тип данных в каждом столбце.
🔹 Корреляционный анализ
Построй heatmap корреляции между числовыми признаками. Выведи список признаков с самой высокой и самой низкой корреляцией с целевой переменной (если она есть).
🔹 Распределение данных
Для каждого числового признака построй гистограмму распределения. Отобрази boxplot для выявления выбросов
🔹 Анализ влияния дохода на стоимость жилья
Гипотеза: В районах с более высоким медианным доходом жилье дороже.
Построй scatter plot зависимости <параметр 1> от <параметр 2>. Добавь тренд-линию. Рассчитай коэффициент корреляции между <параметр 1> от <параметр 2>
🔹 Влияние близости к океану на стоимость жилья
Гипотеза: Жилье ближе к океану дороже, чем жилье в глубине штата.
Рассчитай среднюю и медианную <параметр 1> для каждой категории <параметр 2>. Создай bar chart со средним значением <параметр 1> по категориям <параметр 2>.
🔝 Тут про планирование