Аналитика данных / Data Study

Прошла защита итоговых проектов учеников - ребята сделали очень большую и классную работу 🎉🎉🎉

Темы проектов различны: начиная от анализа клиентской базы Netflix, анализом эффективности трансферов игроков в футбольных клубах, заканчивая изучением исторических данных по появлению торнадо в США и их тенденцией из года в год

Ну и конечно отзывы выпускников, новоиспеченных аналитиков данных 😎

Сегодня начинаю погружаться в новую задачу в рамках проектной активности. И как круто когда уделено много внимания документации. Вот прям все до мелочей рассказано, от описания технической инфраструктуры с пометками куда и как подключаться, до описания модели данных, словаря с описанием каждого столбца в таблице с его бизнес-смыслом 😍

Такая документация однозначно сокращает время на онбординг и вовлечение новых людей на проекте, а также снимает с вас груз ответственности за "клад знаний", которые вы держите в своей голове, отвечаете на 100500 вопросов. Это сэкономит вам и вашей команде уйму времени, а это ценный ресурс ⏳

Позиция аналитика данных

В первом уроке рассказываю ⤵️

1. Что такое аналитика данных
2. В каких компаниях работают аналитики
3. Продуктовые и проектные команды - их различия и сходства
4. Роли в команде data проекта
5. SDLC цикл разработки и как он выглядит при работе на data проекте
6. Примеры задач аналитика на проекте, его роль и взаимодействие с членами команды

Ссылка на урок 🎦

Это открытый доступ к первому уроку курса «Основы анализа данных».

У вас есть выбор)
📍записаться в группу на полное наставничество (45 тыс.)
📍или записаться на онлайн тариф по супер низкой цене и получить доступ ко всем материалам уже сейчас 🎁 (25 тыс.)

P.S. текущая цена действует до конца декабря, залетающие в последний вагон платят всегда больше)

Пойти учиться

Достижения 2023 года

Год был насыщен разными событиями. Хочу зафиксировать для себя и для вас основные из них в этом посте:

📍Выступление на конференции "Big Analytics" с докладом Документация на Data проекте

📍Разработан модуль по SQL и записан в онлайн-уроках для школы Data Diving и Томского Гос. Университета

📍Проведены 2 потока личного курса "Основы анализа данных" и 1 поток "Бизнес-анализ в IT". 50+ выпускников за этот год 🔥

📍Закончил и защитил магистерский диплом по программе НИУ ВШЭ "Бизнес-аналитика и системы больших данных"

📍Личное менторство 7 учеников в течение года, 4 из них уже нашли работу аналитиком + записали Моковое интервью на BI аналитика

📍Проведены 3 потока модуля SQL в школе Mathshub в качестве преподавателя

📍Успешно выполнен проект на фрилансе по анализу недвижимости в Испании, еще несколько проектов в процессе работы

📍Поменял место работы 😊


Часть личных активностей остается за рамками данного канала и публикуется в других соц. сетях)
Есть сферы жизни, где сильно просел, потому что ресурсов и фокуса внимания не хватает на все. Буду нагонять в следующем году 😉

Пересматриваю материалы, которые готовил когда-то для презентаций курса. Подумал, почему бы не поделиться полезной схемой здесь)
Схема классификации данных

Как начать работать в иностранной компании аналитиком после обучения

Хочу рассказать вам историю Екатерины - ученицы 6-го потока курса Data Study "Основы анализа данных". Их обучение закончилось в сентябре этого года.

Точка А, с которой началось обучение:
📍Екатерина не имела представления об инструментах работы с данными

Точка Б, куда Екатерина пришла сейчас:
📍Работа в крупной иностранной аутсорс-компании на позиции data analyst

Как выглядел путь ⤵️

1️⃣ Изучен SQL и работа с базами данных
Как ни крути, но это база, без которой никуда. SQL - самый востребованный навык для работы с данными

2️⃣ Научились работать с данными с помощью Python
Python является основным языком программирования для задач сферы Data Analysis/Engineering. Вы можете не столкнуться с ним на стажировке или на своей первой работе, но при дальнейшем развитии в сфере вам он будет встречаться все чаще

3️⃣ Визуализация данных и BI инструменты
Бизнес-заказчики как правило работают с данными на уровне визуальных интерактивных отчетов (дашбордов), поэтому визуализировать данные - must have для аналитика

В конце курса Екатерина защитила итоговый проект, который был по теме анализа авиаперевозок в России. При выполнении проекта как раз применяются все изученные инструменты и закрепляются еще раз на практике.
- Python для извлечения и обработки, отчистки данных
- SQL для расчета необходимых метрик
- BI для построения интерактивного отчета с результатами анализа

Как итог, в конце курса у Кати есть готовое портфолио с проектом и практические навыки. Она успешно с отличной обратной связью прошла собеседование, тестовое задание и получила оффер в компанию 🎉🎉🎉

Порадуемся вместе за Катю и других выпускников, кто успешно применяет полученные знания в своих рабочих задачах 🔥😃

Недавно прилетело несколько интересных предложений по фриланс-проектам

За все браться не могу, часть запросов отсеиваются, потому что есть
📍основная работа
📍курс и работа с учениками
📍другой интересный фриланс-проект, на котором работаю с сентября

Расскажу про последние запросы
1️⃣ Построение сквозной аналитики компании на основе данных CRM
Основной запрос - построение слоя аналитической отчетности в виде дашборда. Данные уже есть, нужно изучить, правильно рассчитать метрики, очистить при необходимости и визуализировать в виде дашборда

2️⃣ Продукт по оценке эффективности контента соц. сети по привлечению подписчиков
Есть соц. сеть и разного плана контент: посты, сторис и т.п. Сервис собирает статистику и на ее основе подсвечивает какой именно контент привлек подписчиков и в каком объеме.
Пайплайн по сбору данных и сам аналитический расчет есть. Сейчас стоит задача в правильной и user friendly визуализации выводов, которые отдает аналитический сервис

На самом деле предложений по проектам на частичную занятость прилетает довольно много, но на все не хватает личных рук и ресурсов. Поэтому подключаю своих учеников на задачки, на текущий проект позвал Данилу - ученика с текущего потока 😃

На рынке аналитики много работы и есть выраженный дефицит классных специалистов, руководители и HR-ы компаний не дадут соврать)

Поэтому самое время осваивать новые навыки и сразу применять их на реальных проектах
➡️ Data Study "Основы анализа данных"

Сегодня написала ученица прошлого потока курса, тот поток закончился в сентябре. Сейчас она уже работает в международной IT-компании и создает собственные дашборды в Tableau, как-нибудь покажу вам ее большой отзыв об учебе и как она за неделю после получения сертификата прошла на стажировку, а потом на постоянную позицию 🔥😃

P.S. как в поговорке говорится: "Везёт тому кто везёт"

Задумывались ли вы, что ваши данные анализируются каждый день во множестве компаний, чтобы бы вы ни делали?

Все наши покупки, доходы/расходы, предпочтения в еде и просмотре контента - все изучают аналитики и специалисты по работе с данными.

Аналитика данных - это не что-то далекое, с чем сталкиваются только айтишники.
📍Это то, с чем вы сталкиваетесь каждый день📍

🛍 Например, на маркетплейсах: исходя из анализа ваших покупок и просмотров аналитики знают как сделать так чтобы подсунуть вам побольше интересного именно вам товара и повысить продажи.

🚗 Вы можете еще никому не сказать о своих планах про покупку машины, а аналитики уже знают про ваши планы и делают рекламу той машины, которая вам интересна (марка, цвет и т.д.)

🏦 В банках уже все знают о вашей платежеспособности и на основе анализа данных и скоринговой системы принимается решение о выдаче кредита или о рассылке конкретных предложений для открытия счета или оформления кредитки

🛣 Аналитики знают о вас все на дороге. В каком направлении и с какой средней скоростью едете, какие штрафы вы получили и т.п.

Аналитика - это самый сильный инструмент

📍Хочешь узнать почему нет продаж - анализируй данные
📍Хочешь составить портрет потенциального покупателя или найти самый лояльный сегмент покупателей - анализируй данные
📍Хочешь узнать какой товар продается лучше всего и почему - анализируй данные
📍Хочешь спрогнозировать будущее развитие компании - анализируй данные


Поэтому на сегодняшний день аналитика данных - это самая востребованная и разносторонняя профессия

Задачи анализа данных встречаются в любой сфере деятельности, поэтому сложно остаться без работы в этой области. Каждый наоборот сможет найти сферу применения анализа данных по душе 😉

Часто задаваемый вопрос: "Есть знание теории, но как поддерживать навык на практике?"

Есть множество ситуаций, когда вроде как есть знания, но практической подготовки кажется не хватает. Это может случится по 2 основным причинам:
📍мало практики было на обучении, упор на теорию "на бумажке" (не получили практический опыт)
📍практика была давно и в текущих задачах вы не применяете те инструменты и знания, которые вы изучали (не поддерживаете практический опыт на прежнем уровне)


✅ Практические проекты (или так называемые "pet-проекты") - отличный способ тренировки своих навыков

В сети есть огромное количество данных, которые можно найти под ваши интересы и использовать в проекте. Тем самым у вас есть самостоятельный выбор:
1️⃣ какой проект хотите реализовать
2️⃣ какие навыки хотите подтянуть в момент реализации проекта
3️⃣ какие инструменты хотите вспомнить/освоить в процессе


А чтобы было проще определиться с темой и найти данные, делюсь ссылками на подборки датасетов в статьях:

52 датасета для тренировочных проектов

Подборка датасетов для машинного обучения

Лучшие датасеты для машинного обучения и анализа данных

ТОП 3 сайта для поиска датасетов
1️⃣Kaggle
2️⃣The World Bank Data Catalog
3️⃣Google Dataset Search


Хочешь узнать больше про проекты в сфере data-анализа и инжиниринга данных, освоить нужные инструменты для их реализации, записывайся в группу курса "Основы анализа данных" 😉

Немного новогоднего настроения в видео

Давно с вами хочу поделиться радостью и рассеять один миф

На прошлом потоке курса «Основы анализа данных» в группу записалась ученица. Точнее не так, сначала она мне написала спросить:

«Мне 52. Думаю, стоит ли мне окунуться в новую профессию, закончить еще Ваши курсы и довести свою задумку до конца? В плане-возраст. Смогу ли найти применение новых знаний.»

Сомнение как вы понимаете по большей части было а плане возраста. Смена профессии дело само по себе непростое, а с возрастом кажется все еще сложней.

После небольшого диалога о целях обучения и о том, что обучение в первую очередь дает знания, практические навыки и как результат - уверенность в себе. Все это в скопе помогает добиться поставленной цели.

Как вы понимаете, пишу я это не просто так 😃

Наталья отучилась на курсе, сделала итоговый проект (правда без защиты), который сразу смогла еще и монетизировать. Недавно она написала, что получила оффер от крупной IT компании. 🎉🎉🎉😍
И поверьте, компания и правда крупная, многие из вас с ней взаимодействуют, но Наталья просила ее не называть)

📍Вывод:
если человек действительно хочет добиться результата, он ищет возможности и обучается, откидывая все посторонние факторы на задний план 😉

#кейс

😂😅

Фреймворки Python с параллельной обработкой данных

Часто на практике возникает потребность обрабатывать большие объемы данных, либо работать с большим набором запросов к сервису. Делать это в один поток выполнения кода не всегда эффективно и быстро, а сделать эту работу параллельной помогают различные фреймворки или ETL инструменты.

Читать статью про фреймворки Python для параллельной обработки данных

Кто на меня давно подписан, знают, что 2 года назад я разработал свой курс "Основы анализа данных". Кто не знает, рассказываю) За это время программа и материал курса преобразовывался, оттачивался и улучшался множество раз.

Было в самом начале:
📍7 живых уроков в онлайн-формате
📍2 практические домашние работы
📍1 месяц обучения

Сейчас:
📍Более 30 уроков в онлайн-формате + видеоуроки
📍8 практических домашних заданий
📍3.5 месяца обучения профессии
📍реализация практического итогового проекта и его защита
📍блок по подготовке резюме и поиска работы / развития в сфере аналитики


Результат за эти 2 года:
✅ проведено 7 потоков обучения
✅ у меня обучились 85 учеников
✅ проведено более 150 часов онлайн-уроков и консультаций в рамках курса
✅ написано и проверено 2000+ SQL-запросов

Многие ученики делятся результатами во время курса или после обучения по достижению своих целей:
🔥находят первую работу в IT на позиции аналитика
🔥меняют область своих задач в своей специализации и начинают выполнять задачи анализа данных, повышая свою ЗП 💰
🔥закрывают пробелы в своих знаниях после самостоятельного обучения или неуспешной попытки учебы на других курсах

С частью ребят работаю на совместных проектах и рекомендую их в качестве аналитиков в компании / менторов на курсы где сам веду модуль по SQL. Вы большие молодцы 🔝, знаю что меня также здесь читаете 😉

Обо всех, к сожалению, не знаю, нет столько ресурсов чтобы поддерживать общение со всеми.


📍Сейчас идет набор на 8 поток курса "Основы анализа данных"
Старт обучения: 16 января 2024

Самое время после новогодних праздников с новыми силами пойти учиться 😉
Запись в группу и подробная информация о курсе на сайте ➡️ datastudy.ru

Еще одна статья про наблюдение за метриками и работой сервера PostgreSQL. Будет полезно DBA, DE, аналитикам, кто сталкивается с задачами оптимизации ресурсов базы.

Топ полезных SQL-запросов для PostgreSQL