Аналитика данных / Data Study

Вопрос из комментариев решил еще раз подсветить о ролях DA и DE

Грань между DA и DE бывает сильно размыта, мне ли это не знать если у меня позиция называется аналитик-инженер 😅
На самом деле расскажу например как у нас делится в Сравни

DE (инженеры данных) отвечают за:
- поддержание инфраструктуры и сервисом DWH (само хранилище, ETL, очереди сообщений и все что с этим связано)
- выполнение дата-контрактов по загрузке сырых данных из систем-источников
- написание витрин по запросу продуктовых команд, где нет своих ресурсов аналитиков

DA (аналитики данных) отвечают за:
- проверку данных в сыряке и написание дата-контрактов
- описание бизнес-логики и разработку витрин
- автоматизацию витрин
- создание BI отчетов
- создание своих нужных бизнесу и команде автоматизаций (джобы различные, отправки уведомлений с данными, алертинг по данными)

поэтому вот таким задачам DA и будем учиться на курсе

Чем я занимаюсь на должности аналитик-инженер

У меня прямо в трудовой должность так называется. Давайте разберемся как устроена работа с данными в большинстве компаний, где выстроены или строятся data driven процессы принятия решений.

Если говорим про постоянные процессы, а не ad-hoc (одноразовые) задачи, то этапы работы с данными можно свести в такой флоу
🔹Работа по получению и преобразованию сырых данных
🔹Очистка, трансформации, бизнес-логика создания витрин данных
🔹Автоматизация обновления витрин
🔹Анализ данных

Сюда включены как инженерные задачи (построить поток данных, автоматизировать), так и аналитические (узнать что и зачем делать, переложить бизнес-логику на данные, провести анализ и сделать выводы).

Когда работаешь в одной роли твой масштаб и набор задач ограничен, ты делаешь лишь часть работы из всего процесса.
➖ это может надоедать
➖может быть стагнация в своей роли
➖возможно есть задачи интересней чем делаешь сейчас

Многим компаниям требуются fullstack-специалисты, которые умеют работать и с инженерными и с аналитическими задачами. Вакансии могут называться как fullstack-аналитик, аналитик-разработчик, аналитик-инженер, DWH-аналитик.

Как этому научиться? Все это будем разбирать на моем курсе по созданию и автоматизации витрин данных - весь процесс по шагам, на практике.

Начинаем учиться 15 октября, длительность 1-1.5 месяца

‼️Осталось 3 места в группе, все места забронировали за 10 дней с момента анонса! 🔥🔥

Требование: должны быть знания базового SQL

Заполняй анкету предзаписи, я свяжусь с тобой со всеми подробностями

Конференции и профессиональные сообщества для меня - это способ изучить и посмотреть как развивается твоя профессия на уровне всего рынка, как работают другие компании, что применяют у себя. Это всегда отличная возможность погрузиться в профессиональное сообщество и найти для себя что-то ценное: знакомства, знания, технологии, идеи. Я за год лично посетил уже больше 5 крупных конференций, а ведь он еще не закончился) Нужно это использовать как инструмент для своего развития, тем более что большинство конференций проводят бесплатно!

И вот нашел для вас событие, которое просто идеально ложится в нашу область data мира. Если вы BI-специалист, аналитик или дата-инженер, это главный инсайт-хаб, который нужно посетить в этом году.😎

Речь про РУBIКОНФ’25 — это масштабная конфа по BI и дата-грамотности в России и СНГ.

Я изучил программу. Это не просто «послушать доклады», это шанс закрыть свои самые острые боли как аналитика/инженера.🤯

🔜Импортозамещение и реальный опыт. Не теоретические рассуждения, а кейсы от компаний, которые уже мигрировали. Как построить DWH и аналитику на отечественных решениях — сколько это стоит, и как не облажаться.

🔜Мастер-классы (это прям ПУШКА!). Впервые будет отдельный формат интерактивных сессий. Можно сесть и руками освоить новые методы работы с данными.

🔜РУBIЛОВО. Будут дискуссии по самым спорным вопросам, которые часто остаются за кадром. Это всегда дает новый угол зрения и возможность понять тренды.

🔜Визуализация. Покажут, как делать дашборды, чтобы их читал и понимал даже ваш руководитель (а не только вы).

Конференция — это про сообщество и доверие. Это нетворкинг, который реально двигает карьеру.

🔥И главное! Участие в РУBIКОНФ’25 БЕСПЛАТНОЕ. Нужно только успеть зарегистрироваться заранее. Вам дают топовый контент и мощный нетворкинг, а вы платите только своим временем.

🔗Подробности и регистрация по ссылке.

7 октября, Москва.
Кластер «Ломоносов» (Раменский б-р, д. 1).
Приезжайте с 10:00!

У меня сейчас такая нить в голове пронеслась 😳

Я в спортзале выбираю один и тот же шкафчик для вещей, сегодня задумался о цифре 159 на нем. И только сейчас в моменте понял, что 159 - это номер моего родного региона Пермский край.
Корни подсознательно проявляются 😁

Ходил в субботу на конференцию Data Driven от Яндекса. Мне понравилось что на месте фуршета были телевизоры с прямой трансляцией докладов, т.к. в зале мест было сильно меньше чем участников, поэтому это было спасением для тех кто в зал не влез)

Был классный доклад про коммуникацию с пользователями через дашборды. Ожидал, что будет про понятные графики, полезные инсайты, подсвеченные аналитиком прямо в отчете, но нет. Яндекс рассказал про свой процесс сертификации отчетов, стандартизацию шаблона отчета со всей полезной информацией (ответственный за отчет, форма обратной связи, инструкция получения доступа…). А также проверка качества данных на отчете, их актуальность и производительность самого отчета.

Записи докладов можно посмотреть здесь

Спешу рассказать про программу курса "Продвинутый SQL для анализа и преобразования данных "

Материалы сформированы так, чтобы сначала получить необходимую теоретическую базу и изучить описанные практические примеры. Во второй половине курса всю эту базу знаний применить для решения бизнес-задач с разработкой и автоматизацией витрин данных.

Опишу разделы курса, не погружаясь в детальные уроки

Теоретическая-практическая часть:
🔹Витрины данных и их виды материализации
🔹Формирование требований для витрин данных
🔹Продвинутый SQL для преобразований данных и пользовательские функции
🔹Оптимизация запросов и работа с планом запроса
🔹Практические лайфхаки формирование метрик и аналитики
🔹Теория и практика работы с git и Github
🔹Cloud functions
🔹Apache Airflow
🔹Процедуры и триггеры PostgreSQL
🔹Реализация витрин с полной перезагрузкой
🔹Реализация витрин с инкрементальной загрузкой
🔹Формирование документации для витрин и потоков данных

Практическая часть
Здесь тебя ждут описанные бизнес-задачи на разработку 10 разных витрин данных с их автоматизацией. Чтобы максимально дать широкий спектр практики каждая витрина будет отражать разные бизнес-домены и отвечать потребностям разных бизнес-задач:
🔵 финансы
— отчет формата PnL
— отчет с ключевыми KPI компании
— отчет план/факт

🔵 маркетинг
— трафик
— отчет по данным Яндекс Метрики с активностью на сайте

🔵 клиенты
— отчет по источникам регистрации и активности клиентов
— отчет по портрету клиента
— отчет по Retention

🔵 CRM-коммуникация
— эффективность каналов коммуникации

Для всех этих бизнес-задач научитесь формировать аналитические витрины в нашей DWH-песочнице и автоматизировать разными способами, максимально подходящими для решения конкретной задачи.

Чтобы попасть в группу, заполните форму или напишите мне сразу лично @daniildzheparov. Узнаю про ваш опыт работы и сориентирую по другим вопросам и оплате

Еще одно видео моего кумира 😂

У всех ведь перед отпуском начинается какой-то завал на работе? Сегодня Андрей из команды перед отпуском до последнего доделывал отчет. У меня аврал за недели 3 по ощущениям начинается каждый раз. Как это работает?)

P.S. всех с пятницей 😎

Сегодня ходил на конференцию, посвященную работе с клиентскими данными. Несколько тезисов, которые понравились

🔹Компании движутся в гипер-персонализацию, когда компании понимают не только что вам может быть интересно и предлагают это, но знают досконально ваши текущие жизненные ситуации, в которых вы находитесь и действуют проактивно, помогая вам в них.

🔹Взаимодействие с реальным человеком, а не с роботами/AI помощниками, будет все больше и больше привилегией премиум-сервиса, однако все может зависеть от конкретных кейсов, где взаимодействие с ботами удобно и оправданно

🔹Приватность как-будто уходит на второй план, компании слишком много знают данных о своих клиентах и мало кто читает длинные согласия на обработку перс. данных. Однако, регуляторы наоборот озабочены защитой данных

🔹Практически все продукты компаний в рамках финтех и страховых практически одинаковые. Поэтому компании будут выделяться уровнем предоставляемого сервиса вокруг своих продуктов, чем новыми продуктовыми фичами

🔹Очень впечатлил проект ЕРН - единый реестр населения. Это гос. проект, который объединяет в себе золотые карточки по людям со всеми историческими и актуальными данными документов. Для контекста, все наши разные документы (паспорт, ИНН, СНИЛС, водительское удостоверение, свидетельство о браке …) находятся в обработке и хранении у множества разных гос. ведомств. Обмен и актуализация этих документов между ведомствами - огромная сложная задача + цифровизация всех старых документов и записей прошлого века.
Теперь есть этот реестр ЕРН который все в цифровом виде, хранит, обрабатывает, стандартизирует, дедублицирует, обновляет, актуализирует в одном месте и будет являться эталонном источником информации о человеке. Вот это прям впечатляет по масштабу проекта и не сравнится даже с самыми большими корпорациями и их объемами данных 🤯

когда подсказал на работе откуда брать данные, а к тебе вернулись с обратной связью по собранной витрине 😄

о ней я думаю еще расскажу здесь, там такая логика сборки, которой во всем dwh нет и состоит она из 27 файлов сборки на sql!

Аналитика данных / Data Study pinned «🔥Анонс обучения SQL и построения витрин данных! Я это сделал, то что давно сидело в голове, то чем занимаюсь каждый день на работе и чем я рад буду делиться с вами! Рад объявить предзапись на курс "Продвинутый SQL для анализа и преобразования данных" Речь…»

🔥Анонс обучения SQL и построения витрин данных!

Я это сделал, то что давно сидело в голове, то чем занимаюсь каждый день на работе и чем я рад буду делиться с вами!

Рад объявить предзапись на курс "Продвинутый SQL для анализа и преобразования данных"
Речь пойдет не только про сам SQL, но и про Python с ETL-инструментами.

После курса ты сможешь творить с данными магию с помощью SQL, а именно:
✅ реализовывать сложные бизнес и технические задачи на SQL
✅ писать оптимальные и технически оптимизированные запросы
✅ создавать и автоматизировать витрины данных разными способами

Курс НЕ С НУЛЯ ‼️ вы должны уже уметь писать SELECT запросы, знать JOIN, подзапросы, хотя бы слышали про оконные функции.

🎯 Главная цель курса: поделиться с вами практическими лайфхаками и фишками написания сложных аналитических запросов, показать как эффективно обрабатывать и анализировать данные любой сложности, а также автоматизировать расчет аналитических витрин данных.

Как организовано обучение
Я подготовил уже песочницу DWH с данными на разных слоях с их обновлением. У каждого будут полные права к своей песочнице с множеством разных таблиц.
1️⃣первые 10-15 дней изучаем теорию и практику с примерами (рассказываю все из своего опыта решения реальных задач)
2️⃣остальные 15-20 дней разрабатываем и автоматизируем витрины данных под разные бизнес-задачи с расчетом аналитических метрик.

Добавляй еще к этому Python 🥲, Airflow 👎 и Git для автоматизации.
Напишешь минимум 10 витрин данных разной сложности, которые дадут тебе кратный буст по опыту 🚀, соизмеримый с годами работы!

Длительность: 1.5 месяц
Формат: онлайн-уроки + обратная связь по практике от меня

🔗 Программа курса
🔗 После курса ты аналитик-инженер

Заполни форму чтобы попасть в лист предзаписи. Я напишу каждому, проведем мини-созвон по опыту в аналитике и SQL.

Больше деталей и ответы на вопросы будут здесь в группе

Сегодня первый раз в жизни сходил в зал утром. Сам, по своему желанию без принуждения 😅
Для меня это подвиг если честно, я привык жить вечерами и делать все основное вечером.
Народу нет, а у меня чувство что уже день начался полезно 🔥
Сейчас приду домой и спокойно начну работать 👨‍💻

windows уже не смог добавить в реакцию(

Чтобы была вторая кастомная реакция на посты, проголосуйте за канал https://t.me/boost/data_study 🙏

Мой опыт переезда с Windows 😄 на Mac 🍏

Еще в моем детстве мама купила себе ноутбук на Windows Vista. Потом появился стационарный компьютер на Windows XP, позже на Windows 7. Конечно они были "для учебы", как и у всех парней в школе, да?) На самом деле мы учились дрифтить в Need For Speed, играть в футбол в Fifa, и защищать всех подряд в Call of Duty.
Привычка работать на 😄 у меня образовалась давно, поэтому и рабочие ноутбуки я всегда выбирал тоже на Windows.

Недавно все таки решил перейти на Mac 😁. Основной причиной была просто компактность и легкость самого мака, т.к. в Сравни мне дали изначально игровой 17-дюймовый Acer, который норм для работы дома, но если пойти куда-нибудь с ним, то были неудобства из-за его габаритов и веса.

Первые пару дней чувствовал себя дедом 🥸, типа "куда жмать", или "где найти файл после загрузки".
Основные отличия, к которым пришлось привыкать:
🫠 клавиатура, основной горячей клавишей всегда был CTRL и нужно было перестроиться на CMD, который еще чуть правее находится по раскладке
🫠 работа с окнами, переключение на Mac более удобно делать через свайп вправо/влево на тачпаде, чем через нижнее меню приложений.
🫠 файловая система и расположение папок
🫠 чуть сильней ткнул на тачпад и происходит какое-то действие перевода или еще что-то, хотя ты просто хотел выделить текст для копипаста

Из плюшек, что 100% нравится больше:
👍 синхрон со всеми остальными продуктами apple, будь то подключение к wi-fi с телефона или подключение airpods
👍 большой и тихий при клике тачпад, крутое управление свайпами
👍 использование linux команд через терминал без всяких лишних виртуализаций

НО появилась задача поработать с zip-файлами и все никак не могу разобраться с разархивацией в нормальной кодировке архива на Mac, который был создан в Windows. Попробовал встроенный/скачанный архиватор, python-библиотеки, но пока безуспешно 🫠

А вы чем пользуетесь?
🍏- Mac
👀- Windows

Он мой кумир 😂

Не проводи встречи в пятницу, когда можно их провести в понедельник

Всех с пятницей)