Аналитика данных / Data Study

Завтра выступаю на конференции c докладом

Расскажу чем занимались в компании прошлый год в рамках клиентской аналитики, приходите послушать в 14:00

- определение клиентского статуса в зависимости от целевого действия
- атрибуция клиента на уровне компании и отдельных продуктов
- техническая реализация единой аналитической витрины клиентских продуктовых действий

Регистрация

Топ баз данных по популярности

Почитал исследования по рынку по популярности использования разных баз данных. В целом топ привычных реляционных баз устойчив: корпоративный гигант Oracle и широко известные MySQL, PostgreSQL, SQL Server в топе

Рейтинг здесь

MongoDB широко применяется, но она не хранит данные в привычном табличном виде и SQL запросы к ней не попишешь - она чисто применяется для backend части информационных систем.

А вот топ аналитических (OLAP) баз много где возглавляет Clickhouse. И много где на 2-3 месте стоят Apache Druid и Apache Pinot. Нужно потрогать их, возможно добавлю в песочницу на курс для учеников.

Собрал пиццу, вообще это мое наверно одно из самых любимых блюд с детства. Помню как в детстве еще собирал ее дома с мамой, потом уплетал, запивая черным чаем с сахаром 😋

Рецепт:
- слоеное без дрожжевое тесто
- копченая колбаса
- шампиньоны маринованные
- помидоры
- сыр

В духовку на 30-40 минут и готово ✅

Собеседования для аналитиков

Еще пару лет назад участвовал в проведении мок-собеседования на роль BI аналитика.

Кто сейчас в поиске, можно погрузить себя в атмосферу собеса, посмотреть что спрашивают у аналитиков
по разным направлениям:
- BI
- Продуктовая
- Системная
- Data

Собеседования проводились для кандидатов уровня junior

📍Моковое собеседование Junior BI-аналитик | Даниил Джепаров, Senior BI Analyst, RNT Group

📍Моковое собеседование Junior Бизнес-аналитика | Ольга Мазур, Head of Business Analysis, Samokat.tech

📍Моковое собеседование на позицию Junior Системного аналитика | Наталья Золотова, Ведущий системный аналитик

📍Моковое собеседование на позицию Junior Data Analyst | Дмитрий Лапин, DA/DS Team Lead, JSA Group

Делюсь фильмов на выходные

Скажу честно, я обожаю животных, поэтому фильмы с сюжетом вокруг животных мне сильно нравятся. Рекомендую к просмотру в уютный пятничный или выходной вечер фильм "Марли и я"

Очень трогательный фильм оказался для меня, думаю вам тоже понравится

На прошлой неделе проводил несколько интервью в поисках аналитика

Каждому кандидату задал вопрос использует ли он временные таблицы при написании SQL запросов? и если да, то для каких целей

И каждый почему-то перепутал временную таблицу с CTE. Это совсем разные вещи, хоть и схожи в целях их применения - получить промежуточный результат для дальнейшей обработки данных.

Больше информации писал здесь

📍 про CTE
📍 про TEMPORARY TABLE

Кто такой же кот? 😁

Сегодня написал автоматизацию создания репозиториев для учеников с помощью GitHub API

Раньше каждый раз у меня уходило по 40-45 минут на монотонные действия
- создать репозиторий из шаблонного
- добавить нужные секреты для деплоя
- добавить права доступа ученику

Сейчас все это можно сделать буквально за 3 минуты 👨‍💻
- закинул на вход нужные параметры
- на выходе получил эксельку с ссылками на готовые репозитории с привязкой к ученику

До этого также написал автоматизацию по доступам в БД
- создать схему
- создать пользователя
- накинуть все нужные права и роли
- закинуть креды в таблицу учеников
- сформировать сообщение для отправки кредов в телеграм каждому индивидуально

ну кайф просто, скоро в DevOps подамся 😄

Посмотрел ваши ответы на тест и решил собрать все мысли в материал по развитию в профессии в скажем так не очень простое время

Подготовил чек-лист «как сейчас удерживаться на рынке и расти во время оптимизации (кризиса)»

Все основано на анализе рынка и вакансий, там узнаете почему я так топлю за SQL+Python и автоматизацию.

Спойлер: они требуются в большинстве вакансий на аналитика.

Время навыков формата что-то посчитать и свести в эксельку закончилось, СЕЙЧАС ТРЕБУЮТ БОЛЬШЕГО. И это становится «базовым минимумом»

📍Как быть максимально ценным для компании
📍Что из навыков сейчас востребовано в вакансиях
📍План твоего развития на ближайшие 3-6 месяцев

Прочитать чек-лист

Уже 2 февраля старт обучения «SQL и автоматизация витрин данных» - записаться

Немного пушистой булочки вам в ленту

Текущая ситуация на рынке IT

Сейчас рынок работодателя:
🔹 соискателей больше чем вакансий
🔹деньги дорогие как для нас, так и для компаний, поэтому новых проектов или глобальных расширений проектов нет
🔹с этим связаны оптимизации костов и как следствие сокращения

Буквально сам знаю историю, что человек сейчас готов перейти в другую компанию с понижением грейда и существенно просесть в ЗП после сокращения в одном бигтехе. И это к сожалению не единичные случаи.

Что это значит для нас - аналитиков, инженеров и других спецов

🚩 Сегодня основная цель - это закрепиться на рынке. Компании оставляют сильных и эффективных сотрудников, умеющих решать сложные задачи.

Всю рутинную работу стараются автоматизировать, а если не получается - то вообще избавиться от нее или перераспределить по другим людям. Нет сейчас бюджетов держать отдельного сотрудника на довольно узкий спектр задач.

Поэтому усиление своих hard навыков сейчас не потребность для увеличения ЗП, а способ удержаться на кризисном рынке.

Я лично всегда придерживался позиции быть многофункциональным: сегодня могу отчет в BI собрать, а завтра закопаться в бизнес-процесс и найти способ его автоматизировать на python, чтобы руками меньше делать приходилось.

Поэтому дерзай и усиливай свои прикладные навыки вместе со мной https://datastudy.ru/ (ближайшее уже 2 февраля)

Запись на старт обучения

Хочешь быстро проверить, насколько хорошо разбираешься в аналитических витринах данных и автоматизации?

Предлагаю пройти короткий тест из 10 вопросов — за 3-5 минут оценишь свой уровень в SQL, Airflow, Git и облачных сервисах.

А после теста получишь развёрнутые пояснения к техническим вопросам и рекомендации

Пройти тест

Многие аналитики привыкли решать задачи в виде разовых запросов. Ну например к вам пришел менеджер и спросил

Какую выручку заработали за вчера?

И ты идешь собираешь информацию по разным таблицам или выполняешь свой "шаблонный" запрос на этот случай, потому что посчитанных готовых метрик под рукой просто нет. Знакомо?

❓❓❓А если таких вопросов будет много или каждый такой вопрос от бизнеса будет более комплексным? Такие запросы буду съедать все твое время и задачи превратятся в рутину(

В таком случае удобно создавать витрины данных

Витрина данных - таблица с достаточными, очищенными, преобразованными данными для решения конкретной задачи.

Данные перед витриной проходят нужные шаги сборки и обработки: объединяются, фильтруются, чистятся, агрегируются, считаются нужные метрики.

Дальше витрина данных становится основным источником правды для всех ответов на вопросы от бизнеса и может быть использована
- в BI отчетах
- для рассылки метрик в мессенджеры
- для обычных выгрузок в excel
- для отправок по другим каналам связи типа email

На обучении "Продвинутый SQL и автоматизация витрин данных" за 1.5 месяца научишься создавать качественные витрины данных под любые задачи

Записаться в группу

PostgreSQL + Airflow + Github - как устроена инфраструктура на курсе

В рамках обучения ученики будут работать в построенной инфраструктуры, которую описал на схеме.

PostgreSQL - используется как аналитическое хранилище, в котором данные разделены по слоям хранения.
RAW - сырые данные, которые динамически обновляются
CORE - общие преобразованные данные в чистые таблицы
MART - слой витрин, который каждый ученик будет разрабатывать в рамках практики

Apache Airflow - автоматизирует процесс сборки таблиц и витрин через DAGи. что это и как писать разбираем в теории и практике.

GitHub - у каждого есть свой рабочий репозиторий, который играет 2 задачи
- хранение скриптов со всей логикой сборки данных
- создание и деплой DAG в Airflow для написания автоматизации
Если не было раньше практики с git, не проблема, на курсе все разбирается

Такая практика и погружение в реальные инструменты позволяет максимально прокачать твои харды! 🔥

Чтобы у тебя даже в мыслях не было сказать
- "я не уверен в своих знаниях"
- "я не силен в технических навыках"
- "я могу решать только простые задачи"

Если что-то непонятно, пишешь вопросы, я веду группу учеников лично

Предзапись на курс

Иногда в выходные буду делиться рекомендацией фильмов и сериалов (не всегда про IT), но сегодня начнем с классики, наверняка многие не смотрели

Сериал "Силиконовая долина"

Комедийный сериал о группе программистов, которые создают стартап в Кремниевой долине. Главный герой Ричард Хендрикс случайно разрабатывает революционный алгоритм сжатия данных, который привлекает внимание крупных IT-корпораций. Сериал показывает внутреннюю кухню стартапов: технические задачи, поиск инвесторов, офисные интриги и конкуренцию на рынке.

#рекомендация_фильмы

Конструкция фильтрация для функций агрегации

Хочу рассказать про удобную конструкцию, про которую знают далеко не все. Часто возникают ситуации, когда при агрегации нужно учесть не все строки данных, а только подходящие под определенные условия.

Конструкция такая:

функция агрегации FILTER (WHERE условие фильтрации данных для учета в этой метрике)

Например, нам нужно посчитать несколько метрик
- кол-во всех клиентов по customer_id
- кол-во клиентов, у которых источник регистрации будет один из этих: direct, form, vk

Пишем запрос

SELECT 
COUNT(DISTINCT customer_id),
COUNT(DISTINCT customer_id) FILTER (WHERE reg_source IN ('direct', 'form', 'vk')
FROM customers

Можно конечно писать через CASE, но конструкция с фильтром более наглядная, емкая и эффективная в плане оптимизации

SELECT 
COUNT(DISTINCT customer_id),
COUNT(DISTINCT 
        CASE
            WHEN reg_source IN ('direct', 'form', 'vk') THEN customer_id
            ELSE NULL
        END)
FROM customers

Еще больше фишек SQL на продвинутом курсе, запись в группу