Продуктовая аналитика для чайников

​​Google представил базовый вводный онлайн-курс по #GA4. Он короткий, бесплатный, на русском языке и в виде интерактивной инфографики. Подойдет для всех, кто хочет начать изучение возможностей системы и отличий от предыдущих версий.

https://bit.ly/37uVUc6

via @WebAnalyst

Дмитрий Федеров перевёл официальные туториалы по Pandas на русский язык. Теперь это один из тех (немногочисленных) русскоязычных материалов, которые я могу смело рекомендовать любому, кто начинает изучать Pandas

http://dfedorov.spb.ru/pandas/

Нужно больше данных, Милорд!

Аналитику в продуктовых компаниях можно разделить на несколько этапов:

1. Сбор данных
Собираются все возможные данные. Какие угодно, главный принцип - чем больше, тем лучше.

2. Построение витрин данных
Данные визуализируются и на дашбордах появляются первые метрики.

3. Аналитика
Определяются ключевые метрики продукта. Команда выдвигает гипотезы и валидирует их.

4. Growth-аналитика
Прогнозируются изменения метрик в будущем. На этом этапе компания ищет точки "взрывного-роста", когда кажется, что достигнут максимум.

Мир изменчив, а ключевые метрики продукта и подавно. Поэтому важно с самого начала собирать все возможные данные и визуализировать их.

Кто знает, какая метрика станет ключевой через 5 лет, но будет проще, если данные уже будут под рукой.

Не стоит забывать про growth-аналитику, полагая, что расти уже некуда.

​​Быстро и просто предсказываем временные ряды

Одна из частых задач в работе дата аналитика или дата саентиста это прогнозирование временных рядов. Например: количество выданных кредитов, количество платных подписок, объем экспорта в страну и т. д.

Мой, уже теперь бывший коллега Тимур Фаткулин сделал классный репозиторий с примерами подходов для прогнозирования временных рядов. С помощью этих подходов можно быстро и просто сделать первую модель и затем улучшать.

- Prophet - библиотека Facebook. Очень удобно использовать для первой версии модели, посмотреть тренды: годовые, месячные, недельные

- Long short-term memory (LSTM) - разновидность архитектуры рекуррентных нейронных сетей. Сложно интерпретируемый подход, на большом временном ряде может дать очень хороший результат

- ARIMA - интегрированная модель авторегрессии. Классический метод предсказания временных рядов

- Обучение регрессора c извлечением признаков. Например: XGBoost, RandomForestRegressor и другие. Можно извлекать любые признаки из даты и времени: день недели, праздник, выходной и т.д. Так же для увеличения числа признаков используют и множество других метрик. Например: максимальное/минимальное значение, наблюдавшееся в скользящемпо ряду окне, медианы, число пиков, взвешенные дисперсии и многое другое. Автоматически этим можно сделать с помощью библиотека tsfresh.

Дополнительный материал:
- Prophet - https://facebook.github.io/prophet/docs/quick_start.html
- Лекция - Прогнозирование временных рядов https://www.youtube.com/watch?v=u433nrxdf5k
- tsfresh - https://tsfresh.readthedocs.io/en/latest/

Аналитики зачастую не понимают бизнес-смысл используемых метрик, а бизнес не всегда понимает что лежит в математической основе тех или иных показателей.

Делимся с вами записью доклада Дмитрия Кудренко с Матемаркетинга-2019, который был признан одним из лучших докладов. Он про связь тактических и стратегических метрик и о том, какие ошибки мы совершаем при оценке маркетинговых специалистов.

В 2020 году Дима снова выступит на Матемаркетинге-2020, а кроме него, про работу с direct-маркетингом будут рассказывать топы Out Of Cloud, Retail Rocket, MindBox

Полная программа доступна по ссылке: https://bit.ly/3iMiT6Z
Билеты и подробности: https://matemarketing.ru

@matemarketing_official

📊 Минипост: Очарованные циферками

В последнее время я всё чаще наблюдаю феномен «пабмеда» — когда на любую точку зрения в интернете находятся «данные», её подтверждающие. Мы никому больше не верим на слово, но как только видим график — аргумент как будто бы становится в десять раз авторитетнее. Машина ведь врать не будет!

Особенно резко проблема стоит в модных data-driven компаниях с плоской структурой, где человек с паверпоинтом побеждает здравый смысл примерно всегда.

Вопрос — что делать? Как выживать в таком мире? Можно ли победить глупость или лучше её возглавить, пока остальные не одумались?

https://vas3k.ru/notes/datadriven/

​​Наконец-то закончил статью на одну из самых сложных для понимания тем - оконные функции в SQL.
На ее написание ушло почти пять месяцев с перерывом на отпуск :)

В статье на простых примерах с картинками разбирается принцип работы данных функций, а в конце вас ждут кейсы с расчетом моделей атрибуции «Первый клик» и «С учетом давности взаимодействий».

Как проанализировать эффект от нововведения?

Иногда в работе бывает такое: "Мы внедрили новую фичу в продукте, про A/B тест забыли, да и времени на него нет. Теперь вот не понимаем каков эффект. Проанализируй и скажи что-как."
Что делать в такой ситуации? Есть несколько способов:

- Иногда помогает сравнение метрик до и после. Если нововведение оказало мощный эффект, это будет видно. Встречается редко. Сезонность, тренды и прочие факторы могут привести в ложным выводам.

- Можно провести ухудшающий A/B тест. "Откатываем" часть пользователей к старому варианту и сравниваем с текущим. Самый надежный способ в плане достоверности.

- Использовать библиотеку casual impact. Умные ребята из google придумали хитрый способ измерить эффект от нововведения без A/B тестов. Если грубо, то строится прогноз метрики на данных до нововведения и подбираются надежные ковариаты. Отклонения текущих значений от предсказанных можно трактовать как эффект от нововведения. Подробнее тут и тут.

Как-то раз с Ромой Буниным мы придумали совместный проект: построить красивый и функциональный дашборд с анализом рынка вакансий аналитиков по данным HeadHunter и максимально автоматизировать эту работу. Мы собрали уже более 12 тысяч вакансий, а Рома построил по ним дашборд Tableau, опубликовал в Tableau Public и записал видеоролик на Youtube о том, как использовать дашборд. Сегодня выпускаем материал о том, как мы собирали данные и какие инсайты можно извлечь из нашего проекта: https://leftjoin.ru/all/hh-dashboard-bi-and-analysts-market/

@leftjoin

Использование шаблонов в проверке продуктовых гипотез

Тут лично мой конкретный опыт. Помню, в первые дни работы было трудно понять, как находить ответы на срочные вопросы. Потом дошло, что 80% задач решается несколькими шаблонными методами:

1) Топорный сравнительный анализ.
Все просто, надо сравнить разные сущности друг с другом или в динамике, сделать выводы. Быстро, понятно, часто этого достаточно. Сравнивать можно все: метрики, пользователей, распределения, события, сессии и т.д.

Пример. На какую услугу сделать акцию? Услугой "супер" пользуются на 5% больше, чем услугой "пупер", значит услуга "пупер" менее популярна, давайте сделаем на нее скидку!

2) Анализ воронок и конверсий.
Воронки используют в основном для анализа путей в целевое действие, но они применимы и для анализа пользовательского поведения.

Пример. Приложение мобильного банка. После масштабного обновления, пользователи жалуются, что трудно найти меню оплаты телефона. Строим все возможные воронки событий от запуска приложений до оплаты связи и считаем по каким экранам чаще передвигались пользователи. Большинство пользователей вместо кнопки оплаты телефона, первым делом кликали на оплату различных услуг. Как итог, добавили дополнительную кнопку оплаты телефона в меню услуг.

3) Сегментация.
Тоже самое, что и сравнительный анализ, но глубокий. К сегментации нужно обращаться, когда ответ на гипотезу задает еще больше гипотез. Когортный анализ и ретеншн это тоже сюда. В качестве примера можно прочитать про парадокс Симпсона.

Вот как-то так я экономлю время для решения быстрых задач.

Кстати, у devtodev вышел бесплатный курс по аб-тестам в онлайн играх.

Актуальное интервью о рынке труда, образовании и трендах в мире аналитики. Советую к просмотру.

Сегодня пятница, а значит можно все выходные посвятить обучению!
Дам две интересные ссылки:

* Исчерпывающее собрание материалов с говорящим названием для аналитиков
* Вики для начинающих аналитиков от одной из крутейших data-driven компаний

Постараюсь в следующий раз написать пост о том, как эффективно заниматься самообразованием и не захлебнуться в потоке курсов, каналов и ссылок.

A/B тесты для чайников

Кто ты без A/B тестов? Точно не аналитик😁
Обычно, джуну нужно уметь считать t-критерий и конверсии в онлайн-калькуляторе (только не бейте), но можно и нужно уметь применять всё.

Грубый алгоритм такой:
1) Выбираем метрику для отслеживания (клики по кнопке, средний чек, длительность сеанса и пр.). Запускаем и ждем.
2) Готовим данные
3) Смотрим на прикрепленную схему, которую я взял с крутого канала
4) Гуглим мануалы для расчета нужного теста в питоне. Желательно почитать теорию (снова рекомендую книгу С.Гланца)
5) Считаем, визуализируем
6) Показываем и доказываем результат команде
7) Profit!

Для меня аналитика — это про людей. Не про компании и не про инструменты. И вот почему: люди вдохновляют на новые свершения, люди распространяют новые знания и придумывают новые методики, люди переосмысливают опыт и выкристаллизовывают его в алмазно-ослепляющую эссенцию. Весь мой путь в аналитике — это путь переосмысления опыта других профессионалов.

Наплывают воспоминания о том как в 2012 я изучал веб-аналитику с помощью блога web-analytic.ru, который вёл Даниил Азовских. С тех пор много воды утекло: сейчас Даниил уже не ведёт свой блог, а ещё я уже давно перестал читать блог Авинаша Кошика, но я с теплотой вспоминаю эти радостные моменты жадного поглащения новых знаний. Помню как статьи Олега Якубенкова помогли мне сделать тестовое задание на должность аналитика в Ингейт; статьи в блоге ohmystats Алексея Куличевского познакомили с когортным анализом и уже через несколько недель я хвастался перед коллегами тем, что умею строить когорты в Excel (в 2014 это был серьёзный повод похвастаться).

И выходит, что нельзя отделить мой путь в аналитике от питательной информационной среды, в которую я всегда стремился окунуться. Поэтому мне кажется, что начинающим аналитикам очень важно найти для себя тех гигантов, на чьи плечи они смогут взобраться. Список этих гигантов — по ссылке.

http://datalytics.ru/all/kogo-chitat-po-teme-analitiki-dannyh/

Новая среда — новая статья в интерактивном блоге skillsetter.

Рассказываем, как эффективно учиться любому навыку. Внутри 16 советов, три задания и бесплатный постер.

https://skillsetter.io/blog/16-advices-how-to-learn

Александр Осиюк опубликовал хороший обзор различных решений на базе google bigQuery с примерами sql и задачками, которые можно решать

https://link.medium.com/j8lvMyOlf8

Анна спрашивает:

Как должно выглядеть ТЗ для аналитической задачи?

Вообще, я уже писал раньше, что понять задачу — работа аналитика. Но, чтобы ему помочь, я рассказываю:
1. Контекст (зачем в принципе нужно делать эту задачу)
2. На какие вопросы мне нужно найти ответ (собственно задача)
3. В каком виде я ожидаю получить результат (+как определим, что задача сделана)
4. Когда я ожидаю получить результат (+ что произойдет, если его не будет вовремя)

Когда описание задачи готово, мы обсуждаем ее с ааналитиком, уточняем детали и договариваемся о финальных сроках.

Вот, например, пример описания.

#python #визуализация

Наткнулся на замечательный учебник по основам визуализации на mathplotlib. Все кратко и подробно. Самое то для чайников.

Учим статистику

Если спросить любого практикующего аналитика: "Какие курсы пройти по статистике?". Вам все хором ответят про курс "Основы статистики" на stepik. Ну или еще каких популярных книжек или курсов посоветуют.

Все просто. Прошел курс и уже, вроде, все знаешь. Это типичный эффект Даннинга-Крюгера. К сожалению, не имея натренированного мышления, долгой практики или соответствующего бекраунда, статистику по курсам на должном уровне "выучить" нельзя, какими бы они прекрасными и понятными не были. Можно пустить пыль в глаза цитированием названий стат.критериев для АБ-тестов, но в приличной компании с качественным отбором и сложными продуктовыми задачами вы сразу "посыпитесь" на техническом собеседовании.

Поэтому в вакансиях и пишут про обязательное наличие диплома матмеха, физфака и прочих МГУ и ВШЭ. Не для того, чтобы аналитик там сидел диффуры решал (для работы достаточно хорошего логического мышления), а только лишь для отсева кандидатов с ложными представлениями о своих навыках. К сожалению, времена, когда на работу джунами брали всех с кривыми навыками SQL и знанием что такое корреляция, уже прошли.

Мой совет, во время своего самообразования набивайте руку регулярным решением всевозможных задачек. Знания сами постепенно придут к вам в голову и вы будете кайфовать от процесса, но в начале будет довольно трудно.

Первым делом советую скачать учебник Руководство к решению задач по теории вероятностей и математической статистике Гмурмана и обязательно задачник к нему (просить гугл: "скачать гмурман pdf задачник"). Регулярно, желательно каждый день, прорешивать 5-15 упражнений из задачника. Решаем задачки до 15 главы, далее уже для общего развития. При регулярных занятиях задачник можно осилить за 1-2 месяца, за столько времени обычно ищут работу. Алгоритмы решения задач можно посмотреть в руководстве Гмурмана, а лучше на сайте mathprofi (наверняка вы уже сталкивались с этим прекрасным ресурсом). Подробную теорию, при необходимости, гуглим в интернете, но наша задача практика, а не теоремы доказывать.

В нагрузку советую обязательно параллельно изучить Медико-биологическую статистику Гланца - самый лучший и всемирно признанный труд по статистике для неподготовленных гуманитариев (книга легко гуглится). Тут есть немного задач, которые тоже нужно прорешать. Хоть книга и для медиков, но очень легко и интересно читается. А примеры из нее я постоянно вижу во всяких статьях и блогах по анализу данных. Переходите к ней, когда от задачника Гмурмана периодически будет болеть голова. Ну и конечно стоит посмотреть упомянутый выше курс на stepik.

После всего этого можно смело писать в резюме о своих знаниях в статистике или наконец избавится от синдрома самозванца на текущей работе. Задачки на собесах или таски вы будете щелкать на раз-два, разительно отличаясь от выпускников интернет-шарашек, где за 45999 рублей делают "гуру" аналитиков, но кроме пары строчек из библиотеки scipy ничего не дают. Ну а дальше можно проходить уже продвинутые курсы.