Product analysis | Varsanovich

Хотел поделиться кое каким лайфхаком для чтения книжек на англе (не совсем про аналитику)

Какое-то время назад при чтении книжек в iBooks 📖 на IPhone обнаружил классную фичу при помощи которой можно переводить незнакомые слова на русский , не выходя из приложения (скрин прикрепил) . Может кому-то прибавит удобства в чтении иностранной литературы. 😊

Ну или я просто такой отсталый и о ней не догадывался 😁

Всё, всем хороших выходных ❤️

Research plan для Quantitative UX Research

Продолжаю читать Quantitative User Experience Research 📖, и хотел с вами поделиться планом по исследованиям который там описан следующим образом :

1. Уточнить вопрос на который мы хотим ответить нашим исследованием.

2. Определить источники данных

3. Разобраться какие есть способы найти ответ на интересующий нас вопрос.

4. Оценить сколько нам потребуется времени на ресёрч.

5. Поделиться сроками со стейкхолдерами.

6. Собрать первый тестовый набор данных для ресёрча, и попробовать проанализировать.

7. Собрать весь набор данных , почистить его.

8. Построить стат модель или анализ

9. Повторить шаги 6-8 , если нужно (например если данные кривые или стат метод не работает)

10. Оформить первоначальные результаты.

11. Обсудить их со стейкхолдерами

12. Итерировать с шага 10 (или шагов 8, 6, 3, 2 или 1 по необходимости)

Мне план в целом нравится , но хочу добавить свои 5 копеек.
Как будто имеет смысл пункт 6 (Собрать первый тестовый набор данных для ресёрча, и попробовать проанализировать.) переставить до пункта поделиться сроками со стейкхолдерами, потому что если окажется что ваш изначальный подход к анализу не работает, сроки могут сильно удлиниться 😄

А вы как думаете? (пишите в комментах) 🤔

Но а так хорошая шпаргалка которую неплохо бы иметь перед началом большого ресёрча 🧐

Кажется что все крайне очевидно, но бывает что как-то закрутишься в данных и какой то важный этап да пропустишь 😁

Последнее время заинтересовала тема экспериментов , где объекты не добавляются в группы с течением времени, а фиксируются и держатся до его окончания. Кажется что такие штуки популярны в реальных лабораториях , в связи с чем я начал искать книжки в которых рассказываются в целом про эксперименты (Design of experiments) , а не только АБ тесты.

Наткнулся на вот эту подборку , от платформы для как раз лабораторных экспериментов Synthace . 🧪

Отдельно хочу выделить книжку Statistics for Experimenters , в этой подборке пишут что она охватывает самые важные и основные вещи и достаточно readable для начинающих, что тоже немало важно. А главное бесплатная 💰 (Ссылка на книжку) Так что если хотите узнать больше эксперименты то начать можно с неё , я так наверное и сделаю 🤔

Как вы знаете, я работаю в Gett, бОльшая часть бизнеса и сотрудников у которого находится в Израиле, и я думаю все слышали что сейчас происходит в этом регионе 😕

В связи с этим компания запустила волонтёрские классы в Израиле для заказа такси для волонтёрских нужд, доставка воды, вещей для беженцев, ну и перевозка самих волонтёров. Все заказы осуществляют водители волонтеры , которые могут зарегистрироваться на сайте Gett. Но тут есть небольшая проблема , что таких водителей по сравнению с водителями Gett не так уж и много, около 200 активных в час, в связи с чем диспатч не всегда случается, так как водители иногда далеко и получается что волонтер тратит время ища машину которую он/она скорее всего не найдёт… Хотя есть други службы к которым он мог бы обратиться 🚕

Что бы сэкономить время волонтерам , было решено собрать дэш в табло с «лайв» данными волонтерских водителей, что бы юзер мог понять есть ли где то более менее рядом с ним подходящие ему/ей машины и не тратил время для поиска машины если рядом ее нет или же наоборот попытался если что то катается неподалеку… ✅

В общем рад что компания запускает такие инициативы для помощи людям и надеюсь наш дэшик 📊 принесет волонтерам пользу и позволит им оказаться быстрее там где им следует быть ❤️

🏝️🚫

Всем привет 👋🏻

Хотел выйти на связь и сказать что в ближайшие пару недель публиковать ничего не буду, не потому что бросаю канал, нет , а просто уехал в отпуск и решил устроить ретрит от аналитики (убрал все телеграмм каналы в архив и убираю свои пальцы от приложения линкедина 😂)🏝️

В общем не теряйте меня, как вернусь обязательно буду стараться радовать вас интересным контентом, ну а пока вот вам кусочек кипрского чилла в ленту , обнял приподнял 🤗

Крутой мемчик на тему HIPPO (Highest Paid Person Opinion) , что бы все поняли о чем речь, напомню что HIPPO это концепция принятия решений когда всегда прав начальник, и не важно что там твои данные, ресёрчи и АБ тесты говорят 😂

У кого то есть такое? Признавайтесь)

Хочу поделиться с вами своей маленькой радостью. 😊

Вчера вечером выпустил в Бета версию первую мной написанную библиотеку по Экспериментам , назвал её Gett Lab 🧪

Захотелось назвать именно так а не как нибудь с припиской ab tests , потому что планирую что мы уйдем дальше чем просто АБ тесты, а еще будем заниматься тестированием гипотез при помощи инструментов Causual Inference , про них тоже буду писать здесь. ✅

Да, наверное это не повод прям гордиться с собой, так как Валерий Бабушкин недавно поднял систему АБ тестов за 4 часа, но я не Валерий Бабушкин, поэтому я всё равно доволен 😂
Ну и списываю ещё на то что я всё таки вообще что-то разрабатываю в первый раз, поэтому когда нибудь постараюсь уложиться в его тайминг, но это не точно 😁

Вообще зачем я решил в это впрячься ?

Да я знаю есть опен сорс решения, но во первых у нас метрики специфичные, во вторых я планирую потом использовать эту библиотеку для нашей системы АБ тестирования (аминь 🙏🏻) и мне кажется для таких глобальных масштабов надо знать от а до я что под капотом. Ну и в третьих всё таки это наша собственная библиотека и я думаю что учитывая этот факт остальные члены команды будут с большим желанием туда коммитить , чем сходу загорелся наш джун и уже почти начал пилить модули для А/А тестов (Артур, если читаешь , то знай что ты красавчик🔥)

Немного полезности для вас 🛎

Что бы этот пост все таки принес для вас хоть какую то полезность , добавлю что в Gett Lab я не стал использовать z-test из statsmodels ибо он у меня жутко сбоил 🚫, как само p-value , так и конф интервалы.(кто с ним работает, обратите внимание) В итоге я решил вытащить формулу из учебника 📚и переписать ее вручную, единственное что заюзал функцию cdf из scipy для расчёта p-value. Если кому надо вырезку из кода, пишите в личку. Не буду здесь этим спамить.
Также если интересно что и как там сбоит, пишите комменты, поделюсь с вами горьким опытом. 😐

Пост с монте карло ноутбуком 🎁

Какое-то время назад я учился у ребят из EXPF (experiment fest) что мне дало очень много полезности и вообще новых знаний по экспериментам, и как я писал ранее их ноутбуки и лекции я беру за основу в построении библиотеки по АБ тестам (конечно много дорабатываю, но в любом случае). В общем всем советую туда пойти отучиться. ❤️

Единственное что в ноутбуке с оценкой мощности через монте карло который со мной там пошерили закралась ошибка , а именно вместо случайной перемешки с повторением , там был случайный выбор из группы, что половинило оцениваемую мощность теста. 🌚

Поправил, шерю его с вами (вверху). Вдруг пригодится. Там внутри через монте карло оценивается t-test на примере двух выборок, но вы можете на его место подставить любой ваc интересующий тест (Манн Уитни например).💡

Да , забыл, если ещё такого нужно, кидайте реакции

Почему считать MDE и мощность после эксперимента не имеет смысла и это в целом плохая идея ? 🤌 (часть 1)

Пока был в дороге , успел прочитать и разобрать research paper на тему если по русски: "Почему делать power analysis после проведённого эксперимента не нужно ?" Напоминаю что под Power analysis в индустрии подразумевают расчёт Minimum Detectable Effect (писал про него ранее в этом посте) и расчёт мощности.

Так вот собственно основные хайлайты статьи почему после проведённого эксперимента проводить этот вид анализа не нужно :

• Один из способов применения power analysis для анализа результата эксперимента не стат значимого изменения – расчёт вероятности отклонить нулевую гипотезу при полученных результатах . Данный подход используется для подтверждения нулевой гипотезы , аля если мы наблюдаем высокую мощность для нашего изменения , но всё равно видим что результат не стат значим, то нулевая гипотеза верна (разницы между двумя группами нет). В статье же доказывается что получить высокую мощность при большом p-value для одного и того же эффекта в принципе невозможно, так как мощность по сути напрямую зависит от p-value. – в целом никогда этим и не занимался 🤔

• Второй способ уже поинтереснее, порой мы считаем MDE на полученных не стат значимых результатах эксперимента , таким образом мы хотим сделать вывод что чем меньше у нас MDE, тем больше мы имеем подтверждение того что разницы между двумя группами на самом деле нет.
Так вот, в статье доказывается что данное утверждение не имеет смысла, так как возможна ситуация когда мы сравниваем два эксперимента и оба результата не стат значимы и у 1го эксперимента может быть MDE ниже чем у 2го, то есть следуя вышеупомянутой логике можно сделать вывод что результаты первого эксперимента свидетельствуют в пользу нулевой гипотезы больше чем результаты второго.
Данный вывод будет ложным, так как p-value 1го эксперимента может были меньше чем p-value второго (как мы помним p-value и мощность линейно зависят друг от друга) , что означает что ситуация на самом деле обратная. 1ый эксперимент наоборот меньше свидетельствует об отсутствии изменения, чем 2й эксперимент. Что опровергает вышеописанную гипотезу об статистическом выводе 🚫

Так ребят, это немного новый для меня формат, поэтому если хотите что бы продолжал разбирать для вас статьи , ставьте 🐳 (Сама статья выше 🔝)

К этому посту будет вторая часть где пойдёт речь о сравнении конф интервалов и MDE а также общий вывод, оставайтесь на связи 😊

Пообедали с подписчиком 🍕

Сегодня созванивались с подписчиком этого канала во время обеда, он пока что в раздумьях насчёт перехода в аналитику и в целом ему хотелось изнутри понять в чём вообще заключается работа , какие задачи, мои будни и так далее. По мимо этих моментов поговорили про управление командой и вообще карьере (у человека есть опыт руководства) , он поделился со мной своими взглядом на вещи. В общем отлично пообщались 😊

Я это всё к чему, если у вас есть какие-то вопросы или что-то хотите обсудить по теме аналитики-АБ тестов, не стесняйтесь , пишите в личку, буду рад пообщаться. Для меня это тоже своего рода развитие и может мне что-то интересное расскажите. Но конечно по возможности и загрузке 👍

На всякий случай подпишу что это бесплатно 😂

Хотелки ✍

У меня знаете есть несколько хотелок , которые есть желание реализовать за своё пребывание в Gett, начну от большего и приду к меньшему:

1) У нас есть Feature rollout система которая помогает раскатывать фичи на группу в определённых сегментах, как бы что уже хорошо, но под неё нет аналитической системы, что бы можно было запускать тест и оно всё автоматически считало по выбранным метрикам и что бы правильно с точки зрения статистики 🥸 Это наверное номер 1 что хочется сделать. 💯

2) Хочу что бы у нас появилась Global Holdout группа. Если кто не знает, то это сохранение части вашей аудитории девственно чистой (без фичей) в течении квартала-полугода, что бы потом можно было понять как ваши фичи повлияли на метрики в течении периода и оценить совокупное влияние ваших фичей. Мне кажется это сильно нам помогло бы даже с точки зрения репортинга 📈

3) Было бы круто добавить бакеты 🗑 в нашу Feature rollout систему. Это позволило бы перезапускать эксперименты, если мы не уверены в наших результатах по текущему АБ тесту, без вреда для наших пользователей. Мне кажется полезная штука, так как порой бывает что раскатали фичу, что-то поломалось но вот знаете вот так вот совсем чуть чуть - немного повлияло на UX и вот эта вся история (бесит конечно) , а так у нас есть ещё одна корзина свежих нетронутых юзеров. Или когда p-value = 0.05. В этом случае если зареранить эксперимент есть способ посчитать совокупный p-value по 2м экспериментам который придаст уверенности вашим результатам и поможет принять взвешенное решение. (вот вам ещё google sheet Рона Кохави где он это всё дело считает)

А какие у вас есть хотелки на работе?)😅

#ресурсы
Много кто наверное слышал про YouTube канал Statquest, где весёлым образом рассказывают про статистику и ML (весёлым потому что песни поют в начале связанные с темой ролика 😂) , но я нигде не встречал что бы рассказывали про другой крутой канал 3BluesBrown.

Как мне кажется этот канал хорошо дополняет 1ый, так как на Statquest больше про статистику а тут Линал и Матан, но не на формулах, а скорее используют геометрический подход. 📈👨‍🏫

Насчёт Creditibillity, контенту канала можно доверять потому что автор выпускник Стэнфорда по математике 👨‍🎓
Ну и другие ребята которы помогают делать контент - профессоры из американских вузов.👨‍🏫

В общем если хотите вспомнить тему по статистике или терверу то вам на Statquest, если Линал, Матан то 3BluesBrown . 🤝

P.S. вот ссылка на 3BluesBrown на русском

#обзор_на_книжку
Книжка для знакомства и старта разработки на Python 🐍

В этом посте хотел поделиться и порекомендовать вам книжку по Python , а именно : "Изучаем Python" Эрик Мэтиз .

На самом деле много кто её рекомендовал в разных телеграмм каналах, но хотел тут выразить своё мнение и понимание ценности данной книги и в целом поделиться своим кейсом как я к ней пришёл. 🚶

Дело в том что как я писал выше, я начал своё знакомство с Python c Яндекс Практикума и по окончанию курса я достаточно свободно себя чувствовал с Pandas, но вот что-то разрабатывать на Python я просто не умел и не понимал как, то есть как создать библиотеку, что такое Объектно ориентированное программирование это всё для меня было мимо (для аналитика в начале пути это наверное всё и не нужно, поэтому ЯП я не закидываю тапками, не подумайте) , но по мере своего развития и чтения кода более опытных коллег понимание этих всех концептов становилось важным, так я и набрёл на "Изучаем Python" Эрика Мэтиза. 👨‍💻

Данная книжка это как бы учебник по Python для начинающих не аналитиков, а я бы сказал разработчиков, но написанная для людей без бэкграунда в IT . Она поделена на сегменты и предполагает выполнения заданий с вашей стороны после каждой главы и по прохождению теории вам будет предложено несколько глав с проектами, где вы разработаете игру для ПК , сделаете веб приложение на Django и повизуализируете данные при помощи Matplotlib и Plotly.

Но сразу вам говорю, что Pandas вы там не увидите. ‼

Если вы всё таки прочтёте мой пост и прочитаете - проработаете книжку, то вы сможете разобраться как создавать классы, напишите свою первую библиотеку, разберётесь получше с визуализацией и в целом разовьётесь с точки зрения разработки, что я считаю важным для Middle - Senior специалистов в аналитике. 👴

P.S. ссылка на книгу в магазине, но если не захотите покупать, то на просторах интернета она лежит бесплатно.

#вакансии
Дружеский пост 🤝
Мой бывший руководитель в МТС Боря , ex Yandex, ex Sber (сейчас уже CPO HR-tech) ищет продуктового аналитика в направление HR-tech MTC. Конкретно про Борю скажу что он 100% адекватный и Data driven Product Manager с которым можно и в огонь и в воду.

Единственное что желателен человек с опытом , так как аналитические процессы придётся выстраивать самому и направлять Борю и его команду на новые крутые инсайты. Со своей стороны скажу, что у ребят из Big Data MTC есть неплохая ,как говорят, библиотека по АБ тестированию, значит всё таки по каким то техническим вопросам можно будет найти собеседника. И также повторю что Боря крутой продакт поэтому если в дальнейшем хотите сделать переход в Product Management, то тоже стоит обратить внимание на вакансию. Вот описание, отправляйте резюме вот сюда @Boris_Goncharov :

Про команду:
Мы - HR Tech стрим «Найм и Подбор». Нашими продуктами ежемесячно пользуются десятки тысяч кандидатов и тысячи сотрудников.
Мы строим крутой цифровой опыт наших новых коллег, их руководителей и рекрутеров, а так же формируем привлекательный бренд работодателя. Продуктовый аналитик в нашем стриме решает задачи, которые связаны с поиском точек роста и решением проблем в запущенных сервисах, а так же участвует проектировании нового функционала, запуске и анализе результатов A/B тестов.
Работать можно из любой точки РФ)

Наш кандидат:
- Проектировал ключевые и прокси-метрики продуктов
- Размечал событиями web – приложения
- Искал точки роста, основываясь на данных и формулировал продуктовые гипотезы
- Знаком с Python и SQL
- Имеет опыт создания отчетов в BI системах
- Имеет опыт работы с системами аналитики – такими, как Amplitude / Mixpanel / Yandex Metrica / Google Analytics / etc
- Имеет опыт проведения A/B, анализа продуктовых метрик
Опыт участия в формировании продуктовой стратегии или бизнес плана - как дополнительный плюс.

Пример задач, с которыми предстоит столкнуться:
- Сформировать дашборды с ключевыми продуктовыми метриками для карьерного сайта job.mts.ru и системы пребординга МТС Hello, построить регулярный репортинг этих метрик для стейкхолдеров и продуктовых команд
- Построить единую воронку из job-бордов в этапы собеседований, преборд и успешность адаптации
- Исследовать и предложить точки роста для job.mts.ru и онборд

Product analysis | Varsanovich pinned «Обо мне Я Senior Product Analyst в компании Gett (ex. Gettaxi) , работаю в аналитике уже 5 лет, живу временно на Кипре 🏝 Из них 2 года я успел поработать в Билайне на позиции бизнес аналитика (занимался операционной аналитикой) и экспертом по фин анализу…»