Product analysis | Varsanovich

Планы по развитию на 2024 🗓️

Всем привет,

Я какое-то время думал, чем же я хочу заняться в 2024 году, что бы развиться как спец и к концу года не прийти к выводу, что он у меня ушел в пустую. 🤔

Хочу поделиться своим неким планом, к которому я пришел 🤝

Начнем с курсов 👨‍💻

В плане курсов хочу посвятить время базе, а именно углубить знание по статистике и терверу.

1. 20 января у меня начнется курс от MIT на edX по тер веру. Эта онлайн программа полностью повторяет on campus курс в самом MIT, и он предполагает уже базовые знания по Тер веру и поможет их систематизировать и углубить. Длится 4 месяца

2. К апрелю начнется курс от MIT по статистике, вводные такие же как и в курсе по терверу, углубленный курс реплицирующий on campus курс по статистике от MIT. Длится тоже 4 месяца.

И вот уже 8 месяцев заняты 😂

3. Хочу взять курс по ML , пока не решил какой (вот коллега рекомендовал Start ML от Karpov courses). Я если честно в нем не шарю. Могу только в регрессии и поверхностно копировать и юзать чужой код. 🤷🏼‍♂️ Но есть вероятность что буду разбирать и учить сам по книжкам, но пока не знаю как пойдет. Посоветуйте что нибудь пож 🙏🏻

Книжки которые буду читать 📚

Параллельно с курсами, буду читать книжки на другие темы, отличные от курсов, в этом году планирую посвятить время UX, ибо понимаю что это мой Gap. А также Decision algorithms, Game theory. (Последние два буду изучать после курсов от MIT)

1. Дизайн привычных вещей (Дон Норман) , книжка которая номер 1 среди рекомендаций книжек по UX.

2. Не заставляйте меня думать (Стив Круг), книжка номер 2 среди всех рекомендованных книжек по UX 😄

3. Hooked (Nir Eyal), туда же про UX. Книжка про подход к дизайну продукта что бы создавать у людей привычку.

4. Jobs to be done playbook (Jim Kalbach), книжка про создание продукта учитывая реальные потребности пользователя.

5. Decision making algorithms , MIT press , видел, что несколько солидных спецов рекомендовали ее, труд серьезный, 700 страниц. Вообще тема занимательная.

6. Game theory: An introduction (Steven Tadelis) , советовали на реддите, если зайдет, продолжу изучать тему дальше.

7. Field experiments (Geberd and Green) очень советовали книжку по экспериментам в социальных и политических-экономических сферах.

8. Just enough Research и Interviewing user , книжки прям конкретно как делать качественные исследования.

В целом по книжкам пока все, что хочется точно почитать, поизучать. Скорее всего я не прочту это всё, но если не съем, как говорится , то понадкусываю 😂

Понятно что еще будут небольшие ресерч пэйперы, какие-то статьи и так далее, но это как говорится по мере поступления 😄

А какие у вас планы по развитию на 2024 ? 🧐

AI для Quant UX research митап 🤖

Всем привет, уже в 2024 🍾

Хотел коротко поделиться с вами, что сегодня в 22:00 по Москве состоится митап/серия подкаста про использование AI для Quant UX research , главным гостем будет Dr. Nick Fine , где он расскажет как он использует AI для исследований.

Как я понимаю, он считается супер крутым спецом в User Experience Research, поэтому я точно подключусь, а если и вы решите оторваться от сериалов и оливье и захотите ко мне присоединиться, то вот ссылка на митап

Всем хороших каникул 👋😊

Итоги и рефлексия по 2023 году

Ну что, дорогой читатель, настало время подвести мои итоги уходящего года, вспомнить что сделали и чего удалось достичь.

Начнём ▶️

1. 6 января мы переехали с семьей на Кипр, в Никосию🏝️
Резкое начало года, однако, в этот раз я надеюсь переезжать не будем никуда 😄

2. Вместе с командой от оценок всех метрик t-test и выбора срока в 2 недели на все эксперименты , мы пришли к новой библиотеке по АБ тестам и выверенному процессу проведения экспериментов(с базой знаний), где прод менеджеры понимают почему нельзя проверять тест каждый день и мы узнаем что нужен тест когда в Jira создается эпик, то есть заранее 🔥

3. Разобрались что АБ тесты у нас есть не только в продукте, но и в Маркетинге и Операциях и ситуация там даже хуже чем была у нас какое то время назад. Провели образовательные сессии, получили credit на допуск к их тестам и сотрудничество в 2024.🍾

4. Вернулся к ведению канала и начал писать на Linked In. Чему на самом деле очень рад, потому что удалось узнать много интересных и крутых людей на обеих платформах 💯

5.Я получил повышение и теперь по помимо своих задач аналитика, должен буду помочь с тестами Операциям и Маркетингу. Тут мне придется не только анализировать но и менеджить, предстоит интересный вызов 🤓

6. Присоединился к ребятам в продуктовый консалтинг 💪


Наверное это все чем могу похвастаться в 2023, но мне кажется, что год получился плодотворным ❤️

Хотел сказать спасибо всем кто помог случиться этим 6ти пунктам и всем кто читает этот канал🙏🏻

Как говорится дальше - больше, по планам на 2024 сделаю отдельный пост, их много 😄 , но уже в 2024

Не уверен что выйду на связь ранее 2024 , поэтому, с Новым годом, дорогой читатель, желаю что бы все твои планы в 2024 сбылись и даже больше 🎄❤️🍾

Продуктовый консалтинг 📊

Один из плюсов, которое дает ведение своего канала, это знакомство с интересными людьми (да даже с такой небольшой аудиторией как у меня 😄).

Так вот, какое то время назад ко мне постучался в личку читатель моего канала. Этим читателем был Кирилл (руководитель в одном из продуктов в Альфа банке). Написал он мне не просто так, познакомиться , а с предложением поучаствовать в их ,с его друзьями, консалтинговом агентстве для Medium business , а именно помогать по аналитическим запросам клиентов (АБ тесты: процесс, анализ, помощь с выстраиванием отдела аналитики, и так далее ).

Данное предложение мне показалось достаточно интересной возможностью для приключения и я конечно же согласился 😄

Вместе с ребятами мы будем консультировать по продуктовым: разработке, дизайну ,менеджменту и аналитике.

В общем и целом , если у кого то из вас или у ваших знакомых есть запросы по :

1. Дизайну , то помогать будет Павел Карпов, Head of design VK cloud

2. Разработке ,то помогать будет Дмитрий Макаркин , Tech Lead в Alfa bank

3. Продуктовому менеджменту , то помогать будет Кирилл Добринов, Руководитель цифрового продукта в Alfa bank

4. Аналитике, ну тут уже запросы будет покрывать ваш покорный слуга 🧐

Прорабатывать запросы будем командой, что бы закрывать их более комплексно 😊

Если вас заинтересовало, или есть знакомые кому это могло бы быть интересно, вот ссылка где подробнее написано о нашем предприятии 😎

Важно: за рекомендации, готовы поделиться 10-15% от вознаграждения

Сессии по Causual inference от Scott Cunningham 📼(автор книжки Causual Inference Mixtape, Professor of economics)

Судя по тому что многие из вас middle и Senior аналитики, я думаю этот человек особо в представлении не нуждается, но в двух словах, Scott один из самых видных популяризаторов Causual inference подхода к анализу данных.

После двухгодичного перерыва, Scott анонсировал весенние сессии по Causual Inference.

Программа будет состоять из 3х частей :

Causual Inference 1. (Feb 3,4, 10,11 )
Где будет рассказывать про : potential outcomes, randomization, selection bias, causal graphs,, matching, propensity scores, regression, heterogenous treatment effects, instrumental variables, and regression discontinuity design.

Causual Inference 2. (Mar 16,17, 23, 24 )
Где будет рассказывать про difference in diff, его дизайн, применение и так далее.

Causual Inference 3. (Apr 6,7 )
Где будет рассказывать про synthetic control, его дизайн, применение и так далее.

Также Scott обещает лабораторные работы , домашние задания и все в таком роде.

Теперь о ценах , мне очень понравилось как он выстроил ценовую политику, а именно:

1. Билет стоит 1$ , для людей из стран с низким доходом (low income countries , например из Индии)

2. Билет стоит 50$ , для students, predocs, postdocs, residents of middle income countries, unemployed folks.

3. Для всех остальных 560$ что тоже на самом деле не много, как я считаю.

Насчет вводных для того что бы чувствовать себя комфортно на обучении, мне кажется нужно знать более менее нормально Тервер, Статистику и из моделей регрессию. Он вроде об этом не пишет, но я могу сделать такой вывод прочитав его книгу.

Вот тут ссылка на его пост с анонсом по обучению, там он все более детально рассказывает.

Англоязычное комьюнити по экспериментам в Slack 🌼

Эксклюзивчик для вас дорогие читатели.😏

Откопал одно живое англоязычное комьюнити (там порядка 1000 человек) в Slack, где сидят профессионалы в сфере экспериментов (вот вижу Ронни Кохави там активно что-то пишет) , обсуждают всякий новый контент , делятся кто чем занимается в своих компаниях, рассказывают о предстоящих митапах, в общем всё как мы любим.

Я сам зарегался и получил туда доступ только сегодня, если хотите ко мне присоединиться, вот ссылка : https://testandlearn.community/

Всем хороших выходных 😉

Conference on digital experimentation MIT 2023 🧪

Недавно узнал что MIT каждый год проводит конференцию по экспериментам (CODE) , и вот последняя была в конце ноября 2023 года и уже появились видео докладов на Youtube.

Я пока посмотреть ещё не успел, только изучил темы докладов этого года, а они вот следующие :

1. Hema Yoganarasimhan – Professor, University of Washington “A Bias Correction Approach for Interference in Ranking Experiments”

2. Martin Tingley – Netflix, “A Tale of Complexity: Report from the Causal Inference and Digital Experimentation Roundtable (CIDER)”

3. Jorge Guzman – Gantcher Associate Professor of Business, Columbia University & NBER, “Climate change framing and innovator attention”

4. Peng Ding – Associate Professor, UC Berkeley “Causal Inference in Network Experiments: Regression-Based Analysis and Design-Based Properties”

5. Панельная дискуссия среди специалистов (Principal DS Manager Microsoft ,Principal Applied Scientist, Amazon, Director of Data, Grow Therapy и так далее)

6. Панельная дискуссия по GEN AI (не знаю что здесь , возможно применения к экспериментам ? )

Вообще судя по темам, всё меньше обсуждаются обычные АБ тесты и фокус смещается в сторону Causual Inference. Надеюсь мне удалось организовать вам досуг 😄

Всем хороших выходных 🤗

Не забывайте делиться постом с друзьями , которые интересуются АБ тестами / экспериментами 😉

Честный и понятный метод оценки кумулятивного эффекта от ваших фичей (Holdback experiments) 🧪

Ранее в этом посте упоминал про то что хочу добавить в своей компании возможность делать Holdback experiments, давайте разберемся что же это такое ?

На самом деле логика Holdback experiments, довольно простая, а именно :

1) вы выделяете некую часть пользователей, которая не подвергается изменениям в течении определённого периода времени. 🍕

2) когда это определённое количество времени подходит к концу , вы бьёте этот кусочек(который вы держали долгое количество времени без изменений) пополам и на одну часть катите все ваши фичи , а другую оставляете все также без изменений.

3) спустя некоторое количество времени вы делаете сравнение этих двух групп, доверительный интервал разницы будет кумулятивный эффект от ваших фичей.

📈 P.S. по мимо кумулятивного эффекта мне кажется можно выжать еще кое что из этих экспериментов , а именно понимание что ваши фичи дали с точки зрения влияния на результаты квартала (репортинг). В этом случае надо сравнить маленькую группу полностью с большой группой, которую вы подвергали изменениям. Как по мне такая информация тоже будет полезным бонусом к кумулятивному эффекту от фичей 🤔

📖 Если вас заинтересовали данные виды экспериментов , то предлагаю прочесть следующие статьи :

Опыт Disney
Опыт Spotify

Ну и ставьте 🔥 если было интересно

Вакансия Product analyst Кипр (Gett)

Всем привет ! 👋

У нас тут открылась вакансия Middle Product analyst в Marketplace на Кипре 🏝 . Поможем и перевезём 🌎

Какие задачи предстоит решать 📈:
+ ресёрчи,
+ эдхоки
+ дэшборды
+ АБ тесты (их не так много тут, но я развиваю сейчас Causual Inference и в 2024 экспериментов должно стать больше).
+ я надеюсь что вы мне будете помогать разрабатывать нашу библиотеку для экспериментов.

Нужно что бы у человека 🤓 :
+ был опыт , хотя бы 2 года в аналитике
+ хороший английский ибо где-то половина ваших стейкхолдеров будут не русскоговорящие совсем.
+ были знания в статистике, за эту секцию интервью отвечаю я, так что если вы подадитесь и пройдёте скрининг, то велика вероятность нам с вами встретиться в зуме 😅
+ были навыки в Python и SQL это понятно
+ были навыки в BI , не особо важно я думаю какой

Из плюсов для вас от работы в Gett :
+ во первых вы будете работать и анализировать сразу несколько рынков UK & Israel , то есть получите опыт работы в международной компании со всеми её приколами .

+ Gett лидер в Израиле и входит в топ 10 компаний в сфере ride hailing в UK. Если вы решите в дальнейшем искать работу в UK , вам будет сильно проще (проверял на себе, менеджер который меня собеседовал в CandyCrush знал Gett, что позволило пройти скриннинг)

+ Пожить на Кипре. Тоже я считаю интересный опыт.

Если вас заинтересовало, скидывайте мне резюме на английском сюда @DVars

Фраза которая сделала мой день 😂

"To call in the statistician after the experiment is done may be no more than asking him to perform a post-mortem examination: he may be able to say what the experiment died of."
/Ronald Fisher/

Перевод на русский:

«Звать статистика после проведенного эксперимента это не более чем предложить ему сделать посмертное вскрытие , и он возможно скажет от чего умер ваш эксперимент»
/ Рональд Фишер /

Фраза особо применима к компаниям где нет своей аналитической платформы, как у меня 😄

Вы знаете кому это отправить 😎

📹 Неплохое видео про то как надо выбирать метрики (для проекта, фичи, продукта) с Mengying Li (Notion Data science Leadership, ex Meta, ex Microsoft). (Длительность 30 минут)

Я бы сказал видео будет полезно скорее для людей которые начинают свой путь в аналитике , но можно посмотреть и более опытным специалистам что бы освежить в памяти детали этого процесса , а также продакт менеджерам.

В целом в ролике охватывают все концепции по чуть чуть, а именно:
декомпозируем миссию , не забываем про мощность в экспериментах , leading, lagging metrics и так далее.
Но наверное это и неплохо , так как можно выцепить что то интересное и идти копать дальше уже самому.

Наверная главная мысль которая во мне откликнулась в этом ролике: «Сначала думаем о миссии (проекта , фичи и так далее), а потом выбираем метрики, если запутались в метриках, вспоминаем миссию» 👏

*миссия имеется в виду то зачем мы это делаем

В общем всем кому было бы интересно освежить в памяти или ознакомиться с тем как выбирать метрики enjoy 😊

Sequential подход в АБ тестировании, mSPRT 🧪

Перед тем, как перейти к mSPRT, хочу напомнить вам, что этот тест является одним из самых популярных в Sequential тестировании. Он лежит в основе платформ, таких как Optimizely, Netflix, Uber и Amplitude. Так что, если вы когда-либо столкнетесь с Sequential тестированием, вероятно, это будет именно mSPRT. 🤔

Напоминание о проблеме SPRT 🤦‍♂️

Как мы обсуждали в предыдущем посте , у SPRT был существенный недостаток: было неясно, когда остановить тест, если он слишком долго находится в коридоре без пересечения границ для опровержения или подтверждения гипотезы.

В чем отличие mSPRT от классического подхода?

В целом, сам метод сильно напоминает своего предшественника. Однако, в отличие от классического подхода, mSPRT учитывает максимальное количество данных, которые вы можете собрать. Другими словами, когда наступает час X, тест информирует вас, аналогично хорошему старому Fixed Horizon, статистически значимо ли ваше изменение или нет.

Пояснительная бригада 🫡

В модифицированном методе во время тестирования у нас все так же есть наш SPRT со своими границами. Если статистика в течение эксперимента пересекает их, мы останавливаем тест. Кроме того, учитывается что делать, если данных для выборок больше нет. Когда тест достигает определенного количества наблюдений, mSPRT сообщает нам, можем ли мы отвергнуть нулевую гипотезу или нет, в то время как классический метод просто ждал бы, пока вы подадите ему еще объектов в ваши выборки. 👨‍🍳

🙅‍♂️Основным ограничением этого метода является невозможность тестирования метрик отношения (средний чек и подобных).

Если вы захотите подробнее ознакомиться с семейством методов SPRT , то вот ссылки на материалы:

Paper в котором очень подробно рассказывается про mSPRT, что под капотом и так далее

Paper в котором неплохой обзор на классический SPRT и даётся ссылка на основную статью

Статья от Spotify в которой сравнивается mSPRT с другими методами Sequential testing

Если вам всё ещё нравится читать про Sequential testing, то ставьте 🔥 , и я расскажу про ещё один очень популярный метод GST (group sequential tests) , который использует Spotify 💣

Sequential подход в АБ тестировании , классический SPRT 🧪

Ранее в этом посте я написал небольшое введение в целом о том какие бывают подходы к анализу и проведению АБ тестов. В этом же посте я попробую сконцентрироваться на конкретном методе, а именно классическом SPRT в Sequential тестировании и провести по нему небольшой ликбез. 🤓

Напоминаю про Sequential 🛝

Как я писал ранее основное преимущество Sequential по сравнению с Fixed Horizon в том что 1й дает возможность проверять результаты АБ теста ранее определённого срока. Так вот метод SPRT позволяет анализировать результат ,можно сказать, в режиме реального времени (если ваша дата инфраструктура вам это позволяет конечно 🙈).

Так , товарищи продакт менеджеры , дальше немного техники 😄

Как используя SPRT принимать решения?

В отличии от привычных нам t-test, z-tests в SPRT для принятия решения считаем статистику (likelihood ratio test) за тот период котором вы хотите понять есть ли стат значимое изменение или нет (каждую минуту /час/ день и так далее) и сравниваемся не с одним показателем (p-value с аlpha) , а сразу с двумя показателями которые рассчитаны на основе ваших ошибок первого (alpha) и второго рода (beta) .

Таким образом получается некий коридор для принятия решений :

• нижняя граница 📉, пересечение которой сигнализирует вам о том что есть стат значимое изменение (отвергаем H_0, тест заканчивается)

• верхняя граница 📈, пересечение которой сигнализирует вам о том что сказать что стат значимое изменение есть вы не можете. (принимаем H_0, тест заканчивается)

• движение внутри коридора 🟰, означающее что тест надо продолжать и принять или отвергнуть гипотезу об отсутствии разницы между двумя группами мы пока что не можем.

На самом деле такой подход с коридором не слишком оптимален, потому что непонятно было когда всё таки правильно будет остановить тест, если он уже достаточно долго колышется внутри коридора, в связи c этим появился mSPRT который учёл эти недостатки. 🤨

Так, я думаю очевидно, что тут не хватает продолжения про mSPRT , но что бы все успели переварить информацию выше и всё не смешалось, ⏰ я поставил таймер на вечер сегодня для отправки поста про mSPRT , так что картина сложится ❤️ .

Также рад буду если поделитесь постом с друзьями, им ,я надеюсь, полезная информация, а мне мотивация дальше писать ☺️

Ну и конечно ссылка на paper откуда я эту всю ерунду взял 😄

Жиза 🥲

⚡ Вакансия Product Analyst/ Scientist в Open AI

Похоже рано нам друзья вешать наши Юпитер ноутбуки на гвоздь 😂

Open AI открыла вакансию продуктово аналитика / дата сайентиста. 🤖

Человеку вкратце предстоит заниматься следующим :

-- Выявлять точки роста
-- Дизайнить и анализировать их первые АБ тесты
-- Дизайнить метрики для продуктов
-- Строить дэшборды

Я думаю многие среди вас узнали здесь свои задачи 😉

Но стоит отметить, что среди требований которых помогут выделиться есть понимание/опыт Large Language Models / Gen AI , опыт в UX research , так что в целом становиться понятно куда нужно развиваться что бы оставаться в тренде 🤓

В общем мой месседж здесь такой : раскисать не стоит 💪, если уж Open AI ищет себе продуктового аналитика, то лет 10 ещё я надеюсь АБ тесты подизайним 😁

Cсылка на вакансию тут , кому стало интересно и чувствует в себе силы, ознакомьтесь и подавайтесь 💪

Всем хорошего вечера ❤️

И да забыл, делитесь новостью с друзьями аналитиками, может кому то эта новость поднимет настроение 😁

AB tests: Fixed Horizon и Sequential approaches 🧪

Сегодня делал ликбез своим сокомандникам по Sequential approach в АБ тестах, и пока всё не забыл решил поделиться с вами.

Во первых что это такое?

В АБ тестах выделяют несколько подходов для проведения и анализа, а именно:

1 ) Fixed Horizon 🏞️
Наиболее популярный подход для анализа АБ тестов. Мы делаем дизайн АБ теста, считаем сколько надо дней что бы достичь желаемого нами эффекта и забываем про него на то самое количество дней пока не соберётся требуемое количество людей в группах. Для анализа таких тестов используются такие известные методы как z-test, t-test, бутстрап и так далее.

2) Sequential 🪜
Этот подход тоже популярен, но скорее уже у крупных корпораций и их систем АБ тестирования. Данный подход позволяет следить и оценивать стат значимость в режиме "реального" времени. Тут используются менее популярные в народе методы для анализа результатов, а именно, mSPRT, GSPRT, GST и так далее.

➕ Плюс Sequential достаточно очевиден, вы сможете раньше принять решение об успехе или провале эксперимента если оно случиться, чем в случае Fix Horizon, где до определённого момента ни ни.

Опытные экспериментаторы среди вас скажут: "Эй, ну подожди, можно же использовать Fixed Horizon подход для проверки стат значимости по дням, но просто нужно корректировать альфу." 😎

А я вам отвечу: "Да, можно. Но вы потеряете в мощности по сравнению с Sequential, если всё время будете корректировать альфу." 🤓


В подтверждении моих слов прикрепляю скриншот из блога Spotify (смотрите над постом), где ребята сравнивали между собой различные методы. (ссылка на статью)

На самом деле у Sequential есть свои значимые минусы, но тема плюсов и минусов требует отдельного поста.

Да и вообще история с Sequential она достаточно обширная и одним постом не получиться ограничиться. Если интересно про Sequential testing, ставьте 🔥.

Пишите вопросы в комментариях может есть какие-то вещи которые хотелось знать прям конкретно.

Показали пример бота, в которого загрузили PDF-файл билетов, GPT его прочитала, посмотрела, прикинула даты поездки и нашла аппартаменты на Airbnb, котоыре подходят под даты.

Да, UX Quantitive Researcher перспективная , новая профессия говорили они 😂

Поясню, в посте ниже очевидно боту не особо важно насколько комфортный у вас там интерфейс с вашими АБ тестами (самому немного страшно)

P.S. для тех кто в танке, сегодня у Open AI (ChatGPT ) Dev Day , можете почитать все новости в канале с которого репостнул, а их я вам скажу достаточно много, хотя бы то что Open AI сделал свою версию App Store для ИИ онлайн ассистентов.