Я твой продукт анализировал

📌 4/4, Бизнес уровень. Пожалуй самый сложный, и самый простой уровень одновременно. Понятно что хочется — вообще не понятно как. В идеале это должно быть что-то, что можно показать инвестору/стейкхолдеру, а он за 10 секунд поймёт что всё хорошо и даст ещё денег. Или всё плохо и не даст. Но не будем о грустном, всё таки любой эксперимент несёт какое-никакое знание.

✅ Тут у нас 1 ключевая метрика, от которой всё и пляшет — чё там с деньгами? (я от Михал Палыча). А чтобы это не было совсем скучно, я вывел это в формате PnL в тренде.

Проблема в том, что реальный точный профит с экспов посчитать невозможно, а во всей совокупности экспов за год тем более. Поэтому тут, естественно, логика условная, которая объясняет скорее накопительный профит по центрам интервалов для тестов, где интервалы показывают явное преимущественное смещение в какую-либо сторону. Да, с точки зрения статистики это очень условно, но с точки зрения бизнеса это уже нифига себе, какая-то оценка, пусть и ориентировочная.

✅ Допом можно высчитать приближенный PnL для ключевой конверсии, тут попроще и поточнее, но тоже накопительно, типа а вот мы крутим уже год тесты на конверсию, чё там по эффекту прикидывается?

В целом, считаемо, с кучей оговорок.

Но даже такой приблизительный подход уже позволяет анализировать динамику и оценивать куда катится наша программа экспериментов.

Сори, отвлёкся 😀

📌 3/4, Продуктовый уровень. Этот раздел ставит перед собой почти филосовские вопросы, вроде насколько команда чувствует продукт и пользователей.

Тут я выделил:
✅ Win Rate — без него никуда, доля успешных экспов по ключевой метрике. Планировали поднять конверсию — подняли конверсию.

✅ Signal Rate — почти то же самое, но без привязки к ключевой метрике. Насколько экспы вообще информативны, есть ли прокрасы по любым метрикам, которые исследовались.

✅Системность — это по сути Signal Rate в тренде, системность описывает повторяемость успехов, учимся ли мы тащить всё более качественные гипотезы, понимая заранее что они качественные, на основе опыта похожих гипотез. Или буксуем на месте, мало думаем над гипотезами, не пытаемся их защищать.

Системность описывает зрелость команды, если хотите.

✅ Показатели по направлениям — если вы тегируете экспы, то очень полезно бывает ретроспективно разложить их на количество Х качество. В каких областях у нас лучше реагируют пользователи, а в какие мы пушим основной поток экспов.

Спойлер, это почти всегда не одни и те же области.

Этот уровень помогает оценить насколько мы умеем отделять хорошие гипотезы от плохих ещё до того, как поместить гипотезу в бэклог тестирования, насколько наши гипотезы информативны, и как мы вообще растём внутри этого тонкого понимания своего продукта.

📌 2/4, Операционный уровень. Эта часть про то, насколько оптимально расходуются ресурсы. В контексте экспериментальной бригады я бы выделил 3 ключевых показателя:

✅ Утилизация слотов — насколько вообще у нас забит график тестирований, нет ли простоя или завала. Не проводим ли мы 2 экспа в квартал, при пропускной способности, например, 60 экспов за этот же период.

✅ Тех. качество — доля экспов, которые отработали качественно технически, не провалились по srm, не пересоздавались потому что забыли что-то прикрутить в тестовый вариант и т.д.

✅ Достаточность выборки — тут про долю экспов, которые идут в своём темпе, мы их не закрываем раньше срока и не передерживаем.

В совокупности по этим показателям мы можем ответить на вопрос, работает ли наша машина вообще, и насколько хорошо с т.з. операционки.

📌 Про оценку направления экспериментов, 1/4

Я как-то недавно выступал на одной конфе, рассказывал про эксперименты (а про что ж ещё на конфах рассказывать), но не про духоту всякую, а про культуру, скорее. И там значит был у меня блок про то, как оценивать направление целиком. Понятное дело, что правильный ответ давно известен — “как карта ляжет, и хорошо если вообще хоть как-то оцениваете”, — но именно где-то там я вообще задался этим вопросом с точки зрения минимизации информации и одновременно её целостности.

Кароч суть да дело, накидал я вот такую систему, которая, вроде как, закрывает основные вопросы. Собственно тут ей и поделюсь.

Что вообще такое направление экспериментов под капотом? Ну глобально это что-то типа команды, со своими процессами, регламентами и нормативами. Каждая команда может быть разложена на 3 условных уровня:

🟡 Операционный (как хорошо вообще сама машина едет),

🟡 Продуктовый (а что именно эта машина везёт, куда и зачем)

🟡И бизнесовый (а по чём там литр солярки сейчас?).

И вот исходя из этой концепции и начинаем накидывать идеи.

А вот маленький демо датасет, если захочется глянуть как оно всё работает

Прикрутили типизацию аккаунтов, теперь в соло можно пользоваться без всяких ключей, с ограничениями на автоматизацию и приглашение юзеров, но самостоятельно покрутить расчёты через загрузку CSV можно, ну и хранить карточки тоже.

Получается такое карманное решение для быстрых рассчётов без заморочки чисто для себя, но, надеюсь, поможет бедным джунам, у которых в запасе не так много скриптов и понимания как посчитать результаты экспа, а менеджеру нужно уже вчера 😀

📌 Часть 2/2

🔖 Собственно, часть с дизайном. АБ-направление, как правило, это или отдельный подотдел внутри аналитического, или просто сайдквест аналитиков. А задачи им, обычно, поставляют заказчики в лице менеджеров, продактов, дизайнеров и т.д. Т.е. нужна какая-то общая точка доступа, чтобы они могли записывать свои идеи, планировать график и тд. Из этой логики выросли раздел “Гипотезы”, “Планирование”, “Оценка выборки” которые закрывают этап подготовки экспа.

🔖 Анализатор это итак понятно, тут особо не буду вдаваться в подробности, можно доку на сайте почитать, если интересно. Лучше расскажу как мы это дело связывали с контуром клиента.

Вообще есть 3 метода поставки данных в нашу систему.

1️⃣ Самый простой это просто загрузить CSV. Файл хранится локально на время сесии, закрыл вкладку - файл выпилился.

2️⃣ Второй, это настройка загрузки по АПИ по графику, условно вы складываете свои данные на наш защищенный сервак, они по пути шифруются и лежат пердят там 2 недели, потом автоматически выпиливаются. Но у вас есть прямой доступ к своей папке, так что можно удалить руками с нашего сервака когда вздумается. Метод простой, но жёсткие безопасники будут ругаться, если вы супер секретные ребята.

3️⃣ И третий, самый секьюрный, это развернуть раннер в своём контуре, движок сидит у вас, за данными ходит к вам, считает у вас, и кидает в облако только всякие доверительные интервалы да p-value, чтобы красиво было. Там просто докер-образ, который у себя разворачиваете, логируете и смотрите что уходит.

При настройке 2-м или 3-м методом, автоматически по графику обновления ваших данных катаются всякие последовательные тестирования и прогнозы куда вообще катится эксп и стоит ли его дожимать. Ну и SRM на лету чекает, чтобы быть уверенным что там нормально сплитуется всё.

И ещё потом накрутили по мелочи всякой косметики, типа раздел для заметок, библиотеку метрик для дизайнов, AI на базе GPT для интерпретации результатов человеческим языком, аггрегацию статистики для понимания куда вообще катятся наши эксперименты, где мы умеем, а где не особо, и пока простенький конфигуратор сообщений в корп мессенджеры, типа дайджестов для пингов команды, типа “На этой неделе катим вот это, а на прошлой завершились вот эти”.

Доступ ограничен ключами, сейчас подумываем о разделении корпоративных (платных, для работы с командой) и фри-прайвэт чисто для себя. Чтобы потыкаться надо запросить ключ через форму баг-фиксов (пока так, да).

Заточен под европейский рыночек, т.к. там сервак в Германии и страйп и юр лицо забугорное, но ру локализация имеется.

Ну и собственно, зацените что получилось, тыкайте, в РФ вроде работает 🙃

https://ab-labz.com/

📌 Обещал рассказать про пет-проект. Будет большой пост.

Часть 1/2.

Так вот, ещё как только я начинал работать в продуктовой аналитике, мне приходилось сталкиваться с АБ-тестами. Не скажу что я прям гуру этой темы или это мой основной фокус, но опыт какой-никакой и перетоптанных грабель за почти 12 лет имеется. В общем, почти с самого начала я эти все скрипты аккуратненько складывал к себе на гит и копил там разные методы на все случаи жизни.

💡 И уже тогда меня много раз посещала мысль написать какой-то оркестратор простейший а-ля if else, который бы просто переиспользовал заранее заготовленные методы под мои данные. Ну просто чтобы себе жизнь упростить и в ручную под каждый кейс не шариться по выбору методов. Но лень впереди меня родилась, поэтому это и оставалось долгие годы просто идеей.

🦄 А потом что-то произошло и я таки загорелся этой идеей снова, но в этот раз решил заморочиться. Подключил кореша, жёсткого инженера, который в основное время пилит какой-то сверхсекретный проект для оборонки США, чтобы сваять нормальную архитектуру на беке.

🎓 Потом нашёл пару заинтересованных действующих профессоров статистики из разных вузов, чтобы провалидировали/переписали всю математическую часть (опять же, я не то чтобы гуру в этой теме), от рассчёта базовых z-тестов, до Байесовских прогнозов и последовательных тестов. С их помощью прикрутил туда модуль препроцессора, который анализирует кучу характеристик распределения, от анализа разброса до симметрии, эксцесса и модальности. А уже на основе этого анализа препроцессор сам реша-а-а-ет как обрабатывать данные, чистить ли выбросы, нужны ли логарифмы или хрен бы с ним.

🤖 Ну и мы припахали Sonet для простой черновой работы по фронту и документированию всего этого безобразия.

В итоге получился движок для расчётов практически любых стандартных экспериментов.

Но только движок, хоть и бодрый, это всё таки не так весело. Потому как в индустрии в целом что ни компания то процессы через пень-колоду. Посидев, повспоминав прошлый опыт, выписав что нравилось и казалось удобным, а что мусор, я сформировал себе фреймворк по управлению гипотезами и экспами, который мне лично казался весьма удобным. Потом просидел вечерами/выходными в Axure (не даром я 4 года интерфейсы проектировал) и всё это упаковал в прототип. Потыкал, потестил, обкатал на бою, и отдал в разработку.

Так получилась полноценная платформа с UI и мат движком под капотом.

Основные фичи, которые мы туда навтыкали, по задумке должны охватывать начальную часть процесса (гипотезы, планирование) и финальную (анализ и хранение результатов), само сплитование мы специально обошли стороной, т.к. там геморой с серваками и скоростью работы.

Что в итоге получилось:

Тут между делом Posit выкатили новый IDE для аналитиков с поддержкой Python и R (Posit вообще лучшие в плане ide для работы с R) + с ноутбуками сразу (jupiter/quarto), встроенный гит, подключение своих агентов, дебагер новый. Красота вообще, я уже неделю залипаю, даже R Studio снёс за ненадобностью.

Воткнул свой ключ антропика на сонет, openAI пока не поддерживают официально, но можно закастомить. Новый gpt 5.4 (вчерашний) тоже потенциально бодро должен залетать.

https://posit.co/products/ide/positron/

Чё там телега работает то?

Приветики, рассказать вам про свой пет-проект, который зародился году так в 2016-м, в ленивую разработку перешёл в 23-м и вот сейчас уже крутится в стадии около релизной бетки?

📌 Винзоризация

Все тут итак вкурсе, что для нормального анализа, данные требуют какой-то предобработки. Один из пунктов на этом этапе — работа с выбросами. Что с ними делать? Ну чаще всего это либо очистка по IQR/SD/Кастом, либо какое-то преобразование всего скопа (типа логарифмирования), либо сохранение выбросов, если они являются каким-то значимым бизнес-сигналом.

Но не многие вкурсе о таком хитром методе как винзорирование (или винзоризация, кому как нравится). Смысл данной процедуры одновременно в том, чтобы подчистить выбросы и не потерять наблюдения. Если на пальцах, то работает так — берём набор данных, выбираем границы-перцентили и преобразуем вылеты за них в значения по верхам-низам.

Т.е. вот есть у нас ряд значений какой-то метрики (как самый частый представитель числовых рядом): 1, 2, 3, 4, 5, 2000. Тут 2000 явный выброс. В 90-м перцентиле, например, граница у нас на 5, значит всё что выше этой отметки преобразуем в это значение, и 2000 через вжух становится 5. Теперь у нас ряд 1, 2, 3, 4, 5, 5.

И наблюдения остались, и выбросов нет.

Стоп, так мы же тогда горб на границе нарастим? Ага, функция может получиться некрасивой, плотность искусственной и нормальность, скорее всего, тоже потрачена. Но зато мы получим более устойчивый сет. Дисперсии и среднее будут менее дёргаными, а это зачастую намного важнее для тестов или моделей.

Более стабильная математика всегда лучше красивой картинки (даже если твой менеджер настаивает на обратном).

Ну рассказывайте, как жизнь, нашли работу или бросили это гиблое дело и пошли дальше курсы проходить?

Время открыть чат 🍿

Здоров, бандиты 💅

Приветики, скучаете тут сидите? А мне некогда, попробовал я значит такое стильное, модное, молодёжное развлечение как… гольф. И чёт меня затянуло прям. Я в клубе прописался. Такой кайф 🙂

Ещё пару лет назад бы мне кто-то сказал, я бы подумал чё за прикол, дедовская игра. А оно вообще не так просто, как кажется. В одну только терминологию пока въедешь, на своём языке говорят чуваки: “фулл-свинг драйвером с ти на фервей, чип веджем на грин, пат до бёрди и два до пара”. Но это сильно проще чем body-control при ударе, когда любое миллимитровое отклонение от техники закручивает мяч куда угодно, но не куда тебе надо.

В общем моё.

А завтра финальная игра на грин карту. В 6:30 утра 😩

Наткнулся в твиттере на чела, который занимается с ментором, пытается залететь в аналитику. Ментор типичный волчара. План у чела такой — залететь на 150к, а через годик метить в 300к.

Я с этого дико проорал, конечно.

Окей, ты накрутишь годик-два на старте, чтобы тебя просто не скипнули на отборе, вопросов нет. Ну есть, конечно, но отбор сломан, и тут какбэ не до этого. А дальше то как? Сидишь ты значит и весь год адхоки перекладываешь. Ну нарисуешь себе +3-4 года.

Но, внезапно, на хаймиддл и выше собесах никто не спрашивает базу, всем похер на твою статистику, скуль (который учится за неделю) и питон (на полторы нужных библиотеки). Там за бизнес решения диалог. Про реализацию нестандартных проектов и про кейсы с деталями. Любой нанимающий тебя расколет если просто будет внимательно слушать.

Челу удачи, конечно, а ментору респект за маркетинг. Но это так не работает.

Приветики, а помните в прошлом году в мире многие страны тестировали 4-х дневную рабочую неделю? Они теперь периодически постят результаты, и там прям прекрасное 🤩

Вот из недавнего по Великобритании:

🔵Большинство участвующих компаний в Великобритании сделали эту политику постоянной. Из 61 компании 54 (89%) продолжают придерживаться этого графика, а 31 компания (51%) официально перешли на четырехдневную неделю.

🔵82% компаний отметили улучшение благополучия сотрудников, а 50% — снижение текучести кадров. Позитивное влияние на организацию отметили все опрошенные руководители, причем более половины описали его как «очень положительное».

🔵Основные улучшения наблюдались в work-life балансе и физическом / психическом здоровье.

🔵Там даже зафиксировали улучшение качества воздуха. Видимо, потому что все душнилы остались по домам.

Ждём когда эта практика докатится и до нас? 🍿

Привет, рассказываю про планы на бложик 🙂

Вы, наверное, могли заметить, что я почти месяц где-то пропадал. Это, во многом было связано с лёгкой усталостью от ведения канала. Я отдохнул, подумал что с этим делать и решил что-то поменять, так сказать, сделать следующий шаг и поставить таки эту телегу на рельсы монетизации. К тому же, каналу уже скоро год, пора бы.

Но все предложения рекламы, которые мне летят, это в основном какой-то скам типа “курс с нуля до про за 2 часа”, “войти в айти на 300к без опыта и навыков” и тому подобное. А я вас достаточно люблю чтобы не спамить такое 😘

Поэтому главный апдейт, который уже был заспойлерен — планирую раскатить Boosty со всякими платными подписочками, если вы вдруг хотите меня поддержать.

Нет, этот канал туда не переезжает, это другое.

Что пока планируется там:

✨ Большие посты. Каждый второй пост для телеги получается слишком объёмным и не влезает по лимитам, поэтому приходится сокращать половину. На бусти такой проблемы нет, т.к. формат больше статейный. Ну и картинки в середину текста можно ставить. Там уже дозревает гайд по SQL для самых маленьких и кулстори про систему приоритезации задач (с кодом и демкой).

✨ Эксклюзивы. Часть постов в телегу дублировать я не буду, а то вы не подпишетесь.

✨ Вопросник. Док, куда все желающие смогут закинуть свой вопрос (или апнуть чужой), а как что-то накапает, поразбираем в какой-нибудь тематической рубрике. Такое условно-бесплатное групповое менторство 💅

✨ Разборы резюмешек. Это скорее приватная история, мы с HR поразгоняем твоё CV с разных точек зрения.

✨ Разборы твоих тестовых задачек. Я не пропагандирую волчистость, поэтому решать за тебя не буду, но помогу разобраться что от тебя хотят на выходе, подскажу план действий с запросом и методом анализа.

✨ Разбор реальных задачек. Без настоящей инфы, конечно, но максимально приближенно к типовым в разных доменных областях. Посмотреть чем занимается аналитик в жизни, а не на курсах 🙂

Ну и ещё несколько идей для всяких рубрик. Когда ты чувствуешь отдачу на карточке, это мотивирует делать что-то регулярнее и качественнее.

Что останется тут:

✨ В общем виде всё останется как и было — большинство постов с бусти из первого тарифа в урезанной версии (точнее в обычной для этого канала, это там расширено) пойдут и сюда.

✨ Больше коротких постов, как в телеге и задумано дизайном. Что-то ближе к твиттеру.

Что будет (наверное) ещё:

✨ Аккуратно поглядываем в сторону видео-формата, может и до ютуба и (прости господи) вк-видео докатимся. Смотря как бусти пойдёт 💅

✨ Поэкспериментируем с дизайном. Пора бы уже и визуал какой-то более целостный накатывать.

Как вы могли понять, мой продюсер тоже отдохнул 😀 Кароч планов много, будем потихонечку развивать это всё.

📌 Из аналитика в сатаниста

Есть такой прикол среди новичков в аналитике — рассматривать эту должность как проходную на пути в data science. В целом план нормальный, надёжный. Из аналитики вообще традиционно 4 пути: в менеджера, в инженера, в сатаниста или остаться в аналитике.

У меня тоже с самого начала был план пойти в DS когда-нибудь, чё уж там. И когда я в целом был готов к этому перекату (это было наверн в прошлом-позапрошлом году), СОВЕРШЕННО ВНЕЗАПНО оказалось что это другая профессия 🤡

Какой бы ты ни был синьор-помидор в смежной специальности, в DS ты начнёшь с нуля, потому что оно вроде бы и похоже, вроде бы и корни одни и те же, но там такая гора нюансов, что вкатываться во все эти тонкости это время. Мнооого времени.

Я не был готов терять почти весь доход ради таких мувов и начинать всё с начала. Тем более что на выходе синьорные вилки не то чтобы прям сильно больше там. Моя маленькая мечта жёстко разбилась о реальность.Так сказать, передержал.

Вот вам дедовская мудрость, если планируете такие перекаты — не затягивайте, года 2-4 в аналитике и пора. Потом будет очень больно от осознания, что весь твой накопленный опыт и бэкграунд там как бы особо и не нужны никому.