TGViewer
Product analysis | Varsanovich Product analysis | Varsanovich @productanalysis · 493 subscribers
Post #135 1.05K
Выкатка изменения без АБ теста которая зааффектит 80% юзеров или как я не смог остановить поезд 🚆, но немного его притормозил

Какое то время назад в продукте дизайнерам стали доверять вести UI изменения самим от начала до конца (от идеи до раскатки на юзеров),без продакт менеджеров от слова совсем , хотели таким образом их подразгрузить и я так понимаю по развивать дизайнеров с точки зрения ownership ну и в целом под разнообразить их жизнь.

В итоге дизайнеры почему то решили игнорировать участие аналитики в процессе разработки и зарелизили два изменения о которых я узнал по факту квартального обзора фичей (стоит правда сказать что изменения произошли в глубинах UI куда доходит 1.5% юзеров ), что меня однозначно возмутило и я получил обещание : «Честн слово больше так не будем»

И вот недавно меня добавляют в канал слаке и говорят : «Мы тут допиливаем дарк мод для приложения, никакие АБ тесты мы решили не делать, скажи какие метрики смотреть, мы сразу выкатим на всех (конкретно в этом случае нет возможности для градюал роллаута)?». Залезая в гугл я узнаю что примерно 60-80% пользователей мобилок юзают дарк мод (темная тема для интерфейса в устройстве и приложения) и мне немного плохеет 😂 , ибо я понимаю что даже малейшее отклонение (-0.5%) конверсии в заказ это более 60к баксов потерь в год.

Немного переведя дух я начал настаивать на АБ тесте , тип ребят, я понимаю что вы очень уверены в своем крутом перекрасе всего UI, но может хотя бы допустим , что может что то пойти не так ? На что я получил твердый ответ главы разработки : «Все будет норм , я не верю что метрика может упасть из за того что мы перекрасили интерфейс в черный цвет, при этом по дефолту люди будут попадать в дарк если у них так стоит в системных настройках, ничего менять не будем, АБ конкретно в этом кейсе 20 стори поинтов».

Ситуацию еще ухудшал тот факт что мой менеджер и глава продукта (не понимаю как он это мог согласовать?) в котором это все происходило были в отпуске 🏝️ и недоступны , на месте находился только глава разработки на которого оставили возможность принимать решения.

Так как я не намерен был сдаваться , я вспомнил свое прошлое в финансах и пошел считать деньги , во сколько малейшее падение может стоить компании, получились достаточно серьезные минуса , более ляма баксов в год про худшем сценарии. 💵

Поделившись этой информацией с ЛПР, он мне сказал: все равно не верю 😂 Но мне почему то кажется , что все таки поверил ибо удалось договориться об АБ тесте на Андройде (он в разработке еще) и по дефолту оставить Light mode для IOS , но сделать коммуникацию в приложении типа : «мы сделали дарк мод, если хочешь нажми сюда и мы его включим». Да, это конечно не АБ тест, но проникновение фичи должно подубавить раз в 5 по моим прикидкам , что все таки подсократит наши риски.

У меня в целом остались смешанные чувства после такого кейса,скорее в свою сторону (может стоило эскалировать прям высоко и дожать до АБ), а как вы бы поступили в таком случае ?
  • 👍 13
  • ❤‍🔥 1
  • 🐳 1
More from @productanalysis
  1. Oct 13, 2024Всем привет! Ребята из NewHR недавно запустили опросник по рынку аналитиков , что исследую…
  2. Sep 11, 2024Все мы хоть раз за свою карьеру были справа 😂😂😂
  3. Aug 28, 2024История экспериментов 📖 Всем привет, принес Вам тут интересный артефакт , который накопал…
  4. Aug 26, 2024Free Causal AI conference 24th September 🗓️ 24го сентября планируется бесплатная конферен…
  5. Jun 16, 2024Как я объяснил менеджерам почему нельзя останавливать АБ тест когда вздумается 🤓 Какое то…
  6. May 8, 2024Хороший телеграмм канал по АБ Всем привет ! Недавно обсуждали с Серёжей Матросовым (Princi…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →