Выкатка изменения без АБ теста которая зааффектит 80% юзеров или как я не смог остановить поезд 🚆, но немного его притормозил
Какое то время назад в продукте дизайнерам стали доверять вести UI изменения самим от начала до конца (от идеи до раскатки на юзеров),без продакт менеджеров от слова совсем , хотели таким образом их подразгрузить и я так понимаю по развивать дизайнеров с точки зрения ownership ну и в целом под разнообразить их жизнь.
В итоге дизайнеры почему то решили игнорировать участие аналитики в процессе разработки и зарелизили два изменения о которых я узнал по факту квартального обзора фичей (стоит правда сказать что изменения произошли в глубинах UI куда доходит 1.5% юзеров ), что меня однозначно возмутило и я получил обещание : «Честн слово больше так не будем»
И вот недавно меня добавляют в канал слаке и говорят : «Мы тут допиливаем дарк мод для приложения, никакие АБ тесты мы решили не делать, скажи какие метрики смотреть, мы сразу выкатим на всех (конкретно в этом случае нет возможности для градюал роллаута)?». Залезая в гугл я узнаю что примерно 60-80% пользователей мобилок юзают дарк мод (темная тема для интерфейса в устройстве и приложения) и мне немного плохеет 😂 , ибо я понимаю что даже малейшее отклонение (-0.5%) конверсии в заказ это более 60к баксов потерь в год.
Немного переведя дух я начал настаивать на АБ тесте , тип ребят, я понимаю что вы очень уверены в своем крутом перекрасе всего UI, но может хотя бы допустим , что может что то пойти не так ? На что я получил твердый ответ главы разработки : «Все будет норм , я не верю что метрика может упасть из за того что мы перекрасили интерфейс в черный цвет, при этом по дефолту люди будут попадать в дарк если у них так стоит в системных настройках, ничего менять не будем, АБ конкретно в этом кейсе 20 стори поинтов».
Ситуацию еще ухудшал тот факт что мой менеджер и глава продукта (не понимаю как он это мог согласовать?) в котором это все происходило были в отпуске 🏝️ и недоступны , на месте находился только глава разработки на которого оставили возможность принимать решения.
Так как я не намерен был сдаваться , я вспомнил свое прошлое в финансах и пошел считать деньги , во сколько малейшее падение может стоить компании, получились достаточно серьезные минуса , более ляма баксов в год про худшем сценарии. 💵
Поделившись этой информацией с ЛПР, он мне сказал: все равно не верю 😂 Но мне почему то кажется , что все таки поверил ибо удалось договориться об АБ тесте на Андройде (он в разработке еще) и по дефолту оставить Light mode для IOS , но сделать коммуникацию в приложении типа : «мы сделали дарк мод, если хочешь нажми сюда и мы его включим». Да, это конечно не АБ тест, но проникновение фичи должно подубавить раз в 5 по моим прикидкам , что все таки подсократит наши риски.
У меня в целом остались смешанные чувства после такого кейса,скорее в свою сторону (может стоило эскалировать прям высоко и дожать до АБ), а как вы бы поступили в таком случае ?
Post #135
1.05K
- 👍 13
- ❤🔥 1
- 🐳 1