Вера в математику, стальные нервы, железная воля. #abtest #mindset

Дано тест, который идёт заранее определённое время и… и показывает изменение на минус 10% в Revenue. И так уже сложилось, что это не значимое изменение. Ну нет там стат достоверности ещё… Ой забыл… А целевая метрика была, ммм…. Регистрации и там, как положено +20% и всё достоверно.

Спрашивается - изменение будем внедрять на 100% или откатим?

Что вы успели сделать: пойти в калькуляторы, загнать данные и увидеть, что p-value где-то около 0.10+...

Спрашивается ещё раз - изменения таки будем внедрять или нет?

Так вот, кто бы, что не говорил, а как вы поступите в ситуации, знать заранее крайне сложно. Сейчас я говорю о людях, кто привязан к этим 10% Revenue. Математика, математикой, а минус 10% в личном доходе - это ощутимо. А лишиться годовой премии, потому что не дотянули до плана…

p.s. можно конечно подождать ещё недельку-другую… и каждый день заходить и смотреть как растёт пропасть между revenue в вариантах А и Б и считать свой недополученный доход :).