Немного про результаты нашего АБ-теста. Бывает такое, что получили какой-то результат. Например, наши метрики прокрасились, p-value < 0.05, все гладко, открываем шампанское, выписываем себе премию.

Часто у нас много дел, АБ-тесты и прочие важные вещи идут потоком и мы не погружаемся, за счет чего получили те или иные результаты. Так ведь, наверное, ни к чему - все же удачно. Да и дел много других.

А, тоже может быть, наш результат был получен за счет небольшой группы пользователей, небольшой группы товаров, одного большого региона - в общем одного сравнительно небольшого сегмента.

Если бы у нас было время поисследовать, разложить воронку на составляющие, изучить пути пользователей, срезы пользователей, мы могли выяснить, что наша новая фича повлияла сильно не на всех. Если бы мы это знали, решение по результатам могло быть совсем другим. Но, ведь нам некогда, нужно скорее решить, катить или нет, нужно отчитаться наверх, что все получилось.

А потом, когда мы смотрим на историю успешных АБ-тестов, они должны были увеличить наши ключевые метрики на 100500 - 100600%, а выходит с гулькин нос, или вообще не растет.

В общем, все идеально, но есть нюанс. Возможно, стоит бежать чуть медленнее, чтобы успевать понимать, почему наши АБ-тесты успешны или неуспешны. Удачи...