Всем привет!
Я Женя, и неделю назад рассказывала про кейсы, где в A/B-тестах что-то пошло не так. Мы собрали лайки, и я возвращаюсь со второй частью!

Знакомьтесь, новая парочка детективных случаев:

1️⃣Собрали в 6 вечера костыль, чтобы запустить тест и не откладывать на завтра. В 8 вечера звонит телефон: «Вы сломали сайт!» 😳

Ответ: Костыль не костылил 🤓 Мы никого не предупредили. А ещё есть примета: запускать тесты вечером — к работе ночью.


2️⃣Во время теста узнаём, что другая команда запустила свой тест на наш контроль, на вариацию не запустила. Могло ли это помешать нам?

Ответ: Да, тест оказался успешным, и контроль был сильно лучше на фоне тестовой категории, поскольку 50% от контроля начало приносить на 20% больше выручки. А мы в это время долго не могли понять, почему у нас тест так сильно проигрывает контролю. 🤔

Поделитесь своими кейсами, как решали странности при анализе или по ходу эксперимента 👩🏼‍💻

#ЖеняМур