Привет! Я Женя, acting Team Lead в монетизации, и сегодня поделюсь кейсами «что пошло не так в A/B-тесте», которые собирала для пар по тестированиям в Вышке.

Кажется, АБ-тесты супер просты: на две группы поделили, результат сравнили, выбрали опцию, где больше основная метрика. Так почему столько аналитиков тратят столько времени на A/B-тесты?

Ловите кейсы из практики. Рекомендую сначала поразгонять, а потом открывать спойлер 🤓

1️⃣Проводили обратный A/B-тест (откатили существующую фичу) с задачей — не увидеть прокрасы выручки. Подготовили мониторинги, запустили тест, прокрасов не обнаружили. Через месяц тест перезапустили. Что могло случиться?

Ответ: не увидели прокрасов, потому что тест не запустили из-за баги 🫠

2️⃣Запустили A/B-тест, на третий день заметили, что выручка в тестовой группе падает в 2 раза. Куда копать?

Ответ: Старт теста сломал разметку сегмента, на котором он запускался, и часть тестовой аудитории оказалась в другом сегменте, вне мониторинга. На самом деле выручка не пострадала. В продукте сложно придумать продуктовое изменение, которое так сильно скажется на выручке, даже если очень стараться :) Раз падение настолько большое — 95% шанса, что это баг или другая техническая особенность, но не продуктовая.

3️⃣ Тестировали новую фичу. Чтобы увидеть изменения, нужно обновить версию приложения на iOS. Мы предложили это пользователям и отнесли в тестовую группу тех, кто обновился, потому что только они увидели изменения. В контроле была вся аудитория, которую сплиттер определил в контроль. Что мы делали не так?

Ответ: На обновление соглашались более лояльные пользователи, открытые к нашим новинкам, а не общая совокупность. Так, результаты в тесте были сильно завышены.

❤️ — кейсов много, лайк для второй части!

#ЖеняМур