83. Загляни в эксперимент глубже

Кажется, что А/Б эксперименты трактуются однозначно. На синюю кнопку нажали больше, чем на красную, значит победил вариант с синей кнопкой. Вывод справедлив только для простых систем.

Наши пользователи после регистрации самостоятельно настраивают многочисленные инструменты. Это довольно сложно для новичка. Мы решили улучшить онбординг и создали дополнительный шаг с небольшой формой. После заполнения формы инструменты настраивались автоматически, и пользователь попадал на «всё готовое».

Казалось, автоматическая настройка поможет освоиться. На деле этот вариант проиграл: пользователи были менее активными и делали меньше покупок. Мы стали разбираться.

Экспериментальные пользователи поделились на две группы. Первые – воспользовались дополнительным шагом, были в два раза активнее и платили в два раза чаще. Вторые – не захотели заполнять форму и были втрое менее активными. Эта «плохая» группа перетянула одеяло на себя и сделала эксперимент в целом проигрышным.

Формально эксперимент проиграл. Но более глубокий анализ показал, что для половины пользователей он выиграл. Теперь осталось придумать, как помочь «плохой» половине, и запустить новый эксперимент.