Не каждый рост метрики - хороший результат.

Допустим, мы проверили гипотезу изменения оплаты. Было 10% конверсии в покупку, стало 10,3%. Вроде бы новая версия лучше, но если в тесте участвовало мало людей, такая разница могла появиться просто случайно. Например, в одной группе купили 10 человек, а в другой 11. Один человек уже создал нам «рост».

Чтобы понять, реальный это эффект или случайность, в A/B-тестах используют статистику. Один из показателей - p-value (Привет, теория вероятности из вуза). Если совсем просто, он помогает понять, насколько можно доверять разнице между двумя вариантами. Но даже если эффект реальный, это еще не значит, что его нужно внедрять.

Допустим, новая версия действительно повышает конверсию. Вопрос в том, насколько сильно и сколько этот рост даст бизнесу. Если изменение приносит дополнительно 300 тысяч рублей в год, а его разработка и поддержка стоят 5 миллионов, то формально гипотеза сработала, но как продуктовое решение это все равно плохо.

Поэтому после вопроса «мы точно улучшили метрику?» должен идти следующий - «а этот эффект вообще стоит тех денег и времени, которые мы на него потратим?»

Хороший A/B-тест еще не означает хорошее продуктовое решение. Важно не только доказать, что изменение работает, но и понять, имеет ли смысл его делать чисто экономически.

Японский продакт