АБ тест проиграл. Делать итерацию?

Вы запустили АБ тест. Он проиграл \ не выиграл. Какой вывод из этого делать - не верна гипотеза или решение к ней?

ИМХО, это один из самых злободневных вопросов, который продукт-менеджер должен решать каждый день.

В моей практике есть примеры, когда на вторую-третью итерацию решения мы получали супер-выигрышный тест. Но также есть и примеры, когда команда всё делает и делает, пробует разное - и ничего не срабатывает. А могли бы давно перейти к другой гипотезе и получить результат. Где та грань, когда нужно остановиться?

Думаю, однозначного ответа на этот вопрос нет, но с опытом я пришла к подходу, который позволяет мне обдуманней принимать такие решения:

1. Я документирую все допущения\риски ДО ЗАПУСКА ТЕСТА
2. По каждому продумываю, как мы померяем результат. В идеале это конкретная метрика либо просмотр записей пользовательских сессий
3. Если на этапе обсуждения решения были разные хорошие варианты, я записываю, почему мы выбрали этот вариант, и при каких условиях стоит попробовать другие.

И когда приходят результаты теста, я могу конкретно проверить, какие допущения сработали и риски реализовались. И тогда вырисовывается картина:

1. все допущения оправдались, риски не реализовались, но улучшение ключевой метрики нет — значит сама по себе гипотеза проигрышная, нет смысла продолжать
2. есть допущения, которые не сработали, или реализовались риски, и у команды есть хорошие недорогие идеи, как это изменить — можно делать итерацию.
3. ключевые допущения не сработали, но и нет хороших идей, как это изменить — вероятно, пока смысла продолжать нет.

С таким подходом и решения принимать проще, и аргументы для команды и стейкхолдеров всегда есть, и после каждого теста остаются lessons learned.

Применяйте — только не в голове, а на бумаге — и вы мне скажете спасибо =)

#горопека_о_продукте #горопека_техники #горопека_лайфхаки