Как оценивать «fake door» тесты?
Результатом теста является CTR fake ссылки или кнопки, что мы там разместили. От этого и будем отталкиваться.
Получается наш вопрос «Будем продолжать или закроем инициативу?» Вопрос трансформируется в:
1. «CTR является достаточным, чтобы целевая метрика полноценного теста достигла стат значимости?»
2. «Рост целевого показателя является достаточным, чтобы полноценный тест имел смысл?»
Что делать с вопросами?
1. Первое - это достаточно простая задача аналитику покрутить воронку и посчитать MDE.
2. Второе - это менеджерская задача по оценке стоимости полноценного теста и сравнению с ожидаемой выгодой.
И чуть следующий уровень...
1. По хорошему, MDE надо посчитать даже до fake door теста и даже высчитать минимальный CTR, который надо достичь, и задать себе вопрос «а имеет ли fake door тест смысл?». Очевидно, что зависит от ресурсов. Если много разработчиков и нет аналитика, то проще протестировать...
2. Выгода может быть больше цены тестирования, но сравните ожидаемую выгоду с необходимым ростом, заложенным в ваш бизнес план и спросите себя «а не фигнёй ли мы собираемся заняться?»
Post #202
712