TGViewer
Conversion And Analytics Conversion And Analytics @conversion_and_analytics · 423 subscribers
Post #202 712
Как оценивать «fake door» тесты?

Результатом теста является CTR fake ссылки или кнопки, что мы там разместили. От этого и будем отталкиваться.

Получается наш вопрос «Будем продолжать или закроем инициативу?» Вопрос трансформируется в:
1. «CTR является достаточным, чтобы целевая метрика полноценного теста достигла стат значимости?»
2. «Рост целевого показателя является достаточным, чтобы полноценный тест имел смысл?»

Что делать с вопросами?
1. Первое - это достаточно простая задача аналитику покрутить воронку и посчитать MDE.
2. Второе - это менеджерская задача по оценке стоимости полноценного теста и сравнению с ожидаемой выгодой.

И чуть следующий уровень...
1. По хорошему, MDE надо посчитать даже до fake door теста и даже высчитать минимальный CTR, который надо достичь, и задать себе вопрос «а имеет ли fake door тест смысл?». Очевидно, что зависит от ресурсов. Если много разработчиков и нет аналитика, то проще протестировать...

2. Выгода может быть больше цены тестирования, но сравните ожидаемую выгоду с необходимым ростом, заложенным в ваш бизнес план и спросите себя «а не фигнёй ли мы собираемся заняться?»
More from @conversion_and_analytics
  1. Jan 20, 2022Почему я не люблю следить за конкурентами 1. Мы не знаем, что работает (приносит пользу),…
  2. Oct 18, 2021Дизайн экспериментов За первые семь месяцев этого года мы с командой запустили 74 продукто…
  3. Sep 20, 2021С вашей гипотезой точно что-то не так Вспомните последний а/б тест, который вы запускали.…
  4. Aug 9, 2021Лучший инструмент для А/Б тестов и знание математики У меня есть два тезиса, за которые ме…
  5. Jul 7, 2021«Продакт придумывает гипотезы» Можно заменить продакт на CRO или на маркетолога, это всё н…
  6. Jun 7, 2021Идея vs Гипотеза Самая частая проблема, которую приходится встречать среди junior/middle с…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →