Размер выборки эксперимента

Разберем, как прикинуть, какое кол-во пользователей нам нужно для проверки гипотезы, что новый вариант продукта лучше

😎 Вернемся к нашему губернатору из предыдущих постов.
Последний эксперимент с рекламой принес конверсию из просмотра в переход по QR 3,5%.
Губернатор нашел консультанта, который обещал улучшить рекламу по QR переходили не 3,5%, а 5% из тех, кто её увидел.

Давайте прикинем, какое кол-во человек нам нужно, чтоб на них проверить, что новая реклама действительно так хороша.
Воспользуемся калькулятором выборок
Вводим:
Базовый уровень конверсии = 3.5
Минимальное отклонение, которое хотим засечь = 5% - 3.5% = 1.5
Статистическая мощность = 80%
Уровень значимости = 5%

Мощность — это вероятность увидеть стат значимое изменение между версиями, если оно действительно есть(стандартно 80%).
Уровень значимости — обратное значение к уровню уверенности (95% из поста про стат значимость).

Получаем: 2496 пользователей в одном варианте
Это значит, что для сравнения двух вариантов нам нужно суммарно 2496*2=4992 пользователей, тогда получится засечь отклонение в 1.5% от базового значения в 3.5% с вероятностью 80%.

@product_lev

#analyst #Significance #product #pm #менеджер #продукта #аналитика #pmm #маркетинг #ctr #конверсия