Уровень доверия к измерению конверсии

- У нас 20 пользователей из 1000 за вчера перешли из просмотра рекламы новой фичи к её использованию.
Получается, наша реальная конверсия 2% и завтра с 100 к нам придет 2?
- Нет.

⁉️Как понять, что полученному значению можно верить и на сколько
Проверить статистическую значимость!
Калькулятор значимости - https://www.calculator.net/sample-size-calculator.html
Что вводим:
Во втором сверху калькуляторе "Find Out the Margin of Error"
Confidence Level = доверительный интервал (простыми словами: точность калькулятора, 95% стандартное значение)
Sample Size = кол-во пользователей, с которых собрали метрику
Population Proportion = значение метрики
Population Size = кол-во возможных пользователей, можно оставить пустым, если пользователей может быть сколько угодно
На выходе получим значение, на которое может в действительности отклониться метрика

😎Пример:
Вы губернатор, которому выкатили новые KPI, хотите узнать, какой % населения имеет высшее образование
Опросили 1000 граждан, положительно ответили и документально подтвердили 320.
Если правильно подготовили группу для исследования(граждане выбирались так, что они отражают все группы населения), тогда:
Confidence Level = 95%
Sample Size = 1000
Population Proportion = 320/1000 = 0,32
Population Size = 13015126 - кол-во граждан в губернии

Ответ калькулятора: 2.89%

Выходит с 95% уверенностью у вас в губернии 32±2,89 % граждан имеют высшее образование.

Скидывайте знакомому губернатору👍

@product_lev

#analyst #Confidence #product #pm #менеджер #продукта #аналитика