По условию известно, что в контрольной группе в приложение зашли 50 000 пользователей, а оформили заказ лишь 2370 пользователей. Рассчитаем конверсию:
(2370 / 50 000) * 100% ≈ 4.7%.
В тестовой группе в приложение зашли 50 000 пользователей, а оформили заказ 2550. Снова рассчитаем конверсию:
(2550 / 50 000) * 100% = 5.1%.
Мы видим, что разница есть. Но является ли она статистически надёжной? На такие вопросы и отвечает статистика.
Она позволяет рассчитать специальный критерий, который будет учитывать погрешность в данных. Если бы разницы между конверсиями не было, то значение критерия было бы очень близко к нулю. А p-value показывает вероятность получить такое (как мы получили) или более экстремальное значение критерия при условии, что наше предложение о равенстве конверсий верно.
Если в этой задаче применить корректный статистический тест и воспользоваться калькулятором, то можно получить значение p-value ≈ 0.009, что ниже выбранного уровня значимости. Значит, это статистически значимый результат. То есть разница конверсий с учетом погрешности данных — существенна.
Следовательно, можно утверждать, что коты-курьеры действительно влияют на результат!
Чтобы узнать, как работают статистические тесты, как считаются результаты и что означает
Скрин с решением кошки Кнопы — в комментариях. ☺️