Мысль про односторонний/двусторонний тест
Если мы используем двусторонний критерий при оценке результата АБ теста и альфа = 5%. То по факту число ложно положительных результатов, которые будут выкачены в прод от числа истинно не значимых будет не 5%, а 2,5%.
Распределение значений статистики (z,t) при верности H0 будет сосредоточено вокруг 0. Гипотеза будет откланяться если статистика попадает в 2,5% левого или правого хвоста. Но левый хвост отрицательный и по сути если статистика попала в него, то на данных мы увидим, что контрольный вариант лучше тестового и в любом случае не покатим в прод тестовый. Получается катить в прод ложноположительные результаты мы будем только когда статистика попадет 2,5% правого хвоста, при верности H0.
Отсюда вывод, что при применении двустороннего теста, доля ложноположительных прокрасов будет 5% при верности H0, но вот доля ложноположительных выкаток в прод будет 2,5%, а не 5%, т.к. отрицательные ложно положительные прокрасы мы в любом случае не покатим.
Согласны с такой логикой или я заблуждаюсь? Я вот что-то ранее об этом не задумывался 🧐
Post #633
1.43K
- 🔥 4
- 👍 2