Мы живём в интересном мире, но в конкретной реальности.
В рамках тестирования гипотез формулируется нулевая гипотеза (часто об отсутствии эффекта). И мне кажется, она чем-то похожа на кота Шрёдингера - пока мы не откроем коробку, не узнаем статус питомца.
Но при этом всём, мы с вами живём лишь в одной реальности, где нулевая гипотеза либо верна, либо неверна. Однако мы этого не знаем… И для этого проводим исследование, где тестируем насколько наши данные соответствуют нулевой гипотезе (в лучшем случае еще контролируем вероятности ошибок)

А теперь вернемся к графику (тут по 10000 симуляций на каждый MD при двух группах rnorm(n = 100)). По сути на нем мы можем увидеть как две реальности соприкасаются 😁
При true MD (истинная разница средних) равным 0 (начало графика, конкретная точка) нулевая гипотеза верна (я это знаю, т.к. сам это контролирую). А значит процент отклонений Н0 - это вероятность альфы (ложно-положительный результат).
Но как только true MD ≠ 0 (например, + 0,0001), то Н0 уже неверна (я это знаю). И теперь процент отклонений - это мощность (истинно-положительный).

И на разных порогах p-value в MD = 0 мы видим соответствующий процент отклонений Н0. А затем эти проценты растут (растет мощность), но при разных порогах скорость набора мощности разная. Как это увидеть? Можно построить распределение p-value для разных MD и увидеть, как оно смещается в сторону к 0 и логично, что при разных порогах разное количество нулевых гипотез надо отклонить.

Но для меня самый забавный именно момент с соприкосновением реальностей))

Однако есть небольшой нюанс! True MD = 0,0001 можно округлить до 0, а значит наша точка верной нулевой гипотезы превращается потихоньку в линию 😱 Главное не переборщить с округлением, а то можно получить мыло

Дополнительно я очень советую прочитать эту статью, написано интересно и несложно