4.1) Так как p-value непрерывная величина, то нельзя взять так просто и подсчитать вероятность конкретного p-value, поэтому вместо, например, P(p-value=0.05) мы возьмем P(0.0499 =< p-value <= 0.05). Сиська? Сиська! Почти тож самое, мать твою (с)

Поэтому считаем P(0.0499 =< p-value <= 0.05), а думаем о P(p-value=0.05)

4.2) На сгенерированных данных вышло следующее:
P(p-value|HA) = P(0.05|HA) = 0.028
P(p-value|H0) = P(0.05|H0) = 0.008
Смотрим картинку 5 - ну в целом размер желтого прямоугольника против синего в красном квадрате на то и похоже в плане пропорции.

5.1) Считаем P(HA|0.05) = (0.028*0.1) / (0.028*0.1+0.008*0.9) = 0.28 = 28%, КАРЛ.
То есть стат. значимый результат = 0.05 не ахти как перевзвешивает нашу гипотезу.
Такое себе.

5.2) А что будет, если взять p-value = 0.01 (интервал от 0.0099 до 0.01)? Картинка 6
P(p-value|HA) = P(0.05|HA) = 0.172
P(p-value|H0) = P(0.05|H0) = 0.01
P(HA|0.05) = (0.172*0.1) / (0.172*0.1+0.01*0.9) = 0.65 = 65%. И также не особо лучше.

Короче: теперь статистики всерьез задумались об альфе = 0.005. Потому что P(HA|0.005) стремится к 1. Ну и потому, что это как будто бы решает проблему репликации (повторяемости) исследований.
А все, что находится между 0.005 и 0.05 - это теперь "suggestive", гугл переводит это как на "наводящий на размышления", смешно: тест теперь не стат. значимый в этом диапазоне, а "наводящий на размышления", нах.

При этом это не предел для минимизации альфы, о, нет! (хе-хе)

Но об этом в следующий раз.