Самое явное приложения метода Неймана-Пирсона — это создания правила принятия решения: у нас есть два распределения некоторого белка, оба известны, среднее распределения у здоровых (H0) — 35, у больных (H1) — 50
Доверительный интервал H0 (1-alpha) = 35 ± 3.29
Доверительный интервал H1 (1-beta) = 50 ± 7.5

Области Alpha и Beta – слепые пятна:
Есть здоровые с концентрацией белка >38.29 (это и есть alpha — предположим, что таких 5% в популяции) – мы их будем классифицировать как больных (FP, Type 1 error)
Но есть больные с концентрацией белка <38.29 (это beta — в нашем случае, таких 20%) — мы их будем классифицировать как здоровых (FN, Type 2 error)

Если не менять ничего другого, то изменения в alpha (наша линия cutoff) повлекут изменения в beta: например если мы считаем, что лучше признавать здоровых больными, мы увеличим alpha (тем самым, уменьшив beta), или наоборот

Когда пациент покупает тест в аптеке, в зависимости от концентрации белка, тест покажет "Болен" или "Здоров".

Проводя онлайн-тесты, мы используем этот метод иначе: нам известны параметры распредление H0, мы экспертно задаем cutoff (alpha) – с конкретным числовым выражением (например, процент конверсии sic!), но мы не знаем распределение H1: для этого нужно собрать достаточное количество наблюдений (достаточность которого определяется анализом мощности с выбранным MDE, alpha, beta). В этом случае, мы не оцениваем каждого пользователя по отдельности, как в примере выше: мы сравниваем то, насколько распределения различны между A и B. Если среднее значение выборочного распредления группы B больше нашего cutoff, мы принимаем H1, в противном случае – H0 и оставляем вариант A
Но смысл очень похож для обоих приложений фреймворка: есть конкретное пороговое значение, которое устанавливает правило, стандарт для принятия решения