Привет, товарищи статистики!

Помимо уважаемых, но избитых ошибок 1-го и 2-го рода есть еще две, тесно связанных с мощностью:
- Type S error как ошибка знака
- Type M error как переоценка эффекта

Сегодня рассмотрим Type S ошибку как имеющую значения для тестов с мощностью ниже 40%, пусть наш MDE = +0.5 (24 vs 24.5).

И вновь абсолютные значения помогут нам все увидеть. Cтроим разницы выборочных средних выборок по 2 измерения в каждой из H0, проводим классические границы значимости (0.05). Вторым шагом - всевозможные разницы между выборочными средним из H0 и из HA.

Обратите внимание, у нас относительно HA в границах значимости H0 появляются две зоны:
- зеленая, где мы отлавиваем эффект с нужным знаком (среднее выборки из HA больше H0);

- красная зона стат. значимых результатов, но такая, где среднее из HA очевидно меньше средней H0, то есть наш тест прокрашивается с другим, противоположным от ожидаемого знаком.

Это и есть ошибка знака. Мы бы отклонили нулевую гипотезу, но ошибочно посчитали бы, что наша новая фича работает хуже.

Если гененировать выборки под разные мощности от очень низкой до максимальной (точки X), делить красную долю на зеленую (=error rate, точки для Y), то у нас получится график зависимости Type S error rate от мощности.

Хорошо видно, что от 0.4 = 40% такой ошибки уже не возникает. Вопрос: зачем вообще об этом думать во времена классических 0.8? По двум причинам:
1) Теперь вы знаете еще одну цену малой мощности помимо малой вероятности обнаружить желаемый эффект, когда он реально есть.

2) Это полезно, если читаете какие-то исследования интересной вам области (у меня это пси-сфера), где малые выборки. Рекомендую смотреть на две вещи:
- MDE сквозь призму метрики: возможен ли он такой силы?
- на мощность. Если она маленькая, то сам по себе эксперимент "на удачу" + Type S и Type M включаются.

В следующий раз поговорим про Type M.

P.S. Делал быструю аппроксимацию этой функции, приблизительный результат на картинке. Подставляй мощность, получай оценку S ошибки, вноси в дизайн