...и знакомимся с Брюннером—Мюнцелем
Как оказалось, чтобы выстрелить себе в ногу с помощью критерия Манна—Уитни, не обязательно его применять — достаточно написать о нем пост. В этом посте я сказал, что критерий проверяет гипотезу
P(X < Y) = 0.5, но это неправда — и про это даже написано на википедии, если удосужиться пролистать страницу до конца.На самом деле все обстоит еще хуже, чем я думал:
1️⃣ Статистика критерия и правда оценивает
P(X < Y). На самом деле не прям вероятность, а вероятность, умноженную на mn, но это неважно.2️⃣ При условии, что распределение X и Y одно и то же и непрерывно, критерий является точным, то есть вероятность ошибки первого рода будет равна заданному уровню значимости. При этом распределение статистики не зависит от распределения данных и при больших объемах выборок стремится к нормальному.
3️⃣ Если
P(X < Y) ≠ 0.5, то критерий является состоятельным, то есть с ростом объемов выборок вероятность отклонить нулевую гипотезу с заданным уровнем значимости (т.е. мощность) будет стремиться к 1.НО
4️⃣ Если
P(X < Y) = 0.5, но распределения X и Y различаются, то распределение статистики критерия уже начинает зависеть от них, однако при больших объемах выборок все еще стремится к нормальному распределению, но с чуть большей дисперсией (если объемы выборок равны, то в худшем случае в 1.5 раза большей).5️⃣ В случае из предыдущего пункта критерий не будет точным (даже асимптотически), но при этом не будет и состоятельным: скажем, если объемы выборок равны, то вероятность отвергнуть нулевую гипотезу с уровнем значимости 0.05 будет в худшем случае равна ≈0.11 (если не равны, то может быть побольше).
В сухом остатке получаем, что критерий не является состоятельным для гипотез, для которых он является хотя бы асимптотически точным 😵
Можно ли с этим что-то сделать? Оказывается, что можно, но за это придется променять точность на асимптотическую точность. Решение называется критерием Брюннера—Мюнцеля. Если кратко, то он отличается от Манна—Уитни так же как t-тест Уэлча отличается от t-теста для равных дисперсий.
Учитывая, что по жизни все пользуются t-тестом Уэлча и не парятся, может быть стоит вместо Манна—Уитни сразу использовать Брюннера—Мюнцеля?