Статистическая значимость или ещё одно "пи"
#статистика #методы

Как бы тщательно мы ни планировали своё исследование и как бы ответственно ни подходили к формированию выборки, в ней могут оказаться респонденты, которые не отражают общих закономерностей. И мы в таком случае — тщательно проанализировав их абсолютно правдивые ответы — рискуем сделать ошибку 1-го типа, т.е. не опровергнуть ложную гипотезу. Прямо как на нашей картинке — ужас! Вероятность возникновения такой ошибки — как и любого другого события — может быть от 0 до 1. Эту вероятность принято обозначать буквой α ("альфа"). А 1 - α (один минус альфа) и есть пресловутая статистическая значимость, она же significance, sig., p-value (от probability) или просто p (читается "пи").

Для социальных наук максимально допустимая вероятность такой ошибки — 5%. Это и есть знаменитое значение p-value, равное 0.05.

Когда мы видим, что значимость нашего результата равна 0.05, это означает что размер нашей выборки и дисперсия значений в ней таковы, что с вероятностью 5% эти данные могут подтвердить ложную гипотезу. В том случае, если величина p больше 0.05, принято говорить, что результат не является значимым. Это означает, что количество наблюдений и разброс в них таковы, что они не позволяет даже с вероятностью 95% считать результат показательным.

0,05 — это много или мало?
А это уже зависит от гипотезы. Например, если наша гипотеза — о разнице в доходах между мужчинами и женщинами (или, скажем, между интровертами и экстравертами), то вероятность ошибки в 5 % со скрипом, но считается приемлемой. А вот если наша гипотеза касается эффективности нового лекарства или вакцины? На какую вероятность ошибки — принять в действительности бесполезное лекарство за эффективное — вы согласны? В медицинских исследованиях «приемлемый» уровень статистической значимости равен 0.001, т.е. вероятность ошибки должна быть менее 0,1%.

Какую бы взаимосвязь между явлениями мы ни исследовали методами «классической» — параметрической — статистики, мы получим результат и его значимость. Корреляция между явлениями, разница между группами, предиктивная (т.е. предсказывающая) способность одного явления относительно другого — это все примеры статистической взаимосвязи. Так вот, мало получить значение, которое показывало бы силу такой связи между явлениями. Нужна еще его статистическая значимость.

Значимость часто объясняют как вероятность того, что результат получился «случайно». С некоторой натяжкой можно сказать, что так. Но все же точнее будет помнить, что уровень значимости говорит о том, можно ли полученными результатами исследования подтвердить (или опровергнуть) гипотезу. И подтвердить гипотезу может только статистически значимый результат. А если задача исследования — проверить гипотезу, то это важно, верно?!