32-2. Что не значит p-value
 
В понедельник мы определили p-value как вероятность наблюдаемых различий между группами при условии истинности нулевой гипотезы. Сегодня обсудим три распространённых заблуждения, которые искажают интерпретацию p-value в медицинской литературе. Эти заблуждения сформулированы в положении Американской статистической ассоциации (Wasserstein & Lazar, 2016 — https://doi.org/10.1080/00031305.2016.1154108).
 
Первое заблуждение: p-value – это вероятность того, что нулевая гипотеза верна. Это неверно. p-value считается при условии истинности нулевой гипотезы и сообщает, насколько редко при таком условии возникают наблюдаемые или более выраженные данные. p-value не отвечает на вопрос, верна ли сама гипотеза, и не является её вероятностью.
 
Второе заблуждение: p < 0,05 означает клинически значимый эффект. На размер и клиническую важность эффекта p-value не указывает совсем. При очень больших выборках статистически значимым становится даже незначительное различие, не имеющее практической ценности. Снижение систолического давления на 1 мм рт. ст. в группе из 10 000 пациентов может дать p < 0,001, оставаясь при этом клинически бессмысленным. Отделить статистическую значимость от клинической помогают размер эффекта и доверительный интервал – тема следующей недели.
 
Третье заблуждение: p > 0,05 означает отсутствие эффекта. Высокое значение p указывает лишь на то, что имеющихся данных недостаточно для отклонения нулевой гипотезы. Возможны две причины: эффект действительно отсутствует, либо эффект существует, но мощность исследования оказалась недостаточной для его обнаружения. Без расчёта мощности и анализа размера выборки сделать однозначный вывод нельзя.
 
При чтении статьи p-value следует воспринимать как часть картины, а не как самостоятельный вердикт. В пятницу обсудим, откуда взялся порог 0,05 и почему его границы условны.