ОЦЕНИВАЙ ВМЕСТЕ

"Забудьте о p-значениях и о том, исключают ли ваши доверительные интервалы 0" ©

Одна из завершающих строчек (пер. с английского) книги "Регрессия: теория и практика" Гельмана Э. и др. Но почему такое отношение у профессоров по статистике❓

В предыдущих постах я рассказывал о p-value и доверительных интервалах ⏮️ Очень часто их используют, чтобы принимать какие-то решения. И действительно, часто можно увидеть эти показатели в исследованиях, где тестируются гипотезы 🟰

📍Для р стандартно определяется порог в 0,05. Он говорит, что вероятность увидеть наши такие или еще более экстремальные результаты при верной нулевой гипотезе (различий нет) составляет 5%❗
И в научном обществе посчитали, что такая вероятность достаточно мала, чтобы мы ее могли наблюдать 👻

На самом деле уровень 0,05 установлен по согласованию, никаких объективных причин он за собой не несет. В связи с чем постоянно ведутся споры и предлагается ужесточение до 0,01 или даже до 0,001 🤬
Но тогда возникает проблема с пересмотром уже имеющихся исследований ⚖️

⚠️Поэтому формально: если р<0,05, то мы отвергаем нулевую гипотезу (различий нет), указывая "получены значимые различия"⚠️

📍95 % доверительный интервал (ДИ) – это интервал, сгенерированный процедурой, которая при многократных повторах выборок с вероятностью 95% содержит/включает/"покрывает" истинное значение популяции❗
Т.е. если в 100 разных выборках рассчитать 95% ДИ, то в среднем 95 из них будут покрывать истинный эффект, остальные 5 будут ошибаться 🤯

Для ДИ есть две ситуации:
1️⃣ Если мы оцениваем его для разницы/difference (А – В), то он не должен включать 0. Потому что иначе мы предполагаем, что есть вероятность, что истинное значение равно ему (либо покрывает, либо нет, но мы этого не знаем). И так как мы оцениваем только один конкретный ДИ для одной выборки, то не можем знать другие (иначе можно было бы предположить, что мы ошибаемся).

2️⃣ В случае оценки отношения/ratio (А/В), он не должен включать 1. Остальной принцип остается таким же.

⚠️Поэтому формально: для разницы ДИ не должен включать 0, для отношения – 1, тогда мы отклоняем нулевую гипотезу⚠️

Обычно точную оценку (estimate) приводят вместе с 95% ДИ и р. Могут возникать формальные ситуации, когда ДИ не значим, а р значим. Как в этой ситуации поступать?🙀

Я обычно склоняюсь к идеи оценивания по ДИ (за счет его большей информативность). Но в такой ситуации нужно обязательно учитывать другие нюансы (размер выборки, множественные сравнения, распределение ошибок и т.д.)🧐

Так почему такое отношение у профессоров по статистике?👨🏻‍🎓 Они против формальных оценок на основе пересечения порога. Один показатель - плохой способ оценить всю методологию и анализ, нужно не отбрасывать доступную информацию, а использовать ее 🙇🏻‍♂️

#ebm_статистика #биостатистика #biostatistics