НАСТОЛЬКО ДОСТОВЕРНО, ЧТО ЗНАЧИМО
⠀
В постах в блогах, докладах на конференциях, статья, диссертациях и речи можно заметить небольшую, но очень важную ошибку. Иногда вместо "значимость" используют термин "достоверность". Что здесь не так? Как говорить правильно и почему? 🙅🏻‍♂️
⠀
Во-первых, в научном труде (будь то доклад или публикация) должны использоваться общепринятые термины, которые имеют конкретное определение.☝🏻
Во-вторых, проблема существует давно (относительно), примерно с 90-х годов, но были попытки в ней разобраться.🕵🏻‍♂️
В-третьих, эта проблема существует во всех научных сферах, что повышает актуальность и опасения (о ней нередко ведутся споры в чатах по статистике).🗯️
В-четвертых, проблема глубже, чем кажется, также она связана с оценкой гипотез, определениями p-value и ошибкой I рода.🤯
В-пятых, мы вступаем в поле духоты, токсичности, абстракции (в какой-то мере) и философии.🥸
⠀
Что означают эти слова?
📍Достоверность (validity) - соответствие полученных результатов реальному миру.
⠀
📍Статистическая значимость (statistical significance) - ситуация, когда наблюдаемый или более экстремальный статистический результат был бы редким при верной нулевой гипотезе.
⠀
Обычно статистическую значимость оценивают по показателю p-value ❗ (вероятность наблюдать такой или более экстремальный результат при верной нулевой гипотезе), который принято дихотомизировать (<0,05 - значимо, ≥ 0,05 - незначимо). Хотя Фишер 👨🏻‍🏫, который разработал данный показатель, указывал, что исследователю необходимо оценивать его индивидуально (грубо говоря ту самую редкость) в конкретном исследовании📄. Это большая дискуссия, которая ведется между статистиками и нестатистиками.
⠀
У нас есть проблема, что истинные результаты мы знать не может 🙇🏻‍♂️(для этого надо оценить все у всех и желательно, чтобы это была контрольная и экспериментальная группа сразу), поэтому мы используем выборки (надеясь, что они репрезентативны для изучаемой популяции). Получается, что мы очень косвенно и абстрактно пытаемся изучить достоверность. 👨🏻‍💻
⠀
Мы можем оценить достоверность летального исхода у определенного пациента, когда он случился💀, или выпадения орла у конкретной монеты в конкретный бросок🪙. Но достоверность причинно-следственной связи лечения А на исход Y оценить полностью не можем, всегда остается место неопределенности.
⠀
Зато можем узнать статистическую значимость📈. Мы предполагаем, что эксперимент проведен без систематических ошибок (но это не всегда так), и что живем в мире, где верна нулевая гипотеза, тогда возможно рассчитать вероятность полученных нами результатов или более экстремальных (сильнее отклоняющих).
⠀
Это не означает, что p-value говорит нам о причинно-следственной связи или достоверности. Он показывают только то, для чего был разработан.📝
А еще остается вопрос о клинической значимости, куда впутывается доверительный интервал...😬
⠀
Что же происходит в реальности? А в ней продолжает существовать миф о взаимозаменяемости этих терминов🖕🏻. В статье Н.А. Зорина "«Достоверность» или «статистическая значимость» — 12 лет спустя" показана вероятная цепочка возникновения мифа (рис. 1).
⠀
Почему эта проблема продолжает существовать и не решается? Есть разные версии:
🔹Низкое освещение, не смотря на то, что профессиональное общество о ней говорит;
🔹Низкий уровень знаний (как статистики, так и логики);
🔹Нежелание разобраться в вопросе глубже или непонимание.🧠
⠀
Я вам достоверно заявляю, что данная проблема значима, и тут есть много места для дискуссий. 🤡
Я, например, стараюсь следить за речью и указываю на данную ошибку у других.
Нео, заткнись и выходи на новый уровень познания.💊

@ebm_base

#ebm_statistica #достоверность #статистическаязначимость #значимость