САМЫЙ ЖЕЛАННЫЙ

Великий и могучий уровень значимости (или р, или р-value, или р-значение и т.д.). Как часто вы его встречаете в статьях, на конференциях? ИМХО, следование ему превращается порой в карго-культ 🧟‍♂
⠀
❗p-value - это вероятность получить такой или ещё более экстремальный (отличающийся) результат при условии, что верна нулевая гипотеза❗
⠀
Сложно? Непонятно? Но это его единственное верное определение (если вы считаете иначе, то прочитайте список литературы, а потом можете подискутировать с авторами-статистиками) 🥸
⠀
На рисунке ниже у нас есть (гипотетически) информация о характеристиках признака (рост, вес, длина ноги и пр.), и мы знаем ее среднее значение (М0). В ходе эксперимента мы получаем другое среднее (М1), которое явно не совпадает с М0. Если нулевая гипотеза (о значении М0) верна, то мы можем оценить с какой вероятностью мы могли получить М1. А если посчитает вероятность получить М1 или ещё больший (экстремальный) результат, то и получим заветное p-value (синяя область) 🫠
⠀
И если р меньше 0,05, то мы отвергаем нулевую гипотезу и считаем, что наш результат может объяснить альтернативная гипотеза 🤔
⠀
А почему 0,05❓
⠀
Вот так сошлись звёзды в 20 веке, что был принят субъективный и произвольный порог в 5%. Считается, что это слишком низкая вероятность для верной нулевой гипотезы 😰
⠀
Будем считать, мы согласились играть по таким правилам со значимым уровнем р<0,05, но у этого всего есть свои нюансы 🤬
⠀
1️⃣ Статистическая значимость ≠ клинической значимости.
⠀
Можно получить значимый результат, но различия будут очень малы и не иметь практического применения (нередко на больших выборках). Напротив, важный клинический результат может быть статистически незначимым (много причин), но в то же время это не доказывает, что эффекта нет 🤯
⠀
2️⃣ Разница между значимым и незначимым условна и формальна.
⠀
Сильно отличается 0,049 и 0,051? По этой проблеме ведутся дискуссии и споры 🗣️
⠀
3️⃣ p-хакинг.
⠀
Всем нужен значимый р, поэтому делают множественные сравнения ноздрей, ног, пальцев, миллион подгрупповых анализов, подбор статистических тестов, а иногда и неумышленно его находят 🤡

#ebm_нюансы #statistics #статистика #p_value