Почему считать MDE и мощность после эксперимента не имеет смысла и это в целом плохая идея ? 🤌 (часть 1)

Пока был в дороге , успел прочитать и разобрать research paper на тему если по русски: "Почему делать power analysis после проведённого эксперимента не нужно ?" Напоминаю что под Power analysis в индустрии подразумевают расчёт Minimum Detectable Effect (писал про него ранее в этом посте) и расчёт мощности.

Так вот собственно основные хайлайты статьи почему после проведённого эксперимента проводить этот вид анализа не нужно :

• Один из способов применения power analysis для анализа результата эксперимента не стат значимого изменения – расчёт вероятности отклонить нулевую гипотезу при полученных результатах . Данный подход используется для подтверждения нулевой гипотезы , аля если мы наблюдаем высокую мощность для нашего изменения , но всё равно видим что результат не стат значим, то нулевая гипотеза верна (разницы между двумя группами нет). В статье же доказывается что получить высокую мощность при большом p-value для одного и того же эффекта в принципе невозможно, так как мощность по сути напрямую зависит от p-value. – в целом никогда этим и не занимался 🤔

• Второй способ уже поинтереснее, порой мы считаем MDE на полученных не стат значимых результатах эксперимента , таким образом мы хотим сделать вывод что чем меньше у нас MDE, тем больше мы имеем подтверждение того что разницы между двумя группами на самом деле нет.
Так вот, в статье доказывается что данное утверждение не имеет смысла, так как возможна ситуация когда мы сравниваем два эксперимента и оба результата не стат значимы и у 1го эксперимента может быть MDE ниже чем у 2го, то есть следуя вышеупомянутой логике можно сделать вывод что результаты первого эксперимента свидетельствуют в пользу нулевой гипотезы больше чем результаты второго.
Данный вывод будет ложным, так как p-value 1го эксперимента может были меньше чем p-value второго (как мы помним p-value и мощность линейно зависят друг от друга) , что означает что ситуация на самом деле обратная. 1ый эксперимент наоборот меньше свидетельствует об отсутствии изменения, чем 2й эксперимент. Что опровергает вышеописанную гипотезу об статистическом выводе 🚫

Так ребят, это немного новый для меня формат, поэтому если хотите что бы продолжал разбирать для вас статьи , ставьте 🐳 (Сама статья выше 🔝)

К этому посту будет вторая часть где пойдёт речь о сравнении конф интервалов и MDE а также общий вывод, оставайтесь на связи 😊