​​Утверждение "корреляция не тождественна причинно-следственной связи" (correlation doesn't imply causation) известно многим. Однако в социальных науках не менее острые дебаты идут и вокруг самого феномена корреляции. Особенно это касается разных способов манипуляции данными, которые используют некоторые учёные, чтобы украсить статью выводами о статической значимости результатов проведенного анализа. Даже есть термин p-hacking, то есть подгонка данных, чтобы p-value было меньше 0.05.

Провожу ревизию ряда статей, которые использую в одном из своих текущих проектов, и решил проверить, насколько статистически значимы некоторые результаты. А дальше пришлось копаться и во множестве работ, посвящённых самой проблеме статистической значимости и её интерпретациям в разных социальных исследованиях. Замечу, что дискуссии идут нешуточные, и статей таких очень много.

Но есть одна с большим количеством цитирований, где авторы сформулировали короткий и ёмкий вывод прямо в названии. Не могу не поделиться:

Разница между "значимостью" и "незначимостью" сама по себе статистически не значима. (1)

(1) Gelman A., Stern H. (2006). The Difference Between “Significant” and “Not Significant” is not Itself Statistically Significant. The American Statistician. 60:4, 328-331.DOI: 10.1198/000313006X152649