SUNDAY READING LIST: НЕЗНАЧИМЫЕ РЕЗУЛЬТАТЫ

1. Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Показывают, что из-за "гибкости" в сборе и анализе данных исследователь вероятнее получит ложно-положительный, чем ложно-отрицательный результат. Поэтому предлагают простые правила для авторов и рецензентов: заранее определить момент окончания сбора данных, подробно описывать все условия эксперимента, приводить список всех переменных, приводить результаты с исключаемыми наблюдениями и без них и т.д.

2. Benjamin, D.J., Berger, J.O., Johannesson, M. et al. Redefine statistical significance. Nature Human Behaviour 2, 6–10 (2018). https://doi.org/10.1038/s41562-017-0189-z
Предлагают более строгий порог для р-значения, чтобы повысить надёжность результатов.

3. A. Abadie Statistical Non-Significance in Empirical Economics // NBER working paper, 2018
https://www.nber.org/papers/w24403
Абади утверждает, что результаты эмпирического исследования в экономике интересны, если они меняют наши изначальные представления. Например, ожидаемое воздействие большинства мер государственной политики ненулевое. В этом случае незначимые результаты могут изменить наши убеждения, а значит, они не бесполезны.

4. Часто имеет место publication bias — ситуация, когда вероятнее будет опубликован значимый результат. В нескольких областях науки созданы журналы, где публикуются статьи с незначимыми результатами: психология — Journal of Articles in Support of the Null Hypothesis https://www.jasnh.com/, биомедицина — Journal of Negative Results in Biomedicine https://jnrbm.biomedcentral.com/, экология и эволюционная биология — Journal of Negative Results http://www.jnr-eeb.org/index.php/jnr/index

#sundayreadinglist_efmsu