Дорогие друзья! Прошу прощения за задержку с постом! Я сейчас усиленно тружусь над отчетом по одному очень интересному гранту, поэтому не успеваю делать практически ничего другого. Но вот не смогла пройти мимо интересной статьи, не так давно опубликованной в Nature, о воспроизводимости научных результатов в зависимости от выбранной стратегии анализа данных.
Aczel, B., Szaszi, B., Clelland, H. T., Kovacs, M., Holzmeister, F., Van Ravenzwaaij, D., ... & Geraldes, D. (2026). Investigating the analytical robustness of the social and behavioural sciences. Nature, 652(8108), 135-142.
В первую очередь, статья впечатляет количеством авторов: их там 494! (Я честно пыталась пересчитать их вручную и довольно быстро сдалась). В проекте участвовали 457 независимых аналитиков, которые провели в общей сложности 504 повторных анализа.
Идея проекта, с одной стороны, простая, но в то же время, красивая. Авторы взяли 100 опубликованных исследований в социальных и поведенческих науках и для каждого выбрали один основной результат. Затем исходные данные отдавали как минимум пяти независимым исследователям с одной задачей: проверить тот же самый исследовательский вопрос, но самостоятельно решить, как именно анализировать данные. То есть исследовательский вопрос и данные одинаковые, а выбор статистического подхода, способа обработки данных и других аналитических решений может различаться.
По результатам получилось, что если сравнивать конкретные оценки размера эффекта достаточно строго, только примерно 34% повторных анализов дали результат, близкий к первоначальному. Если критерий сделать существенно мягче, эта доля повышается примерно до 57%.
При этом на уровне содержательного вывода картина выглядит лучше: 74% анализов подтвердили исходный вывод, около 24% дали отсутствие эффекта или неопределённый результат, а примерно 2% показали наличие обратного эффекта, в сравнении с исходным исследованием.
То есть один и тот же набор данных и один и тот же исследовательский вопрос вовсе не обязательно ведут к одному-единственному «правильному» статистическому анализу и одному и тому же результату.
Авторы поэтому предлагают чаще использовать multi-analyst approaches и multiverse analysis: смотреть не только на один выбранный аналитический путь, а проверять, насколько вывод сохраняется при других разумных способах анализа.
Оставляем за скобками вопрос о том, насколько практически реализуема эта стратегия в реальных условиях работы исследователей (с требованиями публикаций, отчетов по грантам и т.п.). Но в идеальном мире такой подход, несомненно, мог бы быть интересным! Кому интересны подробности – читайте статью😊