🤷 Половина результатов в социальных науках не воспроизводится: итоги проекта SCORE

Первого апреля издательство Nature опубликовало интервью с Брайаном Ношеком, соучредителем некоммерческого Центра открытой науки (COS), в рамках которого были обсуждены итоги деятельности международного проекта SCORE (Systematizing Confidence in Open Research and Evidence).

Результаты показали, что лишь половина статей в социальных науках успешно воспроизводятся при повторном анализе. Исследование, проведённое под руководством Брайана Ношека, охватило 145 статей на воспроизводимость (reproducibility) с использованием тех же данных и 164 статьи на повторяемость (replicability) с использованием новых данных. Точное воспроизведение результатов удалось только для 53% статей, а успешная повторяемость — для 49%. Ученый подчеркивает, что во многих случаях проблема заключалась не в неверных результатах, а в недостаточной отчетности: отсутствие открытого кода и полных описаний анализа существенно затрудняет проверку.

По словам Ношека, эти цифры не должны восприниматься как «конец пути», а скорее как начало важного разговора о качестве и прозрачности исследований. «Если рассматривать эти результаты как конец пути, цифры ужасают, — комментирует он в интервью журналу Nature. — Но это не конец пути, это начало разговора».

Ученый отметил, что необходимо развивать культуру прозрачности на всех этапах — от планирования до публикации исследования. Среди успешных инструментов, уже внедряемых в практику, он называет модель зарегистрированных отчетов (Registered Reports), позволяющую рецензировать план эксперимента до его проведения.

Особое внимание в интервью уделяется роли ИИ: с одной стороны, генеративные модели уже привели к «замусориванию» препринт-серверов низкокачественным контентом, с другой — ИИ может стать мощным инструментом для оценки воспроизводимости исследований.

Источник: Nature.