😱 О как! Когда мы не замечаем свои ошибки?

Часто ли вы перепроверяете за собой свои вычисления? А если результат противоречит вашим ожиданиям? Может, вы даже начинаете искать объяснения неожиданным результатам?

↔️ Что мы уже знаем?
Современная наука сталкивается с кризисом воспроизводимости (reproducibility crisis) (Camerer et al., 2016; Brodeur et al., 2024), причинами которого являются:
🟤плохая документация данных и кода (Anderson et al., 2008)
🟤p-hacking и публикационное смещение (Andrews, Kasy, 2019) [см. пост]
🟤чрезмерная свобода в обработке данных (Silberzahn et al., 2018) [см. пост]
🟤ошибки в анализе данных (coding errors), которые могут существенно изменить выводы

Классический пример – статья Reinhart и Rogoff (2010): из-за ошибки в Excel они пришли к выводу, что госдолг выше 90% ВВП ведёт к снижению экономического роста. Этот результат стал одним из аргументов в поддержку жёсткой бюджетной политики после кризиса 2008 года. Позже выяснилось, что часть строк в Excel просто не попала в расчёт, и результат оказался ошибочным

И это далеко не уникальный случай. Brodeur et al. (2024) показали, что 25% статей, опубликованных после 2022 года в топ-журналах по экономике и политологии, содержат ошибки в вычислениях

Если ошибки случайны, они лишь увеличивают дисперсию оценок (nonstandard errors, Huntington-Klein et al., 2021). Но если вероятность обнаружения ошибки зависит от того, соответствует ли результат ожиданиям исследователя, это может привести к серьезной проблеме – систематическим искажениям (даже если исследователь добросовестный)

↔️ Что исследуют авторы?
В свежей работе Бруно Ферман и Лукас Финамор (Школа экономики Сан-Паулу) проверяют гипотезу о том, что исследователи с большей вероятностью обнаруживают ошибки в коде, если результат противоречит их ожиданиям

↔️ Как они это делают?
В рамках отбора на исследовательские позиции во Всемирный банк участникам (1,036 человек) выдали тестовое задание на обработку данных гипотетического эксперимента, оценивающего эффект образовательной программы. Но в данных был нюанс:
🟤В переменной результата пропущенные значения закодированы как 99, что указано в документации, но не явно в условиях задания
🟤Если не удалить 99, эффект интервенции искажается из-за добавления аномально высоких значений зависимой переменной

Участников случайно разделили на две группы, в которых одна и та же ошибка (включение 99) давала разные результаты:
🟤Группа 1 (ожидаемый результат) – при ошибке эффект программы положительный, как и ожидалось
🟤Группа 2 (неожиданный результат) – при ошибке эффект отрицательный, что противоречит ожиданиям и литературе

Затем каждому участнику задавали два последовательных вопроса:
Q3 – оценка эффекта в одном штате
Q4 – оценка в другом
На каждый вопрос можно было ответить только один раз, без возможности вернуться назад

Используются два способа оценить долю тех, кто замечает ошибку только при неожиданности:
🟤Сравнение точности ответов в Q3 между группами
🟤Сравнение доли тех, кто не заметил ошибку в Q3, но заметил в Q4

В результате базовая вероятность обнаружения ошибки составила ~7.8% (в группе с "ожидаемым" результатом). Дополнительный прирост в "неожиданной" группе +1.41 п.п. (примерно +18%)

↔️ Почему это важно?
🟤Это классическое смещение к подтверждению (confirmation bias) в действии. Мы склонны доверять "удобным" результатам и тратим меньше усилий на проверку, если всё "выглядит правильно"
🟤Такое поведение может усиливать иллюзию устойчивости результатов и искажать представление об их достоверности даже при добросовестной работе

↔️ И что это значит?
🟤Открытый код и данные должны стать базовой нормой для исследований
🟤Пререгистрация гипотез снижает манёвры в анализе и интерпретации
🟤Code review, повторные оценки, институциональный контроль нужны, чтобы снижать влияние когнитивных искажений

В следующий раз, когда вы будете ворчливо читать рецензию на свою работу, вспомните об этом исследовании и попробуйте отнестись к вашему рецензенту как к союзнику. Ведь только вместе мы способны узнать о мире больше

#канал_обозревает
@causal_channel