🧠 Можно ли научить чиновников понимать причинность?

Для доказательной политики недостаточно провести качественное исследование. Ещё чиновник должен понимать, почему один исследовательский дизайн позволяет оценить причинный эффект, а другой обнаруживает лишь корреляцию, так как учитывать это различие важно при принятии решений

Можно ли сформировать такую компетенцию с помощью обучения? Этот вопрос изучают Султан Мехмуд из РЭШ, Шахин Насир и Дэниел Чен (Mehmood, Naseer, Chen, 2024)

📚 Как устроен эксперимент?
Авторы провели рандомизированный полевой эксперимент среди примерно 200 начинающих высокопоставленных государственных служащих Пакистана
🟤Экспериментальная программа была построена вокруг Mastering ’Metrics — доступного введения в современные методы причинного вывода (Angrist, Pischke, 2014)
🟤Контролем служила программа по книге Mindsight о личностном развитии (Siegel, 2010)
🟤До рандомизации чиновники сообщали, какую книгу предпочли бы получить. Затем назначение определялось лотереей с учётом этого выбора. Такой дизайн позволил отделить эффект программы от исходного интереса к эконометрике
🟤Участники не только читали книгу, но и писали эссе, анализировали применение материала в государственной службе, слушали лекцию автора и участвовали в обсуждении. Поэтому исследование оценивает эффект комплексной программы обучения принципам причинного вывода, а не одной книги или эконометрического образования вообще

📊 Что изменилось?
🟤После обучения чиновники выше оценивали значение количественного анализа для государственной политики. Они на 22 процентных пункта чаще выбирали RCT как способ проверить программу до масштабирования и примерно на 15 процентных пунктов чаще правильно объясняли преимущество рандомизации: она помогает сформировать сопоставимые группы и тем самым решить проблему отбора
🟤Выросли и результаты официальных экзаменов: примерно на 0,5 стандартного отклонения по государственной политике и на 0,8 — по исследовательским методам
🟤Значимого эффекта на командную работу не обнаружено. Иными словами, программа повлияла именно на компетенции, связанные с анализом данных и политики, а не на успеваемость вообще

Обучение может менять не только запас знаний, но и саму рамку профессионального суждения. Похожий механизм мы уже видели в исследовании американских федеральных судей: после обучения экономическому анализу права менялись язык судебных документов и характер принимаемых решений (Ash, Chen, Naidu, 2026) [см. пост] (любопытно, что у обоих исследований есть общий соавтор — Дэниел Чен)

Но научиться объяснять преимущества рандомизации — ещё не значит использовать результаты RCT при выборе политики

🤝 Изменились ли решения?
🟤Через шесть месяцев всем участникам сообщили результаты долгосрочного RCT школьной дегельминтизации. Согласно предъявленной оценке, программа увеличивала почасовые заработки спустя двадцать лет на 13% (Hamory et al., 2021)
🟤До и после сообщения чиновники оценивали ожидаемый эффект дегельминтизации и выбирали между ней и созданием компьютерных классов
🟤Прошедшие обучение участники сильнее пересматривали убеждения в направлении экспериментальной оценки
🟤Среди тех, кто первоначально ожидал эффект ниже 13%, вероятность выбрать дегельминтизацию выросла примерно с 40% до 80%
🟤Изменилась и заявленная ценность информации: прошедшие обучение чиновники были готовы платить больше за результаты RCT и меньше — за корреляционное сравнение школ с программой и без неё
🟤Значимого эффекта на ценность совета старшего чиновника авторы не обнаружили. Программа, следовательно, повысила спрос не на любые данные, а на свидетельства с более убедительной стратегией причинной идентификации
🟤Примерно через год проявился эффект и в официальных бюджетных рекомендациях. Участники экспериментальной группы на 29 процентных пунктов чаще направляли письмо с предложением профинансировать дегельминтизацию и рекомендовали выделить на неё примерно на 402 тыс. пакистанских рупий больше. Для ремонта школ и детских домов — направлений, по которым причинные свидетельства не предоставлялись, — значимых эффектов не обнаружено

Это уже не гипотетический выбор в анкете, а официальная рекомендация с репутационными последствиями. Однако это ещё не реализованная политика: авторы наблюдают письма и рекомендуемые суммы, а не окончательное выделение средств или последствия программы для населения

🔎 Качество или доверие?
Обучение может повысить чувствительность чиновников к качеству исследовательского дизайна. Но методологическая убедительность — не единственный фактор, влияющий на использование результатов
🟤В эксперименте с испанскими муниципалитетами мэрам передавали одну и ту же рекомендацию, но меняли её источник. Политику чаще внедряли, если сообщение исходило от идеологически близкой организации; рекомендация от политического оппонента практически не меняла поведение (García-Hombrados et al., 2026) [см. пост]
🟤Однако мы не знаем, понимали ли испанские мэры, что рекомендация опиралась на RCT, и учитывали ли они качество исследования, которое давало эту рекомендацию
🟤Испанский эксперимент варьирует источник при фиксированном сообщении, а пакистанский — подготовку адресата при одинаковом информационном сигнале

Отсюда возникает следующий вопрос: что произойдёт, если качество доказательства и доверие к источнику указывают в разные стороны? Примет ли чиновник более убедительное причинное доказательство от организации, которой доверяет меньше? Или предпочтёт методологически слабый аргумент от политически близкого источника?
🟤Ответ потребовал бы факторного эксперимента, независимо варьирующего качество свидетельства, источник сообщения и эконометрическую подготовку адресата
🟤Такой дизайн позволил бы проверить, помогает ли понимание причинного вывода преодолеть недоверие к отправителю — или политическая близость всё равно перевешивает качество исследования

Доказательная политика зависит поэтому как минимум от трёх элементов: качества исследования, способности адресата это качество распознать и доверия к источнику. Пока мы лучше понимаем действие каждого из них по отдельности, чем их взаимодействие. И, возможно, главный вопрос здесь звучит так: способно ли более качественное доказательство перевесить недоверие к тому, кто его предъявляет?

Для нас это не только исследовательский сюжет. В экспертной работе с государственными органами особенно приятно встречать государственных служащих, которые действительно стараются разобраться в надёжности эмпирических выводов. Мы всегда рады поддерживать подобные инициативы и делиться своей экспертизой

#канал_обозревает
@causal_channel