🔑 Паспарту, сколько у нас экспериментов?

В 2006 году Нобелевскую премию мира получили Мухаммад Юнус и Grameen Bank за «за их усилия по созданию экономического и социального развития снизу», а именно за развитие микрокредитования. Первые исследования обнадёживали, и о микрокредитах стали говорить как о способе покончить с бедностью. Позже шесть рандомизированных оценок показали положительные, но скромные эффекты (Banerjee, Karlan, Zinman, 2015). По словам Криса Коттона, об исследовании которого мы сегодня хотим с вами поговорить, к тому времени в мире выдали почти 200 млн микрокредитов

Крис Коттон (Cotton, 2026) замечает, что социальные науки переняли у медицины рандомизацию и предрегистрацию, но не переняли правило строить рекомендации на систематических обзорах, которые стоят выше любого отдельного эксперимента (Sackett et al., 1996). Поскольку в социальных науках обзоры обычно воспринимают как академическое упражнение, автор называет иерархию доказательств в этих дисциплинах «обезглавленной»

В феврале мы писали [см. пост], что место дизайна в пирамиде доказательности не гарантирует корректного причинного вывода. Крис добавляет, что даже корректная оценка эффекта в одном исследовании не означает, что программу можно широко внедрять. Для этого нужны проверка в обычных условиях, репликации в других контекстах и систематические обзоры, сводящие результаты вместе

⏯ Что предлагает автор?
Коттон предлагает смотреть на уровни готовности доказательств для политики (Policy Evidence Readiness Levels, PERL) по образцу шкалы готовности технологий NASA. Уровень присваивается всей совокупности исследований по конкретному утверждению, например, о том, что программа повышает доходы, и показывает, какое решение она может обосновать:
1️⃣ На первом уровне (hypothesis) есть теория, корреляции или демонстрация осуществимости (proof of concept), но нет строгих оценок эффекта. Такие данные оправдывают пилот, но не внедрение программы
2️⃣ На втором уровне (efficacy) строгое испытание показало эффект в благоприятных условиях. Результат стоит подавать как предварительный и проверять программу в обычных условиях, где эффект нередко уменьшается. Джон Лист называет это «падением напряжения» (voltage drop), мы писали об этом раньше [см. пост]
3️⃣ На третьем уровне (targeted adoption) хотя бы одна строгая причинная оценка подтвердила эффект, когда программу вели обычные исполнители. Программу можно внедрять там, где условия похожи на изученные, а в новых местах расширять постепенно и продолжать оценивать
4️⃣ На четвёртом уровне (generalized guidance) систематические обзоры описали, как эффект меняется от контекста к контексту, а в экономике развития он меняется сильно (Vivalt, 2020). По таким рекомендациям можно действовать, периодически их пересматривая

Действовать на ранних уровнях шкала не запрещает, иначе новых программ бы не было. Но такое решение нужно сопровождать мониторингом и готовностью изменить программу. Микрокредиты, по оценке Коттона, начали масштабировать, когда доказательства были на втором уровне, а говорили о них как о проверенном решении

⏯ Где нужно быть осторожным?
• Границы между уровнями не формализованы. Достаточно ли учтена неоднородность эффектов, решает эксперт, а насколько согласованно эксперты оценят одни и те же исследования, Крис не обсуждает
• Коттон признаёт, что сама шкала пока на первом уровне: данных о том, что её использование улучшает решения, нет
• Налоговую реформу нельзя испытать на пилоте, поэтому такие решения могут никогда не дойти до четвёртого уровня

Иногда успешный и аккуратно проведённый эксперимент окрыляет настолько, что после него хочется поскорее строить рекомендации и говорить, что интервенция работает. В этот момент нужно вспомнить про ограничения и что на самом деле значат результаты. Это стоит помнить и чиновникам [см. пост], и самим исследователям

#канал_обозревает
@causal_channel