Никакой доказательной политики нет, если научное знание производится и не используется. Увы, как правило. Ежегодно в рецензируемых журналах публикуются сотни тысяч статей. А вот случаев реального использования оценок влияния крайне мало - по сути, единицы.

Но тут интересно, что такое «реальное использование знания» – в первую очередь, оценок влияния.

Такое использование можно разделить на инструментальное, концептуальное, символическое [1] и использование в процессе [2].

1️⃣. Инструментальное использование – это непосредственное использование результатов для принятия решений отменить, продолжить, расширить или сократить программу (информирование планирования и бюджетирования), а также для разработки дизайна новых или корректировки уже существующих программ. Например, оценки влияния были использованы для корректировки критериев нуждаемости при выплате пособий в Филиппинах и обоснования увеличения финансирования программы поддержки занятости молодежи в Уганде [3].

2️⃣. Концептуальное использование - конкретных действий в отношении программы не предпринимается, но меняется понимание других программ, знание используется для политических и общественных обсуждений. Знание может использоваться в составе более широкой доказательной базы как предмет синтеза доказательств (выше был пост про обзоры), по результатам которого уже могут приниматься решения, - например, бесплатное распространение сеток для предотвращения малярии (J-PAL).

3️⃣. Символическое использование – используется сам факт проведения оценки, а не результаты. Первая оценка влияния программы Progresa была важным фактором поддержки решения эту программу продолжать. Аналогично – повышение верхней границы возраста детей с 16 до 18 лет при получении пособий в ЮАР (оценка влияния выступила как противовес распространенному на тот момент мифу о влиянии таких пособий на детей на подростковую беременность).

4️⃣. Использование в процессе – сопутствующие изменения в восприятии или организационные изменения в процедурах и культуре. К ним относится изменение культуры использования доказательств, совершенствование стратегического планирования как результат использования теории изменений, повышение значения критического и «оценочного» взгляда на программу и признание необходимости корректировок на основе получаемых знаний.

Вот пример рефлексии над использованием оценок влияния от Всемирного банка: Независимая группа по оценке (IEG) характеризует это использование как весьма «умеренное»: в лучшем случае 1/3 играла роль в информировании решений в отношении программы или дизайна других программ, 1/2 - использовалась в ходе политических и общественных обсуждений [4].

[1] Johnson et al. 2009. “Research on Evaluation Use: A Review of the Empirical Literature from 1986 to 2005.” American Journal of Evaluation 30 (3): 377–410.

[2] Patton, M. 1997. Utilization-focused Evaluation: The New Century Text. 3rd ed. Thousand Oaks, CA

[3] Manning R. et al. (2022): Impact evaluation and synthesis – how far are they being used in low- and middle-income countries? Journal of Development Effectiveness

[4] Ramirez, B., E. Javier, I. Yenice. 2012. “World Bank Group Impact Evaluations: Relevance and Effectiveness.”: World Bank.