Попытаюсь оперативно отреагировать на отклики по поводу KPI. Я не утверждаю, что целевые индикаторы нужно полностью отменять. Но считаю, что в условиях непрозрачности процессной и содержательной компонент работы, излишней бюрократизации и доминирования неформальных практик над формальными институтами KPI с большой вероятностью будут фальсифицироваться. То есть такой радикальный наукометрический подход точно не решит проблему оценки научной деятельности, а через 4-5 лет, когда все окончательно приспособятся, будет давать неадекватные результаты. Ниже несколько примеров, которые сразу пришли в голову.

1. Одним из ключевых KPI экономической политики считается динамика ВВП. Этот показатель важен, как для внутреннего потребления в качестве индикатора эффективности власти, так и для внешних аудиторий, например, в целях привлечения инвестиций. В экономических исследованиях есть верифицированная модель прямой зависимости между изменениями ночной освещенности и динамикой доходов, где освещенность измеряется с помощью спутниковых снимков (1). Если применить эту модель к сопоставлению данных о публикуемом разными странами росте ВВП (2), то оказывается, что есть целый ряд государств, данные которых из этой модели выбиваются. Некоторые страны завышают рост ВВП на 1.15-1.3 процентных пункта (это очень много). Несложно догадаться, что это недемократические страны (автор концентрирует выводы на Китае). Безусловно, к завышению данных стремятся власти во всех странах, но удается это сделать тем, где это позволяют институциональные условия, такие как я перечислил в первом абзаце этого поста.
(1) Henderson, J. V., Storeygard, A., Weil, D. N. (2012) Measuring Economic Growth from Outer Space. American Economic Review, 102 (2): 994-1028.
DOI: 10.1257/aer.102.2.994
(2) Martinez, L. (2019) How Much Should We Trust the Dictator's GDP Growth Estimates? DOI: 10.2139/ssrn.3093296

2. Важным KPI, применяемым для оценки работы губернаторов в России, уже более 10 лет является результат В. Путина и Единой России на выборах в регионе. Управление Президента по внутренней политике внимательно следит за этим индикатором, так как он существенно влияет на принятие решений о ротации глав субъектов. Что происходит в результате? Губернаторы всеми возможными способами влияют на членов избиркомов, чтобы был обеспечен нужный результат. Инструментов административного давления много, поэтому сравнительно легко дорисовываются голоса, необходимые для достижения целевого показателя. Про исследования на этот счет я уже писал. Посмотрите, например, работы по выявлению фальсификаций с точки зрения мат статистики (3) и статьи о региональных аспектах электорального авторитаризма (4).
(3) Kobak, D., Shpilkin, S. and Pshenichnikov, M. S. (2016) Statistical fingerprints of electoral fraud? Significance, 13(4), 20– 23. doi: 10.1111/j.1740-9713.2016.00936.x
(4) Golosov, G. (2011). The Regional Roots of Electoral Authoritarianism in Russia. Europe-Asia Studies, 63(4), 623-639.

3. В рамках одного из магистерских курсов я демонстрирую метод краш-тестов для проверки норм на устойчивость, который может быть применен в разработке нормативно-правовых актов. На практических занятиях мы со студентами берем реальные нормы и пытаемся придумать, как их обойти. Когда мы взяли университетское положение о премировании за публикационную активность, студенты за час разработали три реально работающих способа, чтобы "обмануть" положение. Представьте, что происходит, когда за это берутся опытные сотрудники и "бизнесмены", предлагающие опубликоваться или повысить индекс Хирша.
#управлениенаукой