Проводят ли эксперименты над российскими учеными? 👀

В каком-то смысле проводят, да. Взять хотя бы наукометрическую оценку результатов исследований. Но сейчас поговорим про другие эксперименты - про исследования об ученых, где используется методология эксперимента.

Рандомизированный эксперимент считается золотым стандартом для установления причинно-следственных связей. Он широко применяется в медицинских науках - добровольцев случайным образом делят на две группы, одной дают лекарство, другой нет, после чего сравнивают результаты. В социальных науках экспериментальный дизайн тоже находится на вершине пирамиды доказательности, однако используется значительно реже.

Тем не менее исследования об ученых с использованием эксперимента существуют. Многие из них посвящены различным предубеждениям (bias) в науке. Например, в одной из работ был проведен такой эксперимент. Экспертов испанского научного фонда попросили оценить заявку исследовательской группы на получение финансирования. Фонд и эксперты были настоящими, а вот сама заявка была специально подготовлена для эксперимента. Часть экспертов получила вариант, где руководителем группы был указан мужчина, другая часть - ту же заявку, но уже с женщиной-руководителем. Авторы хотели проверить, повлияет ли пол вымышленного руководителя на оценки. Статистически значимых различий они не обнаружили. Однако, в этой теме есть и другие экспериментальные исследования, с другими результатами (например 1, 2, 3).

Исследуют ли с помощью экспериментов российских ученых? Кажется, такие работы встречаются редко. В одной из недавних публикаций описан эксперимент, который использовался не для изучения поведения самих ученых, а того, как россияне воспринимают научные результаты. Респондентам показывали очень короткое описание научного исследования и просили оценить, насколько правдоподобными кажутся его выводы. При этом одним респондентам сообщали, что исследование выполнено в институте РАН, другим, что в одном из ведущих российских университетов. Кроме того, варьировалось наличие информации о финансировании проекта. Авторы изучали, влияет ли этот контекст на восприятие результатов (спойлер - влияет, хотя и не очень сильно; несмотря на развитие университетской науки, в глазах россиян РАН по-прежнему обладает более высоким научным авторитетом).

Стоит ли стремиться включить эксперимент в собственное исследование? Если для медицины эксперимент это ориентир и образец, то в социальных науках это скорее удел отважных, нежели норма. К тому же сам по себе экспериментальный дизайн не гарантирует, что работа станет хитом.
Например, упомянутая выше статья опубликована в авторитетном журнале Quantitative Science Studies, но получила примерно столько же цитирований, сколько в среднем получают статьи этого журнала, большинство из которых вовсе не являются экспериментальными. Для некоторых областей показано, что статьи с экспериментальным дизайном не обладают преимуществом по цитируемости.

Однако, если вас манят эксперименты, этого уже может быть достаточно, чтобы отправиться в это плавание. ✨