Нашел статью, которая частично подтверждает мою мысль, высказанную в предыдущем посте. Напомню, что я очень критически оцениваю репрезентативность результатов опросов в России. То есть здесь важно подчеркнуть, что формально выборка представляет генеральную совокупность по социально-демографическим параметрам, и здесь у меня нет оснований не верить исследователям. Но эта репрезентативность иллюзорна, и те, кто проводит опросы, должны это понимать. При такой огромной доле отказов вероятность того, что выборка отражает реальное распределение мнений, стремится к нулю.

А ведь к этим результатам многие относятся очень серьезно. Пропагандисты используют их для подтверждения, будто подавляющее большинство россиян сплотилось вокруг "лидера", поддерживает руководство и его действия. Сами элиты на основе таких опросов продолжают гнуть свою линию, загоняя себя и страну в ещё более сложное положение. Граждане, выступающие против, думают, что они в меньшинстве. А для зарубежных аудиторий это ещё один аргумент в пользу коллективной ответственности россиян. Я уж не буду развивать сейчас тезисы об иллюзии большинства и спирали молчания, которые на фоне таких результатов "опросов" сразу приходят на ум.

Я упомянул, что экспериментальные исследовательские дизайны могут преодолеть эти ограничения традиционных опросов. Но здесь справедливо возражение: их тоже нередко критикуют в части репрезентативности выборки. Действительно, если более 90% потенциальных респондентов отказываются отвечать на вопросы обычной анкеты, то с чего бы это они согласятся заполнять анкету экспериментальную?

В статье Generalizability of heterogeneous treatment effect estimates across samples (1) авторы демонстрируют результаты исследования, в котором они воспроизвели 27 экспериментов (survey experiments). Разница заключалась в том, что в оригинальных экспериментах использовалась репрезентативная выборка, а в этой работе — произвольные онлайн-выборки. И оказалось, что в случае экспериментальных дизайнов в произвольных выборках успешно воспроизводятся результаты исследований, в которых использовались репрезентативные.

Это, конечно, в первую очередь свидетельствует о том, что такие эксперименты сами по себе устойчивы к возможным ошибкам (робастны). Но и в контексте того, куда двигаться отечественным поллстерам, здесь тоже есть о чем подумать. Естественно, подумать стоит не только нам, но и самим поллстерам. #методология

(1) Coppock A., Leeper Thomas J., Mullinix Kevin J. (2018). Generalizability of Heterogeneous Treatment Effect Estimates Across Samples. Proceedings of the National Academy of Sciences 115 (49): 12441–12446. DOI: 10.1073/pnas.1808083115