О валидности опросов общественного мнения в России

Как и обещал, ознакомился с новым текстом от автора из Левада-Центра о достоверности их опросов. На мой взгляд, это намного более стоящая колонка, чем то, что я разбирал ранее, в ней действительно есть ряд хороших поинтов, которые интересно обсудить.

Например, автор отвечает на претензии касательно предположительного падения уровня достижимости опросов (доли респондентов, которые соглашаются в них участвовать) и доказывает, что в 2022 году он не снизился существенно — скорее, речь идет о волатильности этого показателя на протяжении последних лет.

Также, он пишет о том, что: 1) уровень достижимости живых face-to-face опросов Левады не отличается от нормальных показателей опросов по США (27-29% у Левады против 25–30% по рекомендациям AAPOR); 2) анализ ответов респондентов не говорит о том, что отказы участвовать в опросах не связаны с опасениями респондентов в них участвовать. Мне кажется, тут есть сразу несколько проблем:

1) Проблема с низким уровнем достижимости действительно охватывает не только Россию, но и другие страны, включая США — поэтому это общая головная боль для всех исследовательских компаний. Низкий уровень достижимости приводит к смещению выборки — а значит снижению валидности результатов. Особенно это касается телефонных опросов: например, вот статья от Pew Research Center аж за 2019 год о падении достижимости телефонных опросов аж до 6% к 2018 году (против 9-10% у Левады в последние годы) с обсуждением всех вытекающих из этого последсвтий. Говорит ли это о том, что опросы в России имеют высокую валидность? Нет, это показатель того, что количественные опросы общественного мнения в целом находятся в кризисе. Более того, ссылаться на США, где количественные исследования уже много раз ошибались в оценках поддержки тех или других кандидатов именно из-за смещенной выборки и неискренности респондентов, тем более странно, на мой взгляд.

2) Доверять ответам респондентов о том, почему те отказываются проходить опросы, столь же сомнительно, сколько спрашивать у участников опросов боятся ли те в них участвовать. Мы не можем быть уверенными в честности респондентов по-умолчанию.

Также я приметил в тексте следующий тезис касательно феномена фальсификации предпочтений — то есть неискренности респондентов, когда те говорят о своих взглядах, из-за опасений преследования или осуждения:

«Наконец, сегодня все чаще слышны разговоры о том, что в авторитарном контексте опросы в принципе невозможны: люди боятся говорить, как они думают на самом деле. Это автоматически предполагает, что в демократиях люди свободны от всякого давления и у каждого человека есть сокровенное, непротиворечивое и четко сформированное мнение о происходящем. Но эти предположения ошибочны».

Нет, это в корне неверно: тезисы «в условиях авторитаризма часть респондентов опасаются говорить правду» и «в демократиях респонденты всегда говорят правду» не тождественны друг другу! И никто из критиков опросной индустрии в России об этом не заявляет, насколько мне известно. В демократическом контексте часть респондентов тоже могут говорить неправду по чувствительным темам из-за страха общественного осуждения. Поэтому, честно говоря, этот фрагмент выглядит как борьба с соломенным чучелом.

Далее автор ссылается на работу Геддес и Цаллер о схожести механизмов формирования общественного мнения в демократиях и автократиях — через повестку основных источников информации, которая во втором случае монопольно формируется режимом. И это, пожалуй, главное, что нужно держать в голове, когда речь заходит об опросах в автократиях: не стоит воспринимать их так же, как и опросы в демократиях, ровно по этой причине!

Однако тогда придется отказаться от каких-либо глубоких политических выводов из результатов российских опросов, которые так любят делать в Леваде (и не только там, справедливости ради).