Начните свое утро не с чашечки кофе, а с обзора очередного opus magnum на Atlantic Council (нежелательная организация) об опросах общественного мнения в современной РФ о т.н. СВО, в котором нам пытаются доказать, что все с ними в порядке. Если большая часть материала в целом адекватна, хотя с отдельными тезисами можно спорить, то раздел "Can one trust the Russian polls?", как вам сказать, изобилует целым рядом неприкрытых манипуляций, от которых просто стыдно.

Фрагмент начинается так:

"After the war started, some observers criticized the reliability of Russian polls. However, most criticism of the polls comes from exiled Russian opposition figures who have their own agenda, or from journalists and experts who do not have experience working with the polling data in their research".

Это просто неправда, достаточно изучить дискуссию в профильной литературе об опросах в автократиях, в которой участвуют социологи и политологи — причем далее по тексту автор спорит с их конкретными исследовательскими работами. Зачем, спрашивается, обесценивать экспертизу оппонентов?

Далее автор пишет, что между онлайн-, уличными и телефонными опросами нет существенной разницы. Возможно, она может показаться таковой для обывателя, который просматривает разные опросы о поддержке т.н. СВО и не видит между их данными больших различий, но вообще-то в целом в академической и исследовательской среде (без привязки к теме опросов) давно известно, что разные типы опросов показывают статистически значимую разницу, причем и в не-авторитарном контексте тоже.

Следом идет утверждение:

"If respondents are increasingly reluctant to talk to pollsters, this should be reflected in changing sample compositions (i.e., how well a sample represents various groups across society)".

Если респонденты в опросе выбираются по принципу opt-in sample — когда в выборку попадают все подряд, кто согласился участвовать — то да. Вот только в большинстве опросов, в т.ч. на которые автор ссылается в статье, выборка формируется по принципу probability sample, когда сначала составляется композиция выборки — сколько человек с определенными характеристиками должны в нее попасть исходя из уже имеющихся статистических данных о композиции населения. То есть если поллстеру не хватает респондентов с какими-то характеристиками, он будет дозваниваться и дозваниваться до людей, пока не наберет нужное количество. Поэтому тейк очень странный.

Затем идет совсем странный аргумент, что низкий response rate в опросах, проведенных в РФ, не является чем-то ненормальным, потому что в тех же США у American National Elections Studies он тоже низкий, а значит результаты исследований валидны, все норм. Ну вот как факт того, что у ANES тоже проблемы с высоким процентом отказов, говорит нам о том, что у нас все зашибись? Никак! Это лишь подтверждает проблему selection bias у опросов. Кроме того, вы можете сами сравнить данные по отказам ANES с Russian Field, причем держа в голове, что методики подсчета response rate могут отличаться.

Кроме того, автор настаивает на том, что response rate после февраля 2022 года упал незначительно. Действительно, те же RF пишут:

«После 24 февраля проблема усугубилась, однако не настолько, чтобы говорить о катастрофическом падении доли успешных анкет. Так, в 9-й волне доля пройденных до конца анкет составила 6,8%, отказов – 90%, прерываний – 3,2%. При этом до начала "военной операции" отказывались от участия в опросе примерно 87% ответивших, а ещё 5% бросали трубку уже в ходе интервью».

То есть как минимум в последние годы response rate в России оставался невысоким — что, на мой взгляд, говорит в целом о проблемах с количественными исследованиями общественного мнения в РФ, с которыми нельзя не считаться.