Привет, друзья, на связи Елизавета. У меня немного печальная новость.

Я давно хотела разобрать миф, будто анонимным и конфиденциальным опросам о пережитом насилии нельзя доверять. Я была уверена, что есть хорошие доказательства того, что результаты хотя бы наиболее методологически крепких исследований такого рода достаточно надежно отражают реальность. Я довольно долго готовила большой текст на эту тему, надеясь таким образом внести свой небольшой вклад в помощь жертвам насилия.

Но после тщательной проверки источников вывод оказался неприятнее и неопределеннее, чем я ожидала.

Я разобрала ряд классических работ, пару метаанализов, несколько крупных методологических и технических отчетов, а также разные способы построения опросов и проверки самоотчетов:

— сопоставление самоотчетов с медицинскими и административными данными;

— вопросы о конкретных действиях (behaviorally specific questions);

— двухэтапные правила классификации (Two-Step);

— латентно-классовый анализ;

— тест-ретестовая надежность;

— независимое кодирование описаний эпизодов;

— анализ смещения из-за неответов и самоотбора;

— анализ чувствительности к разным правилам классификации;

— сравнение прямых ответов с техникой подсчета пунктов.

Литература оказалась противоречивой. Некоторые проверки показывают, что хорошо построенные самоотчеты не являются произвольным шумом и действительно содержат информацию о пережитом опыте. Есть и ограниченные косвенные основания: в крупном эксперименте более защищенная техника подсчета пунктов не дала радикально иной оценки одной узкой категории насилия, а в других конфиденциальных опросах люди признавались и в собственной сексуальной агрессии.

Но все это не позволяет надежно откалибровать итоговый процент даже до приблизительного уровня: согласие между источниками нередко слабое, формулировки и порядок вопросов могут существенно менять оценки, а внешние сопоставления дают как обнадеживающие совпадения, так и крупные расхождения.

Грубо говоря, если по результатам опроса 30% людей сообщили, что пережили сексуализированное насилие, истинная доля переживших его может действительно составлять 30%, а может быть выше или ниже — и мы не можем надежно оценить, насколько именно.

Это не делает такие опросы бесполезными: они позволяют изучать структуру и обстоятельства сообщаемого насилия, связи этих сообщений с другими показателями и — при сопоставимой методике и с осторожными оговорками — различия между группами или изменения во времени. Их слабое место не в полном отсутствии информации, а в том, что долю положительных ответов нельзя перевести в процент людей, переживших насилие.

Поэтому честный вывод сейчас таков: у нас нет достаточных оснований считать, что проценты, полученные в анонимных и конфиденциальных опросах о сексуальном насилии, хотя бы приблизительно совпадают с истинной распространенностью. Это не просто недостаток одного конкретного опросника, а фундаментальная нерешенная проблема численной калибровки всего метода.

Существующие проверки обнаруживают отдельные виды ошибок, но не позволяют надежно оценить их совокупную величину и направление. Расстояние между полученной оценкой и реальностью нам неизвестно. Неясно и то, удастся ли в принципе когда-либо достаточно надежно откалибровать подобные опросы.

Максимум, что я могу обоснованно разобрать на основании современных данных:

— какие косвенные основания все же укрепляют их результаты;

— какие виды ошибок позволяют обнаружить разные методы;

— почему оценки могут как завышаться, так и занижаться;

— почему полицейская статистика измеряет другую величину и тоже не служит полным эталоном;

— и чего мы пока действительно не знаем.

Но это лишь поможет лучше разобраться в теме и научиться отличать плохой опрос от хорошего; оснований считать результаты даже хорошего опроса плюс-минус точной оценкой от этого все равно не появится.

Если вам интересно, я могу в комментариях попробовать объяснить все это или даже собраться с силами и написать большой пост. Но прямо сейчас у меня разочарованное настроение и желание отдохнуть от этой темы (тем более у нас была очередная ночь обстрелов города).

Единственный хороший момент, который я во всем этом вижу — даже такими сведениями мне хочется публично делиться, а не утаивать их из-за того, что они расходятся с моим личным мнением или идеологической позицией. Я считаю, что важно знать и признавать правду, приятна она или нет.