правило когнитивной гигиены при составлении опросов — избегать так называемых double-barreled questions, то есть тех, которые содержат в себе, явно или подспудно, более одного сущностного вопроса. Очень часто эта ошибка операционализации способна убить, сделать невидимыми, непригодными для анализа значимые для опроса различения. Плюс, даже если пренебрежимо малое число респондентов окажутся сбиты с толку такой контаминацией, нагрузка на отвечающего при интерпретации подобного вопроса выше, чем при интерпретации single-barreled question. А в сравнительно длинном опросе это бывает критично.Допустим: «Вы занимаетесь спортом и правильно питаетесь?» Это два разных вопроса, точно так же как «занятия спортом» и «правильное питание» — разные детерминанты здорового образа жизни (отмечу, что и концепт «правильное питание» проблематичен, субъективен, не нейтрален и его разумнее «расшивать» в интервью); даже сама их постановка в структурно равные позиции и через запятую чревата байасами и фреймированием для респондента, пусть даже в закрытиях вроде бы охвачено всё пространство вариаций, в том числе «Занимаюсь спортом, но не питаюсь правильно» и пр.
Однако бывают ситуации, когда слепое следование правилу хуже, чем его нарушение. В нашем случае — когда в один вопрос разумно инкорпорировать два. Недавно у меня была именно такая история.
Для своего постоянного клиента (NDA implied) я проводил опрос в одной центральноазиатской стране. Сам опрос имел диагостическое назначение — нужно было первично оценить в разных измерениях наличие «бутылочных горлышек» и актуальных/вероятных проблем с использованием одного сервиса. Между тем по совокупности причин часть представителей целевой группы были склонны давать социально одобряемые ответы (контекст работы с сервисом к тому располагал), на что накладывалась социокультурная специфика, с решительным нежеланием быть воспринятым как «тот, кто жалуется».
Канонично было бы спросить: «Сталкивались ли вы с затруднениями при использовании сервиса X?» — соответственно, с бинарным выбором «да — нет» и дальнейшим ветвлением логики, т. е. с появлением уточняющего multiple-choice вопроса а-ля «А какие это были затруднения?» при выборе варианта «да». Но, как и подтвердило пилотирование анкеты на тестовой выборке, респонденты, столкнувшись с такой постановкой вопроса, предпочитали отвечать «нет». А значит, не видели перечня возможных проблем далее и не могли ткнуть в них, хотя, что показали последующие интервью с ними, кое-какие затруднения у них были. Просто сама формулировка в их глазах существенно поднимала «вес» ответа, и те не фатального характера сложности, с которыми им пришлось справляться, им было эмоционально проще истолковать как «Нет, не сталкивались с затруднениями».
Зато, когда вопрос давался в double-barreled виде: «Сталкивались ли вы — хотя бы иногда — с затруднениями при использовании сервиса X? Если да, то с какими?», где среди вариантов multiple-choice ближе к концу было «Не сталкивался с затруднениями», люди охотно отмечали опции, соответствовавшие их опыту.
Это не единственный возможный способ решить задачу, которая у меня возникла, но на этом проекте он сработал как надо.
А у вас подобное бывало? Как справлялись?