Думаю, нет нужды разбирать в качестве преамбулы отдельно, что, Робу Фитцпатрику и присным вопреки, задавать вопросы о будущем в исследованиях можно. В определённых ситуациях и умеючи. В случае с интервью и другими conversational, разговорными методами — точно. А вот с опросами всё сложнее.
Давеча коллега задал в профессиональном чате дельный вопрос (анонимизирую и сокращаю):
Опросили аудиторию сервиса — спросили про нечто новое, что задумали внутри него запустить: не суть, категорию ли продуктов, сервис ли и т. д. Спросили, насколько вероятно, что человек воспользуется этим. Формат — стандартная пятибалльная шкала. Результат: «Точно воспользуюсь» — 10%, «Возможно, воспользуюсь» — 20%. Как считаете, какой реальный процент клиентов в итоге прибегнет к новой фиче? Какой у вас опыт работы с такими вопросами?
У меня опыт такой. Подобные вопросы в структурированном интервью, то бишь опросе, в принципе обладают низкой прогностической силой. Шкала здесь измерит скорее уровень
социальной любезности респондента по отношению к сервису и его развитию. «Попробую» тут ближе к «Да, развивайтесь, лучше добавлять новое, чем ничего не делать», чем к «Действительно попробую». Вернее, намерение или предположение о намерении контаминируется с social desirability. Разделить их затруднительно.Вдобавок при ответе на такой вопрос респондент лишь в малой степени прогнозирует своё будущее поведение. Что он делает, так это производит речевое действие, пусть и через выбор готовой формулировки, в настоящем — отвечает на вопрос. А мотивация этого действия, в свою очередь, имеет крайне опосредованное отношение к тому, запустит ли он через три месяца новую фичу, если её таки выкатят.
Вынесем за скобки то, что мы, люди, вообще плохи в предсказании того, как воплотится и воплотится ли наша интенция. Почему так? Свои ответы на этот вопрос есть и у социологов, и у психологов, и у [дисперсного племени] когнитивистов. Показателен, в частности, метаанализ Томаса Уэбба и Паскаля Ширана [Webb & Sheeran, 2006]. Они агрегировали данные по десяткам исследований и заключили, что даже средне-сильное или сильное изменение намерения в конечном счёте конвертируется в лишь малое/среднее изменение реального поведения.
Ещё раньше Айзен и Фишбейн в рамках своей теории запланированного поведения [Ajzen, 1991] показали, что даже в их собственной модели намерение — необходимый, но далеко не достаточный предиктор поведения. Айзен ввёл конструкт воспринимаемого поведенческого контроля именно потому, что одного намерения оказалось мало.
Сам я давно перестал задавать вопросы про вероятное/гипотетическое в таком виде. Раньше — практиковал, так что собственные [разрозненные] эмпирические данные у меня есть. С опорой на них я готов дать короткий, но очень часто звучащий из уст исследователей ответ: ‘It depends…’ Зависит от того, кого спрашиваем, применительно к какому продукту, и какова реальная востребованность фичи, и какова выборка и её репрезентативность. Разница бывает кратной. Условно, из ответивших «Точно воспользуюсь», по моим наблюдениям, реально доходили до действия/покупки от силы 20–30%. От тех, кто отвечал «Скорее воспользуюсь», едва ли больше 7–15%.
Если применить эту пропорцию к кейсу коллеги, то 10% декларирующих,
(Продолжение в следующем посте.)