Спрашивать ли пользователей в опросах о готовности использовать что-то новое в продукте — IДумаю, нет нужды разбирать в качестве преамбулы отдельно, что, Робу Фитцпатрику и присным вопреки, задавать вопросы о будущем в исследованиях
можно. В определённых ситуациях и умеючи. В случае с интервью и другими conversational, разговорными методами — точно. А вот с опросами всё сложнее.
Давеча коллега задал в профессиональном чате дельный вопрос
(анонимизирую и сокращаю):Опросили аудиторию сервиса — спросили про нечто новое, что задумали внутри него запустить: не суть, категорию ли продуктов, сервис ли и т. д. Спросили, насколько вероятно, что человек воспользуется этим. Формат — стандартная пятибалльная шкала. Результат: «Точно воспользуюсь» — 10%, «Возможно, воспользуюсь» — 20%. Как считаете, какой реальный процент клиентов в итоге прибегнет к новой фиче? Какой у вас опыт работы с такими вопросами?У меня опыт такой. Подобные вопросы в структурированном интервью, то бишь опросе, в принципе обладают низкой прогностической силой. Шкала здесь измерит скорее уровень
социальной любезности респондента по отношению к сервису и его развитию. «Попробую» тут ближе к «Да, развивайтесь, лучше добавлять новое, чем ничего не делать», чем к «Действительно попробую». Вернее, намерение или предположение о намерении контаминируется с social desirability. Разделить их затруднительно.
Вдобавок при ответе на такой вопрос респондент лишь в малой степени прогнозирует своё
будущее поведение. Что он делает, так это
производит речевое действие, пусть и через выбор готовой формулировки,
в настоящем — отвечает на вопрос. А мотивация этого действия, в свою очередь, имеет крайне опосредованное отношение к тому, запустит ли он через три месяца новую фичу, если её таки выкатят.
Вынесем за скобки то, что мы, люди, вообще плохи в предсказании того, как воплотится и воплотится ли наша интенция. Почему так? Свои ответы на этот вопрос есть и у социологов, и у психологов, и у [дисперсного племени] когнитивистов. Показателен, в частности, метаанализ Томаса Уэбба и Паскаля Ширана [
Webb & Sheeran, 2006]. Они агрегировали данные по десяткам исследований и заключили, что даже средне-сильное или сильное изменение намерения в конечном счёте конвертируется в лишь малое/среднее изменение реального поведения.
Ещё раньше Айзен и Фишбейн в рамках своей теории запланированного поведения [
Ajzen, 1991] показали, что даже в их собственной модели намерение — необходимый, но далеко не достаточный предиктор поведения. Айзен ввёл конструкт воспринимаемого поведенческого контроля именно потому, что одного намерения оказалось мало.
Сам я давно перестал задавать вопросы про вероятное/гипотетическое в таком виде. Раньше — практиковал, так что собственные [разрозненные] эмпирические данные у меня есть. С опорой на них я готов дать короткий, но очень часто звучащий из уст исследователей ответ:
‘It depends…’ Зависит от того, кого спрашиваем, применительно к какому продукту, и какова реальная востребованность фичи, и какова выборка и её репрезентативность. Разница бывает кратной. Условно, из ответивших «Точно воспользуюсь», по моим наблюдениям, реально доходили до действия/покупки от силы 20–30%. От тех, кто отвечал «Скорее воспользуюсь», едва ли больше 7–15%.
Если применить эту пропорцию к кейсу коллеги, то 10% декларирующих,
что будто точно готовы воспользоваться фичей, обернутся 2–3% реальных пользователей. В случае с «Возможно» (20% ответивших) — ещё плюс 1–2% реальных пользователей. В совокупности выходит 3–5% аудитории, причём по умеренно оптимистичному сценарию. Но на кейсах коллег я видел и более высокие, и более низкие коэффициенты конверсии.
(Слушайте, ну а как может быть иначе, если мы все видели в хорошо знакомых нам продуктах фичи, которыми начинали пользоваться почти все, равно как и полностью провалившиеся?)(Продолжение в следующем посте.)