Если долго сидеть
Так-то смысл осторожно относиться к таким гибридным дизайнам есть. Но дело не в том, что методы несовместимы by default. При соблюдении определённых правил — совместимы. В HCI/UX-исследованиях это вполне нормальная практика: партисипант выполняет задачу, исследователь наблюдает за его действиями и слушает комментарии, затем возвращается к отдельным эпизодам и задаёт уточняющие вопросы. В разных традициях это называют retrospective probing, stimulated recall, retrospective think-aloud и т. д. Методологическая проблема заключена не в самом сочетании наблюдения и беседы. Всё начинает разъезжаться тогда, когда мы перестаём различать, что именно получили на каждом этапе, тем или иным методом — и в каких условиях получен тот или иной, ммм, содержательный юнит. И когда соответствующие инструменты не разделены.
Допустим, пользователь оформляет доставку и на экране выбора времени несколько раз переключается между слотами, возвращается назад, открывает пояснение про стоимость, потом всё-таки тычет в более дорогой вечерний интервал. По ходу он бросает: «А, вечером доплата… тогда, наверное, лучше днём». Но выбирает вечер. После задачи исследователь спрашивает почему. Пользователь отвечает: «Да мне вечер изначально был удобнее, цена тут не особо важна». А позже, когда разговор заходит о доставках вообще, говорит: «Я почти всегда выбираю самый дешёвый вариант, если нет срочности».
Тут у нас, разумеется, не три варианта реализации одного и того же критерия выбора, обязательно имеющие за собой некий общий инвариант. В первом случае видно, как цена становится релевантной прямо внутри решения, ситуативно и реактивно. Во втором имеем уже сконструированное задним числом объяснение конкретного выбора. В третьем — обобщённое правило, посредством которого человек описывает собственное поведение, весьма вероятно с сильным элементом рационализации (через свой «словарь мотивов», по Миллсу). Все три эпистемологические единицы полезны, хотя единицы это разные. Ошибкой было бы пытаться свести их к единому «критерию выбора пользователя» и ждать, что они обязаны совпасть.
Так что главное правило годной гибридной сборки — разводить исследовательские режимы и единицы анализа.
Пока человек действует, стоит дать ему… действовать, с особой осторожностью оперируя вопросами вида «Почему?», «Что вы ожидаете увидеть?» и не увлекаясь в процессе пробингом. Каждый такой вопрос меняет и всю ситуацию, и взгляд респондента: заставляет внимательнее смотреть, формулировать критерии, замечать то, что без интервенции исследователя могло остаться незамеченным. Велик риск превратить тестирование интерфейса в совместное решение задачи (спасибо, партисипаторность, но не сейчас), описывая впоследствии получившееся как якобы естественное пользовательское поведение.
Обратная ошибка возникает, когда перед тем же UX walkthrough проводится обстоятельное интервью. Если сначала подробно расспросить человека о безопасности платежей, доверии к банкам или страхе ошибиться, придётся ли удивляться тому, что именно эти вещи он начнёт особенно тщательно выискивать на явленных ему экранах?
Поэтому вопрос не в том, допустимо ли соединять методы (способов сделать это криво — тьма). Вопрос зачем.
(Окончание — в комментарии к посту.)