В чате «продуктовых рисечеров» второй день обсуждается вопрос «зачем тестировать дизайн на фокус-группах». Предлагается заменить такое тестирование A/B тестами или даже количественным исследованием. В наличии жалобы на то, что «заказчик хочет», и сомнения в том, что дизайнер в авторитете, поскольку «как же так, его подход пытаются проверить?!».

Короткие ответы на высказанные идеи:
1️⃣ A/B тесты не о том.
2️⃣ Количественник - не совсем о том.
3️⃣ Один дизайнер - это не репрезентативная выборка, не целевая аудитория и даже не ее представитель. Сайт разработан не для этого дизайнера, а для определенной ЦА. Нет, дизайнер не знает заранее, как отреагирует ЦА. Откуда мы знаем? Было много проектов, на которых дизайн на реальных пользователях действительно «не пошел», - и не потому, что дизайнер такой вредитель.
4️⃣ Заказчик прав. Не потому, что он прав всегда. А потому, что в данном случае его пожелания основаны на здравом смысле. Чтобы избежать выхода к пользователям с дизайном, который хорош только с точки зрения дизайнера, отношение к нему всё же желательно тестировать на реальных пользователях.

Все обсуждаемые методы – измеряют разное:
1️⃣ A/B тесты позволяют сравнить эффективность конкретных решений.
2️⃣ количественное исследование даёт % тех, кому нравится вариант (который при хорошем подходе можно обобщить на генеральную совокупность).
3️⃣ на фокус-группе вы узнаете, как люди относятся к дизайну, и это будет больше, чем просто «нравится-не нравится». Какие чувства вызывает дизайн? С чем он ассоциируется? Чем он отличается от сайтов конкурентов и как люди вообще оценивают дизайн в категории?

Почему вообще надо проводить фокус-группу? Потому что дизайн воспринимается эмоционально, но как именно, не всегда можно предположить до того, как люди вам об этом скажут. Например, «пафосный», «яркий», «агрессивный (в хорошем смысле)», «правильный». Или наоборот – «бабушкинский», «дешевый».
В случае зрелого бренда для дизайна важна преемственность. Благодаря групповой динамике на фокус-группе будет высказано больше точек зрения по поводу дизайна, чем будет вписано в форму для открытого вопроса в количественнике. И на фокус-группе вы можете уточнить у людей, почему они думают именно так; как конкретная характеристика выражается в дизайне.

Выбор метода зависит не от того, что какой-то метод лучше, а от того, ЗАЧЕМ вам нужен тест дизайна.

Количество людей, выбравших тот или иной вариант, обычно оценивают уже после того, как дизайн доработан по результатам фокус-групп, и заказчик хочет понять, какой вариант людям нравится.

Собственно, через такую комбинацию качественного исследования и количественного работают почти все тесты коммуникации в маркетинговых исследованиях. И если ваш заказчик хочет понять, «зайдет ли дизайн», то это беспроигрышный вариант. Вы можете показать ему, что люди думают про новый дизайн, а затем сказать ему, сколько таких людей (насколько такая точка зрения распространена).

Но если у вас тест нужен для оценки ЭФФЕКТИВНОСТИ продукта, например, конверсии, то нужен A/B тест. Потому что эстетика, имидж и восприятие не всегда связаны с удобством. И могут даже мешать.