123. А/Б-эксперименты без стратегии – путь в никуда

Раньше я считал А/Б-эксперименты вредной ересью. Сначала дизайнер с любовью и вкусом создает продукт, например, сервис по бронированию отелей. Потом устраивают 200 тестов «какая кнопка принесет больше покупок, красная или синяя» и в результате получают неудобного и некрасивого монстра. Множество маленьких полезных улучшений не приводят к хорошему результату.

Поэтому я предпочитал развивать продукты, основываясь на юзабилити-исследованиях и собственном хорошем вкусе. Это приносило плоды. Но лишь до поры, пока я не стал заниматься сложными продуктами с большой аудиторией. В них количество факторов, влияющих на результат, оказалось таким большим, что создавать продукт на основании дизайнерской чуйки стало невозможно.

В результате я примерил два подхода:

1. Если не понятно, куда развивать продукт стратегически, мы генерируем из головы хоть какие-то идеи и на их основе проводим количественные А/Б-эксперименты и качественные UX-исследования. Цель – провалидировать идеи и понять «в какую сторону бежать».

2. Когда понятно, в какую сторону развивать продукт, надо писать стратегию и дальше двигаться под ее руководством. Анализировать все новшества качественно (UX-техники) и количественно (аналитика).

3. А/Б-эксперименты использовать для контроля, как способ проверить, что не делаешь хуже.

Если совсем коротко: А/Б-эксперименты без стратегии – вредны. Но они помогают с идеями на ранних этапах и помогают не заблудиться на поздних.