Conversion And Analytics

#nicehypothesis Для тестирования предложения достаточно экспериментировать только с заголовком страницы, подзаголовком и тремя основными тезисами о предложении.

Это самое важное. У этой информации максимальных охват. Если предложение ценное, то это покажет результат. Всё остальное это тюнинг.

#materials Полезные и сложные доклады про А/Б тестирование и аналитику тестов. Для понимания докладов надо знать мат часть. Без неё не просто.
Смотрите и наслаждайтесь.

#nicehypothesis Укажите на основе чего оставлен отзыв. Если клиент купил товар, то укажите какой. Если клиент покупает постоянно, то укажите кол-во сделанных покупок.

Рост конверсии в таких экспериментах объясняется увеличением доверия к отзывам и возможностью выделить более «полезные» отзывы в сознании посетителя.

#nicehypothesis Триггеры и призывы к действию наиболее актуальны, когда посетитель имеет хорошую мотивацию купить, когда у него достаточно информации, когда он «созрел». Тестирование призывов и триггеров ориентировано на не значительную часть аудитории, хоть и очень важную.

Попробуйте добавить информацию для принятия решения: почему продукт крутой, почему классно им пользоваться, больше эмоций. В завершении логические аргументы. Рост конверсии в таких тестах объясняется человеческим поведением и как мы принимаем решения.

Интересное мнение по проведению и оценке #splittest.

Общепринятая #analytics говорит, что нужна достоверность на уровне 95%, а мощность на 80% и если выиграл, то всё отлично. Это правильно с точки зрения математики.

За 8 лет моей работы с А/Б тестами, самое распространённое возражение бизнеса «почему ваш рост в 10%, я не вижу в бухгалтерских отчётах»?

Собственно мнение. Снижаем достоверность до 90% (p-value=0.1), а мощность до 60% или ещё ниже. Таким образом тесты будут завершаться сильно быстрее. Успешные тесты внедряем для всего сайта. Итого у нас есть три временных интервала: 1. До запуска теста. 2. Во время проведения теста. 3. После внедрения теста.

Так вот логично предположить, что если тест таки выиграл и дал действительный рост на 10%, то мы должны увидеть следующее: 1. Старая конверсия. 2. Конверсия +5%. 3. Конверсия +10%. Всё, что нам необходимо это подождать немного времени для п.3.

«Не везде есть смысл, не везде он нужен!» (с)

#splittest иногда выигрывают и проигрывают. Не всегда есть возможность найти ответ на вопрос «почему?». Надо ли этот искать?

Нет, не надо. К этому решению склоняют две вещи «искажение нарратива» и «карта не территория». В прочем, эти понятия где-то близки и скорее об одном и том же только в профиль. Суть в том, что придумать связную историю в качестве ответа на «почему?» можно, но будет ли эта история соответствовать действительности? Как это проверить? В этом случае необходимо просто брать следующую гипотезу и тестировать дальше.

Да, надо. В криптографии и взломе паролей есть такой подход как «brute force attack». По сути это простой подбор пароля и перебор всех возможных вариантов, пока не наткнёмся на верный. Разница с #cro и #product в том, что при атаке кол-во вариаций известно. Противостоять «brute force» можно увеличивая время между попытками ввода пароля. Например, после ошибочной попытки включается пауза на 10 секунд. За год получится попробовать только 3.14 млн. вариантов. А пароль из 8-ми знаков имеет вот столько вариантов: 136,325,893,334,400. Да, это одно число! Для удобства тысячи разделил запятыми.

Возвращаясь к гипотезам и тестированию. Заниматься подобным в условиях, когда тест длится один месяц, практически невозможно. Необходимо знать поведение человека, его мотивы, чтобы предлагать изменения, которые с наибольшей вероятностью увеличат конверсию.

#nicehypothesis Ранее я рекомендовал тестировать разные призывы к действию. Следующая итерация - это один призыв к действию на один экран. Это объясняется тем, что снижается когнитивная нагрузка по сравнению с тем, что есть 2 и более призывов к действию на одном экране.

​​#nicehypothesis Снижение кол-ва полей в форме практически всегда увеличивает конверсию. Это объясняется сниженим сложности заполнения.

Остается вопрос оптимального количества полей. Выбираем между UI (конверсия) и объёмом сбора данных. Древнее исследование говорит, что 5-10 полей - это оптимально.

Отличная имея к тестированию. Дополнительные поля могу снизить конверсию на форме, но дополнительные данные могут повысить конверсию из лида в клиента.

Возвращаясь к вчерашней #nicehypothesis и #datadriven подходу, важно отметить, что цифра 1.5 может изменится в каждом конкретном случае. От чего это зависит.

Если на проекте сейчас используется перенаправление в корзину, то это само по себе уже может снижать кол-во товаров в заказе. Т.е. утверждение «мы используем перенаправление и у нас кол-во товаров в заказе 1.3, потому всё ОК» может быть ошибочным, т.к. цифра 1.3 может быть следствием использования перенаправления.

И наоборот. Если проект использует окно с выбором, то это уже может снижать конверсию и повышать кол-во заказов в корзине. Я бы тестировал всё в пределах от 1.2 до 1.8. А если позволяют ресурсы, то в принципе протестировал эту гипотезу не смотря на данные. «А как же #datadriven?». Очень просто, в зависимости от данных гипотеза получит более высокий или более низкий приоритет.

#nicehypothesis В интернет магазинах и других #ecommerce проектах, где есть корзина, возможны два варианта реакции на клик по кнопке «купить».

Можно сразу отправлять человека в корзину, а можно показывать окно с выбором «Продолжить покупки» и «Перейти в корзину».

Включаем #datadriven подход. Если среднее кол-во товаров в заказе менее 1.5, то тестируем прямой переход в корзину. Если больше, то тестируем окно с выбором.

В первом случае, это повышает конверсию в заказы в целом, во втором случае, это увеличивает кол-во товаров в заказе и средний чек при той же конверсии.

«Давайте кнопку перекрасим в красный?». Местами это уже даже не смешно, но важно пояснить когда это действительно нужно сделать.

Кнопка должна быть контрастной и заметной. Если различные исследования показывают, что посетители сайта затрудняются найти саму кнопку, хотя желание нажать её уже возникло.

Для основных кнопок (primary button) это всё.

#nicehypothesis Изменение длинны основных заголовков может привести к значительному росту конверсии. Объясняется это тем, что на телефонах длинные заголовоки занимают 3-4-5 строк жирного тяжёлого текста, что увеличивает #bouncerate и снижает #conversionrate.

#pain На этой неделе чек-лист запуска #splittest пополнился ещё одним пунктом: «Проверить точки входа в тест. Проверить все ли нужные точки являются точками входа. Проверить, что всё лишнее не является точкой входа в тест». Пока остаётся вопрос как это делать автоматически?

#nicehypothesis Добавление альтернативных #cta (Call-To-Action) сильно увеличивает конверсию. Можно добавлять как менее обязывающие #cta, так и более.

Зачем считать #samplesize для проведения #splittest
и что если сделать наоборот?

Объём выборки зависит от текущей конверсии и на сколько мы хотим её изменить (увеличить). Фокус в том, что практически всегда мы НЕ знаем на сколько изменится конверсия. Это просто догадки и домыслы.

Что мы действительно знаем, так это объем трафика, который у нас уже есть и который мы планируем отправить в тест. На основании этого можно посчитать минимальный рост конверсии, который мы сможем определить (#MinimumDetectableEffect).

Часто это оказывается крайне полезно. За 5 минут можно посчитать, что в некоторых тестах вы сможете определить только рост в 100% и более. Действительно ли наша гипотеза на столько прям хороша? #nobodyknows
Если не на столько она хорошо, то можно сэкономить время и ресурсы на другие, более перспективные, гипотезы.

А/Б тестирование начинает напоминает походы в спортзал или простую игру на компьютере.

Есть простые и понятные инструкции что делать и как делать:
1. Анализируйте данные
2. Собирайте обратную связь от ЦА, изучайте ЦА
3. Запускайте как можно больше А/Б тестов
4. Внедряйте успешные тесты
Простые вещи и конверсия пойдёт вверх.

Почему я говорю, что похоже на спортзал?
1. Меньше кушай
2. Думай, что ешь
3. Занимайте спортом
4. Регулярно следуй программе тренировок
Простые вещи и результат гарантирован.

В общем, делайте правильные вещи и получите ожидаемый результат.

В продолжение вчерашнего поста о точке входа в #splittest. Вопрос: почему точка входа должна быть там, где начинаются изменения?

Эксперимент и данные
Страницу посещает 1000 человек в день. Всплывающее окно видят 100 человек в день. Целевое действие (наша конверсия) на всплывающем окне выполняют 10 человек в день.

Конверсия в целевое действие от посетителей 1%, от просмотров всплывающего окна 10%. Допустим мы тестируем гипотезу и предполагаем рост на 10% (до 1.1% или 11% соответственно).

Почему точка вхожения в тест - это показ всплывающего окна? У меня 2 аргумента.

Первый аргумент

Для CR = 1% и относительного роста 10% надо 157697 посетителей на вариацию. В нашем случае - это 316 дней.

Для CR = 10% и относительного роста 10% надо 14313 посетителей на вариацию. Это будет уже 287 дней.

Таким образом выиграли в сроке ~10%.

Второй аргумент
У нас есть вот такая воронка.

CR1 = 10% - из посетителей страницы в просмотры всплывающего окна. Доверительный интервал 8.3% – 12%.

CR2 = 10% - из просмотров окна в целевое действие. Доверительный интервал 5.5% – 17.4%.

Если мы отодвинем точку входа в тест, то увеличивается вероятность, что можно попасть в неровное распределение на уровне CR1. Это просто факт. Наша задача снижать подобные вероятности, потому точка входа в тест максимально близка к изменениям.

Точка входа в #splittest является очень важным элементом дизайна эксперимента.

Во-первых, считать надо только тех, кто увидел (столкнулся, попал под воздействие) изменения, что логически верно. Во-вторых, чем ближе точка входа к точке #conversion тем быстрее завершиться тест.

Например, есть интернет-магазин и всплывающее окно «корзина» на карточке товара, которое появляется после клика на «купить». Решено тестировать это окно. Можно участниками теста считать всех, кто посетил карточку товара, а можно только тех, кто нажал на «купить» и увидел тестируемое окно. Второе правильнее.

В LinkedIn присутствует более 1000 метрик и все они организованы в 3 уровня:
1. Уровень компании
2. уровень продукта
3. Уровень фичи
Владение метриками уровня 2 и 3 децентрализовано, что важно и логично. Уровни 1 и 2 рассчитываются автоматически для всех #splittest, а вот уровень 3 нет.

https://content.linkedin.com/content/dam/engineering/site-assets/pdfs/ABTestingSocialNetwork_share.pdf

Спрашивать #customer или #client о том, за что они готовы заплатить, или заплатили бы они за ваш продукт или фичу, есть абсолютно бессмысленно.

Мы, люди, понятия не имеем за что заплатим в конкретный момент будущего. Всё, что мы знаем, это за что мы уже платим деньги и возможно даже знаем сколько платим.