Александр Краснобаев написал об а/б-тестах на малом трафике.

• Нельзя выбирать один из вариантов, если он показал рост конверсии с 1,5 до 2% при 200 визитах (из 3 заявок стало 4);
• Надо тестировать изменения, при которых рост может быть в разы. Например, конкретное обещание: вы продаёте бесплатную консультацию или разбор с понятным результатом;
• Структура страницы и тип медиа (когда посетитель увидит цену и отзывы, живое видео продукта недалеко от первого экрана), отзывы (нужны, вопрос в формате: текст и фото, скриншот переписки, видео), оффер (цена, гарантия, бонусы);
• Тестируйте не меньше 2 недель, чтобы захватить будние и выходные, новых и вернувшихся посетителей;
• Смотрите на результаты сразу, чтобы отловить баги в настройках;
• Не прерывайте тест, увидев, что какой-то вариант побеждает, так как лидер может измениться;
• Оба варианта тестируйте одновременно, случайно распределяя по ним трафик. Если пробовать их по очереди, результат могут исказить непредсказуемые кратковременные факторы вроде погоды;
• Бесплатный способ провести тест: 2 лендинга с разными адресами и эксперимент в Яндекс Директе, либо «Эксперименты» в Метрике, которые работают на Вариокубе;
• Оценивайте результаты отдельно для десктопа и мобайла. Важно, какой из вариантов выигрывает для основного канала трафика;
• В один момент времени на одном пути пользователя проводите один тест, чтобы понять, что именно сработало;
• Если гипотез много, придётся приоритизировать по влиянию на результат, уверенности, что сработает, и простоте реализации;
• Оценивайте результат комплексно. На «бесплатный аудит» будет больше заявок, но меньше людей, готовых заплатить. Скидки могут снизить прибыль;
• Дополнительно можно смотреть сессии в Вебвизоре и карты скролинга (докручивают ли люди вообще до конкретного блока);
• Также при малом трафике по каждой заявке можно выяснить у клиента, кто это, что ему нужно и сколько он готов заплатить.

#ab_testing