Иногда проиграть — это лучшее, что может с вами случиться

Что если самый полезный А/В-тест — это тот, который мы проиграли? Представьте себе картину: компания решила «освежить» сайт. Позвали студию Артемия Лебедева — новый логотип, нейминг, сделали легкий тюнинг на сайте, чтобы соответствовало обновленной концепции.

История, кстати, абсолютно реальная. Случилась она с одним нашим клиентом, еще во времена, когда GA в России был более популярен, чем Яндекс.Метрика.

Так вот, вроде бы небольшое обновление на сайте, ничего критичного, просто косметика. Но что-то пошло не так, и конверсия заметно просела, примерно на 2% относительно исходных ~20%. Проверили — по всем срезам данных, везде +/- на эту цифру.

Клиентская команда вздохнула, посетовали на сезонность и оставили все как есть. Бизнес продолжил жить дальше. Годами, с нормальной такой себе просадкой. И то, в чем винили «сезонность», со временем стало новой нормой.

Но ведь если потери в 2% конверсии умножить на трафик за пару-тройку лет, то это десятки-сотни миллионов рублей упущенной выручки. И если бы изменения на сайт вылили через эксперимент, то увидели бы правду: правки сработали в минус. Да, такой А/В-тест оказался бы «проигранным» — в смысле, что новая версия показала бы статистически значимое ухудшение относительно исходной. Откатили бы правки, переделали, выкатили и повторяли бы цикл до тех пор, пока не обновились бы без потерь.

Но друзья, ведь получается, что проигранный эксперимент в этом случае был бы не провалом, а обалденной страховкой! Страховкой от того, чтобы годами сливать деньги и списывать все на «сезонность», «луну в ретрограде» и «плохую карму».

Вдумайтесь, планируя сплит-тест, мы всегда очень надеемся победить, увидеть зеленый win-статус. Но ведь всего лишь за пару недель «красного» статуса мы покупаем полную (!) страховку от риска потери крупной суммы в выручке!

Кузин из Smart Data Hub. Всем дата-дривен и побольше зеленых экспериментов ❤️