📌 Про мой самый странный опыт АБ-тестов

Астрологи объявили неделю кулсторей 🍿

Как-то я работал в одной маленькой, но гордой (и прибыльной) компании, которая создавала инструмент для упрощение жизни маркетологов. Штат был человек 20 всего, включая офис-менеджера и ребят из поддержки.

Проводили мы там, значит, один забавный АБ-тест.

🤌 Суть такова мы проанализировали страницу с выбором тарифа. На этой странице располагалось четыре карточки тарифов, слева-направо от самого дешёвого к самому элитному. Изучили распределение покупок и увидели, что с огромным отрывом юзеры выбирают второй слева тариф. Естественно, стало интересно, что же там такое есть, что покрывает все запросы пользователей.

Начали изучать список плюшек, доступных на разных тарифах, но как не пытались найти эту киллфичу на втором тарифе — логически ничего не вырисовывалось. Все предлагаемые штуки были ну… обычными. Цена между 1-2-3 тоже не была какая-то разрывная. Почему второй, а не третий? Загадка дыры 🧐

И вот тогда, от череды неудачных попыток выявить закономерности, у нас возникла гипотеза “на дурака”, о том что им просто не хочется брать крайние тарифы, а второй на волшебном месте стоит. Ни цена, ни набор плюшек тут вообще ни при чем.

Окей, принято, заворачиваем в эксперимент. В тестовом варианте мы просто поменяли порядок отсчёта — теперь слева был самый дорогой, постепенно ухудшаясь до самого простого тарифа.

И что бы вы думали? В поведении юзеров ничего не изменилось. Они как брали вторую карточку слева, так и продолжили её брать. Только теперь это был третий по цене тариф 🙂

Магическое место сработало, мы заработали на тестовом варианте раза в 2 больше денег, p-value улетел в ноль, никакие прочие метрики не пострадали. Тест был супер успешным.

На радостях мы с продактом пришли к СЕО (в нашей маленькой компании он был финальным лицом, принимающим такие решения) чтобы получить добро на раскатку тестового варианта, иии… нас развернули по причине: “да блин… похоже на какое-то НЛП… как-то стрёмно так людей обманывать”.

Дополнительное x2 дохода не были решающим фактором для нашего СЕО. Он хотел делать просто хороший продукт без вот этих вот приколов. Как по мне, это очень уважаемое решение. Хоть и редко такое встретишь в бизнесе.

Возможно, такая культура работы с данными — это и была причина, по которой я в последствии ушёл, но всё равно, кейс показательный. Не все продукты хотят высосать из вас деньги, кто-то и правда пытается “делать мир лучше”.

А в тусовом чатике этой команды я состою до сих пор, всегда в сердечке 🙂

#кулстори