Когда я только начинал в айти, у нас на созвоне спорили по 20 минут о цвете кнопки оплаты или о том, показывать скидку зачеркнутой ценой или новой суммой.
Каждый был уверен в своей правоте, и это затягивалось на недели. А надо было просто запускать А/Б тест.
Только тест ради теста не спасает. Запустишь на "авось", через месяц вроде что-то поменялось, а понять, реальный это эффект или случайность, уже нельзя🤷♂️
Чаще всего самая главная ошибка – на первом шаге, еще до всякой разработки, метрик и статистики. Путают идею и гипотезу.
Давай разберем на примере: команда в Ozon Travel хотела заменить формулу сортировки отелей в поиске на персональную ИИ-модель.
Идея звучала бы так:
"давайте сделаем ИИ-сортировку умнее, вроде так лучше и ИИ сейчас на хайпе". Вроде должно сработать, но проверить нечего, непонятно, что именно должно измениться и почему.
Гипотеза – это та же идея, но упакованная в формулу: Если [меняем/внедряем], то [метрика вырастет/падает], потому что [причина].
То есть для этого кейса гипотеза звучит так:
"если заменим сортировку на модель, конверсия в переход по карточке отеля вырастет на 1 процентный пункт, потому что человек быстрее увидит подходящие ему варианты". Тут уже есть три части: что меняем, что должно вырасти, и почему мы вообще так думаем.
Разница на первый взгляд кажется формальностью, но именно из-за нее половина тестов в компаниях ничего не доказывает. С гипотезой ты заранее знаешь, что именно будешь считать победой, а что поражением, и не можешь потом обмануть сам себя.
Тема А/Б тестов на самом деле гораздо шире одной гипотезы, поэтому сделаю из этого серию постов, разберем весь путь от идеи до решения 📈
И кстати, в августе у меня с командой осталось буквально 5 мест на созвон.
Кто хочет разобрать свою ситуацию, получить 1-ю лекцию с обучения и забрать полный гайд по A/B тестам - пиши в личку 🤝