В прошлом посте мы оставили Ozon Travel с красивой гипотезой: заменить сортировку отелей на ИИ-модель, и конверсия в карточку отеля должна вырасти. Гипотеза хорошая.
Но именно здесь бизнес обычно и хочет спросить главное - а где деньги-то?
Представь сценку
Через неделю после запуска теста в чате команды:
ПМ:
Ребята, конверсия в открытие карточку отеля выросла на 5%, мы красавчики 🎉
Погнали масштабировать!
Коммерческий директор:
А что с бронированиями?
ПМ:
...а что с бронированиями?
И вот тут начинается самое интересное 😅
Модель может отлично поднимать кликабельные отели наверх, а до брони люди так и не доходят, потому что отель кликабельный, но не тот, который реально хотят купить. Конверсия выросла, а денег бизнесу не прибавилось.
Именно поэтому нельзя следить за одной метрикой, и важно фиксировать это еще до запуска теста, а никогда цифры уже пришли и хочется под них подстроиться.
🎯Целевая метрика – та самая, ради которой всё затевается. В кейсе это конверсия поиск → карточка отеля, потому что модель влияет именно на порядок в выдаче и на клик.
🛡Метрики-здоровья/защитные метрики – условия, при которых рост целевой метрики вообще имеет смысл для бизнеса:
— конверсия карточка → бронирование
— средний чек
— скорость загрузки и частота отката на старую формулу
— доля отелей с низким рейтингом в топе выдачи
Смысл прост: целевая метрика показывает, сработала ли гипотеза сама по себе. Метрики-стражи показывают, не сломали ли вы что-то еще, пока радовались красивому графику 📈➡️📉
Без этого легко попасть в ситуацию из диалога выше: отпраздновать свадьбу до того, как невеста вообще доехал до загса)