Кейс с собеса яндекса

В нашем чатике аналитиков попросили разобрать кейс с собеса на мидла. Представьте, что команда Яндекс.Тревел запускает A/B-тест нового баннера "Горящие туры в Турцию" на главной странице сервиса. Цель теста — увеличить конверсию пользователей главной страницы в бронирование туров (особенно в Турцию) и общую выручку от продажи туров, за счет более привлекательного и релевантного баннера. Гипотеза заключается в том, что новый баннер (Вариант B) с яркой фотографией пляжа, четким призывом "Успейте купить! Скидка до 30%", таймером обратного отсчета и кнопкой "Смотреть туры" приведет к увеличению кликабельности (CTR), конверсии в просмотр и бронирование туров в Турцию, а также к росту выручки по сравнению с текущим баннером (Вариант A).

Для оценки успешности теста будет набор метрик. Основными ключевыми показателями эффективности (KPI) станут: CTR баннера, рассчитываемый как отношение числа кликов к числу показов. Рост CTR покажет, насколько эффективнее новый баннер привлекает внимание и мотивирует к клику, что напрямую влияет на поток пользователей дальше по воронке. Конверсия в переход на страницу поиска туров именно в Турцию (отношение переходов с фильтром "Турция" после клика по баннеру к общему числу кликов) покажет релевантность предложения — соответствует ли целевая страница ожиданиям, созданным баннером. Наиболее важной бизнес-метрикой будет конверсия в бронирование тура в Турцию. Ее будут оценивать двумя способами: Post-Click Conversion Rate (бронирования туров в Турцию пользователями, кликнувшими на баннер, деленное на клики) и Post-View Conversion Rate (бронирования туров в Турцию пользователями, увидевшими баннер, деленное на показы). Post-View конверсия критически важна, так как учитывает влияние "увидел, не кликнул, но потом купил", что характерно для travel. Также будет отслеживаться средний чек бронирования тура в Турцию (общая выручка от таких бронирований после клика/показа баннера деленная на количество бронирований), чтобы понять, привлекает ли баннер пользователей с разной платежеспособностью. Самой важной финансовой метрикой станет выручка, или Revenue Per Visit (RPV). Рассчитываться она будет как Post-Click RPV (выручка от бронирований в Турцию после клика деленная на клики) и особенно Post-View RPV (выручка от бронирований в Турцию после показа баннера деленная на показы). Рост Post-View RPV — главный индикатор финансовой успешности теста, интегрирующий влияние на конверсию и средний чек.

Дополнительно будут использоваться: глубина просмотра страницы поиска (среднее количество просмотренных карточек туров после клика по баннеру) покажет уровень интереса пользователя. Показатель отказов (Bounce Rate) на странице поиска (доля сессий, начатых с клика по баннеру, где пользователь просмотрел только одну страницу) поможет выявить возможное разочарование или технические проблемы.

Выводы не будут сделаны, пока не достигнута достаточная мощность теста и статистическая значимость (обычно p-value < 0.05) по ключевым KPI (CTR, Конверсия в бронирование Турции, Post-View RPV). Тест должен длиться минимум 1-2 полных бизнес-цикла (например, неделя для учета выходных, а лучше 2 недели для стабильности данных), с учетом возможной сезонности

Подобные кейсы мы будем разбирать на нашем карьерном курсе по аналитике.

@ProdAnalysis