Кейс из сбера

Разберем интересный кейс с собеседования на позицию middle data analyst. Рассмотрим ситуацию, когда команда онлайн-гипермаркета "СберМегаМаркет" проводит A/B-тестирование переработанного алгоритма рекомендаций на страницах товарных категорий.

Основная цель эксперимента — повысить вовлеченность пользователей с рекомендательным блоком и увеличить продажи через улучшение персонализации предлагаемых товаров.

Гипотеза состоит в том, что усовершенствованная система рекомендаций (Вариант B), которая сочетает:
- анализ индивидуального покупательского поведения
- машинное обучение на основе похожих профилей
- учет сезонного спроса в регионе
- баланс между популярными и перспективными товарами
позволит добиться более высоких показателей эффективности по сравнению с текущей системой (Вариант A), основанной исключительно на общих показателях популярности товаров в категории.

Для оценки результатов тестирования определены ключевые метрики:
Основные показатели эффективности: коэффициент кликабельности (CTR) рекомендательного блока, конверсия в корзину из рекомендаций, показатель Post-View покупок (учитывающий отложенные решения), средняя стоимость заказа с рекомендациями, выручка на активного пользователя (ARPU). Дополнительные метрики качества: индекс удовлетворенности рекомендациями (на основе логов взаимодействия), показатель возвращаемости к блоку рекомендаций, коэффициент разнообразия предлагаемых категорий, время взаимодействия с рекомендательным блоком

Особое внимание уделяется анализу Post-Engagement Conversion — метрике, учитывающей покупки, совершённые после любого взаимодействия с рекомендательным блоком, даже если оно не привело к немедленному клику. Важно для понимания общего влияния системы на покупательское поведение.

Тест проводится с соблюдением требований:
Рандомизация пользователей по cookie-идентификаторам
Баланс групп по ключевым характеристикам (50/50). Минимальная длительность — 14 дней для учета различных паттернов поведения, Контроль внешних факторов (акции, сезонность). Размер выборки — от 150k пользователей в каждой группе.

При анализе результатов применяется следущий подход: проверка статистической значимости различий, анализ вторичных эффектов и неожиданных корреляций, оценка влияния на разные сегменты пользователей, проверка на отсутствие негативного воздействия на UX

Критерии успеха теста - статистически значимый рост ключевых метрик, отсутствие существенного ухудшения по контролируемым показателям, положительная динамика в основных пользовательских сегментах, сохранение или улучшение показателей монетизации

Также рассмотрим возможное решение по результатам теста: полномасштабный rollout новой системы, доработку алгоритма с учетом выявленных инсайтов, дополнительные итерационные тесты для оптимизации, отказ от изменений при неудовлетворительных результатах

@ProdAnalysis