⏬ Кейс: как поставить эксперимент, когда A/B-тест невозможен

Привет, меня зовут Николай Олигеров, я работаю продуктовым аналитиком в Яндекс Путешествиях. В этом посте я хочу рассказать про Propensity Score Matching — статистический метод, который позволяет корректно сравнивать группы в ситуациях, когда нельзя провести честный A/B-тест.

🈂️ Ситуация

Мы хотим выяснить, какой инкрементальный GBV (gross booking value, общая стоимость бронирования) приносят новые подключённые отели.

Предположим, в городе N в радиусе X километров можно забронировать пять отелей в Яндекс Путешествиях. Рядом с ними есть ещё два заведения, которые не подключены к нашему сервису.

🈂️ Вопрос

Увеличим ли мы общее количество бронирований, если подключим эти отели? У нас есть две гипотезы:

✅ Да, ведь через них пойдут заказы

❌ Нет, ведь пользователи всё равно заехали бы в уже подключённые заведения

🈂️ Проблема: почему нельзя использовать обычный A/B-тест

🔵 Во-первых, нельзя полностью изолировать тестовую группу от контрольной. Пользователи могут выбирать заведение через разные аккаунты: например, муж посмотрит отель и скинет его жене, а та зайдёт со своего профиля и ничего не увидит

🔵 Во-вторых, мы не хотим, чтобы даже в рамках эксперимента подключённые к нам заведения теряли часть заказов

🔵 В-третьих, если компании-новички дают высокий инкремент, то проведение такого эксперимента обойдётся нам в копеечку

🔵 В-четвёртых, такой эксперимент нужно было бы крутить очень долго, ведь нужно сравнить поведение пользователей на разном горизонте заказов: и на неделю, и на год вперёд

🈂️ Решение: Propensity Score Matching

PSM позволяет сравнить тестовую и контрольную группы на основе тритмента (воздействия) — в нашем случае это показ отелей-новичков в ленте. Задача в том, чтобы правильно оценить эффект и минимизировать влияние на результат ключевых характеристик пользователей, например их среднего чека в сервисе.

Для этого нужно подобрать каждому пользователю с тритментом пару — максимально похожего на него человека, который не получал воздействия. После этого можно сравнить метрики и оценить желаемый эффект.

⏭️ В статье на Хабре я рассказываю, сколько пользователей нужно подбирать для тестовой и контрольной групп, как PSM выглядит в коде, что делать с валидацией результатов и какие ключевые характеристики юзеров выбирать, чтобы уменьшить смещение.

Подписывайтесь:
💬 @Yandex4Analytics