Разбор №8. А/В тесты в логистике дарксторов

Эх, мои любимые тесты со времен работы в доставке еды 🙂

Отрасль: Доставка продуктов из дарксторов
Кто прислал на разбор: Аналитик
Сам кейс:
Проводим А/В тесты на метрики Click-to-Eat или процент опозданий на уровне дарксторов. Но их мало и они сильно отличаются друг от друга. Сложно разбивать на тест и контроль: АА тесты могут сходиться на одном периоде и расходиться на другом

Сейчас разбиваем на группы исходя из сходства распределений разбитых на бины во время предпериода. А статистическаю значимость оцениваем через бутстрап-критерий или серию t-тестов. Есть ли более надежные методы проведения А/В в таких случаях?

Ответ
Круто, что в целом задумались про честное разбиение на группы в таком кейсе! И правда, когда у вас 100, 300 или даже 1000 наблюдений (сильно разных дарксторов), то просто случайно побить на контроль и тест часто не работает. И я знаю 2 пути решения этой проблемы

Первый путь - который выбрали вы. Можно еще сверху добавить фильтрацию дарксторов-выбросов: 1-2 экстра-крупные, 2-3 не работали за период теста какое-то время и тд. Тоже сильно помогает!) Ну и еще CUPED, CUPAC, линейные регрессии тоже выручают: они не только снижают дисперсию, но могут помочь контролировать вншние факторы: то, что в тесте условно больше огромных дарксторов

🏃‍♂️Второй путь - switch-back тесты. Судя по вашим целевым метрикам, у вас тесты в логистике курьеров. Можно раз в 2 часа случайно переразбивать дарксторы на тест и контроль. Тогда у вас будут сырые данные в виде
Даркстор | Тестовая группа | Аггрегированное значение метрики

Огромный плюс в том, что все дарксторы попадают и в тест, и в контроль - благодаря этому выборки становятся более сбалансированными
Огромный минус - организационный. Придется подстроить многие процессы компании и технологии под такой вид сплитования. Но если получится, то оно того стоит! Когда-то в Delivery Club мы прошли этот сложный путь и написали статью на хабр. Надеюсь, она как раз поможет в вашем кейсе
Есть еще классная чуть более техническая статья от основоположников таких тестов в продакшене - doordash, тоже моя рекомендация почитать

А еще напомним, что вы можете прислать свой кейс на бесплатный разбор, просто заполнив гугл-форму 😇