Как только я пришел в Авито и стал трогать различные исследования и АБ - встретился вновь с сетевыми эффектами. Изменения на селлерах - меняют байерский флоу.
Ситуация
Допустим мы хотим внедрить фичу по типу: субсидирование доставки селлеров или подключение доставки товаров там, где она доступна, но не подключена.
Что поменяется в байерском флоу?
• перераспределение трафика между объявлениями. Самовывоз -> доставка
• увеличение доли дешевых товаров в доставке
• изменение кол-ва отмен, возвратов и сроков получения доставки.
Это все из общего - будет интересно, что вы напишите из других изменений в байерском флоу каждого кейса.
Вопрос
Как честно считать эффект? Этот вопрос очень важно задавать, потому что в разных компаниях и разных командах подкрашивают эффект или где-то призакрывают глаза😺. Это не наш случай - мы честные и грамотные дата дривен аналитики 📈. Возьмем примитивную метрику - оплаченные товары или paid_items.
Отличный путь.
1. Делим селлеров на 2 группы. Тесту подрубаем фичу, контролю нет.
2. Внутри тестовых селлеров покупателей делим на две группы: одним показываем фичу, другим нет.
3. Полный эффект = paid_items у селлеров с подключённой и показанной доставкой - paid_items у контрольных селлеров.
4. Эффект показа покупателю = paid_items у селлеров с подключённой и показанной доставкой - paid_items селлеров с подключённой и НЕ показанной доставкой
Либо делаем 2 последовательных теста, но на это уйдет больше времени(
Норм путь, если отличный не применим.
1. Делаем региональный АБ, либо категорийный - в зависимости от вашей специфики.
2. Тестовая категория или регион - получает изменения, а схожая нет.
3. Считаем эффект = (paid_items_test После - paid_items_test ДО) - (paid_items_cntrl После - paid_items_cntrl ДО)
Го на пальцах посчитаем:
тест: было 100к - стало 130к, + 30% аплифта и 30к абсолюта
Контроль: был 80к - стал 88к, + 10% аплифта и 8к абсолюта
т.е. если бы мы тест не запускали, то ожидали бы +10% в тест, т.е. 110к. А у нас аж 130к 📈. 130 - 110 = 20к эффекта.
Естественно, есть особенности, пока меня не задушили:
• такой расчет корректен, если тест и контроль росли ~ одинаковыми темпами и у них отсутствуют сезонные паттерны.
• в тесте не было других изменений, запуск в тесте - не влияет на контроль.
• Категории и регионы - могут иметь разную сезонность.
• в регионах может отличаться логистика, сроки и доступность пунктов выдачи + перетоки в соседние регионы
• в категориях различаются цены, частота покупок и пригодность к доставке в целом.
Давайте поразгоняем, напишите что думаете по поводу всего написанного
Прожмите вайбового кота😺 если не правильно считаете эффекты и всем все супер
• прогрессивного жаба 📈, если все честно считаете
• умного жаба 📃, если ждете больше хардовых постов с работы
• ну и лайк ❤️, если понравился пост