Там предлагается провести A/B-тест как на картинке. Что мне не понравилось:
1) Мне было сложно разобраться, чуть мозги не сломал
2) Меня покорежило от определения MDE
3) Никак не учитывается сетевой эффект при сравнении покупательского контроля и покупательского теста. Если мы скрываем плохих продавцов в покупательском тесте, то все покупатели из покупательского теста пойдут к хорошим продавцам и скупят у них все товары (здесь и далее я пишу все, но понятно, что не все – просто преувеличиваю для наглядности). А значит покупатели из покупательского контроля, которые могли бы купить у хороших продавцов в отсутствие эксперимента, будут покупать у плохих продавцов. Это приведет к смещению метрики
4) Мы считаем сетевой эффект A в процентном изменении единиц "трафика" (показов?). "Силу воздействия" тоже считаем в показах. При этом получившийся коэффициент используем для масштабирования эффекта на выручку. В статье по этому поводу звучит фраза:
Предположим, эксперимент показал снижение выручки на 10%, и выручка линейно зависит от силы воздействия.
Это очень сильное и неочевидное предположение
5) Если бы мы использовали в качестве А процентное изменение выручки вместо "трафика", то столкнулись бы с другой проблемой. Идея оценки А, как я понял по вайбу статьи, заключается в том, что в группе остальных покупателей нет конкуренции между тестовыми и контрольными продавцами, а в покупательском контроле есть. Это отсутствие конкуренции и должно вызывать сетевой эффект. Однако когда мы меняем метрику с показов на выручку, мы снова (как и в пункте 3) сталкиваемся с ограниченным предложением. Если покупатели из группы свобоных покупателей не перетекут к хорошим продавцам, то плохие продавцы из контроля могут забрать себе всех покупателей из группы свободных покупателей, те раскупят все товары, а покупателям из группы покупательского контроля ничего не останется. В этом случае измеренный эффект А будет отражать не только сетевой эффект, возникший из-за отсутсвия конкуренции, но и сетевой эффект, возникший из-за ограниченного предложения. Этот пункт – не претензия к статье, потому что там так не делают
6) И, наконец, я не очень понял учитывается ли хоть где-то возможный переток покупателей от отключенных плохих продавцов к хорошим. В сравнении селлерских групп речь идет только об эффекте на выручку по плохим продавцам. Даже сама идея масштабирования пытается привести все к идеальному эксперименту, который оценивает эффект только на выручку с плохих. Если часть покупателей уйдет к хорошим продавцам, то даже при отсутствии проблемы из пункта 4 полученная оценка не будет отражать полный эффект от воздействия (Возможно, в разделе с ограничениями сетапа во втором пункте как раз про это речь)
В чем я не прав??? Пишите в комментариях. Под предыдущим постом про Авито было оживленное обсуждение, прямо как в настоящем телеграм канале
Закончить же этот пост хочется еще одним критическим замечанием, которое оставил пользователь хабра с ником kholdy_micro:
Чушь не несите!!! Авито самая забагованая платформа в рунете!!! Почему авито закрыло коментарии на всех площадках? Что твориться с авито в посление 6 - 9 месяце?? Ваша платформа блокирует профили пользователь без обоснованых причин!!
Это, кстати, самый агрессивный из тех четырех комментариев, которые пользователь kholdy_micro оставил на хабре. Стоит задуматься