В последнее время я провожу много собеседований. Выяснила, что тема сетевых эффектов не настолько на слуху, как у нас в классифайде, где они важная часть дизайна экспериментов.

Сетевой эффект — это явление, когда изменения в тестовой группе влияют на контрольную. Как следствие, мы не можем получать честный эффект при подведении итогов.

💚 Звучит сложно, рассмотрим на примере. Допустим, мы поменяли правила ранжирования у объявлений, для которых купили продвижение. Надо оценить, привлекают ли они теперь больше внимания пользователей — просмотров или контактов.

Дизайним эксперимент. Допустим, разделили объявления с продвижением случайным образом на тест и контроль. Тестовые получали новый алгоритм ранжирования, а контрольные — старый. Подвели итоги эксперимента и получили в тесте явный рост метрик контактов. Можем ли ему доверять? Нет 😄

Если новый алгоритм был действительно эффективней старого, а все объявления находились в одной поисковой выдаче, то тестовые вытесняли контроль из топа, и мы видели разрыв больше, чем на самом деле. В хорошо составленном эксперименте мы хотим, чтобы тестовая группа на контроль не влияла.

‼️ Есть несколько вариантов решений. Самый частый — региональный тест. Это работает в случаях, когда мы уверены, что на одной выдаче могут быть только объявления из одного региона. Так, мы показываем тестовый алгоритм в одних регионах, а контрольный — в других, и можем получить честную оценку.

Сталкивались ли с сетевыми эффектами?

❤️ — да, сталкивался в работе
👀 — что-то слышал
✍️ — узнал что-то новое

#ЖеняМур