Виктория Гордеева написала о борьбе с сетевыми эффектами при проведении а/б-тестов.

— Сетевой эффект — влияние одного участника эксперимента на другого;
— Например, идёт тест изменения, которое должно повысить количество отправляемых сообщений. Пользователи из экспериментальной группы начинают активнее писать пользователям из контрольной группы, а те отвечают. Метрики меняются в обеих группах, и оценивать результаты а/б-теста становится сложно;
— С этим можно бороться: 1. Сравнивать метрики до и после изменения. Но на показатели могут повлиять внешние факторы вроде погоды;
— 2. Сравнивать разные натуральные кластеры пользователей, образовавшиеся естественным путём, например, людей из разных стран. Но они могут сильно отличаться поведенчески или быть слабо замкнутыми (пользователи из Беларуси и России часто взаимодействуют);
— 3. Сравнивать обычные кластеры. Но разные модели кластеризации дают разные результаты выборок, сценарий тестов нельзя унифицировать и применять всегда, результаты старых и новых тестов будут несопоставимыми;
— 4. Сравнивать эго-кластеры. Кластер формируют эго-вершины и альтер-вершины, которые связаны с эго-вершиной и взаимодействуют с ней;
— Эго-вершина должна подходить под критерии эксперимента;
— Кластер строится на основе графа взаимодействий, например, графа дружб, сообщений и так далее (надо подходить творчески);
— Минусы: не подходит для долгосрочных экспериментов, нужна большая аудитория, не подходит для тестирования изменений, направленных на расширение графа;
— Параметр Ignored vertices degree — отсечение эго-вершин, у которых альтер-вершин больше заданного предела. Такие эго-вершины повышают алгоритмическую нагрузку, плюс их альтер-вершины нельзя включать в другие кластеры.

#ab_testing