Число пользователей страницы не равно числу пользователей, которые попадут под экспериментальное воздействие

Например, есть какая-нибудь страница на ней 10000 пользователей за месяц и конверсия 5%.

Допустим вы ожидаете, что АБ тест даст прирост на 2%, с 5% до 7%. Есть понятие триггер - место в котором пользователь получает экспериментальное воздействие. Допустим триггер - ваше тестовое изменение находится на 4 экране страницы.

Если у вас на странице настроены события глубины скроллинга, то вы можете оценить сколько пользователей доходят до триггера. Может оказаться, что только 10% доходят до триггера. Соответственно экспериментальное влияние получит только 1000 пользователей.

Давайте посчитаем, какая конверсия должна быть у пользователей кто доскролил до триггера, чтобы получить рост конверсии до 7% на всем объеме трафика страницы. Возьмем исходное условие, что изначально у тех кто доскролил/не доскролил конверсия 5%


Решим уравнение для поиска конверсии группы подвергшейся экспериментальному воздействию
9000*0,05 + 1000x = 700

9000 - это те кто не доскролил до тригера, 0,05 - их конверсия
1000 - это те кто попадут под воздействие триггера, x - конверсия, которая должна у них быть, чтобы на всем объеме траифка мы получили 7%
700 - это число конверсий, при конверсии в 7%

Решив уравнение получим, что для того чтобы вырастить конверсию до 7% на всем объеме трафика только за счет триггерной группы, необходимо, чтобы конверсия триггерной группы увеличилась с 5% до 25%

Проверим, если подставим в уравнение, то получим равенство
9000*0,05 + 1000*0,25 = 700

Какой вывод из этого можно сделать
1. Если вы планируете изменение НЕ на первом экране страницы, то НЕ 100% пользователей увидят изменение

2. Чем ниже экран тем меньше пользователей дойдут до него.

3. Чем меньше у вас пользователей, которые получат экспериментальное воздействие, тем больше должен быть эффект, чтобы вытянуть метрику на всем объеме трафика страницы.

4. В нашем примере для увеличения конверсии на всей странице на 2 п.п. , потребовалось бы увеличить конверсию на 20п.п в группе которая подверглась экспериментальному воздействию.

5. Поэтому в идеале до старта эксперимента понимать, а какой объем пользователей действительно попадет под экспериментальное воздействие, а какая сейчас базовая конверсия для этих пользователей, а мы действительно верим что сможем обеспечить рост общей метрики только за счет этой группы пользователей?

P.S. Ура, мне пригодилась математика для решения уравнения (к вопросу о математике для аналитиков)