В продолжение вчерашнего поста о точке входа в #splittest. Вопрос: почему точка входа должна быть там, где начинаются изменения?

Эксперимент и данные
Страницу посещает 1000 человек в день. Всплывающее окно видят 100 человек в день. Целевое действие (наша конверсия) на всплывающем окне выполняют 10 человек в день.

Конверсия в целевое действие от посетителей 1%, от просмотров всплывающего окна 10%. Допустим мы тестируем гипотезу и предполагаем рост на 10% (до 1.1% или 11% соответственно).

Почему точка вхожения в тест - это показ всплывающего окна? У меня 2 аргумента.

Первый аргумент

Для CR = 1% и относительного роста 10% надо 157697 посетителей на вариацию. В нашем случае - это 316 дней.

Для CR = 10% и относительного роста 10% надо 14313 посетителей на вариацию. Это будет уже 287 дней.

Таким образом выиграли в сроке ~10%.

Второй аргумент
У нас есть вот такая воронка.

CR1 = 10% - из посетителей страницы в просмотры всплывающего окна. Доверительный интервал 8.3% – 12%.

CR2 = 10% - из просмотров окна в целевое действие. Доверительный интервал 5.5% – 17.4%.

Если мы отодвинем точку входа в тест, то увеличивается вероятность, что можно попасть в неровное распределение на уровне CR1. Это просто факт. Наша задача снижать подобные вероятности, потому точка входа в тест максимально близка к изменениям.