Интересное мнение по проведению и оценке #splittest.

Общепринятая #analytics говорит, что нужна достоверность на уровне 95%, а мощность на 80% и если выиграл, то всё отлично. Это правильно с точки зрения математики.

За 8 лет моей работы с А/Б тестами, самое распространённое возражение бизнеса «почему ваш рост в 10%, я не вижу в бухгалтерских отчётах»?

Собственно мнение. Снижаем достоверность до 90% (p-value=0.1), а мощность до 60% или ещё ниже. Таким образом тесты будут завершаться сильно быстрее. Успешные тесты внедряем для всего сайта. Итого у нас есть три временных интервала: 1. До запуска теста. 2. Во время проведения теста. 3. После внедрения теста.

Так вот логично предположить, что если тест таки выиграл и дал действительный рост на 10%, то мы должны увидеть следующее: 1. Старая конверсия. 2. Конверсия +5%. 3. Конверсия +10%. Всё, что нам необходимо это подождать немного времени для п.3.