🤞 Почему важно учитывать недельную сезонность при планировании срока проведения АБ теста?

Под недельной сезонностью я имею в виду будни и выходные дни. Я считаю важным, чтобы в эксперимент попали пользователи, которые приходят не только в будние дни, но и в выходные, т.к. поведение таких пользователей может сильно отличаться.

Одно из условий для того чтобы мы могли экстраполировать результаты эксперимента на ген. совокупность - это репрезентативность выборки, т.е.выборка должна быть сопоставима по характеристикам с общей популяцией, т.е малой копией ген. совокупности.

Рассмотрим пример. У вас сайт тур агентства и вы решили запустить акцию, скидка в выходные 50% на туры, чтобы поднять конверсию. Посчитали выборку и оказалось, что вам достаточно собирать данные 5 дней. Вы запускаете эксперимент в пн, а пт останавливаете.

В результате обнаруживаете, что конверсия варианта с акцией сильно ниже, чем варианта без акции. Но на самом деле это не так. Просто люди, которые пришли на вариант с акцией, ждут выходных, чтобы вернуться и сделать заказ и если вы бы подождали полный недельный цикл, то победил бы вариант с акцией.

Это довольно топорный пример, легко догадаться, что люди будут ждать выходных чтобы купить по акции.

Зачастую при планировании реальных АБ тестов мы не знаем всех сегментов пользователей и не можем заранее знать будет ли отличаться поведение пользователей в разные дни недели между вариантами теста, поэтому лучше перестраховаться и учесть недельную сезонность, даже если вам достаточно выборки за меньший срок.