Сезонность и А/Б тесты #abtesting

Суть А/Б тестов в том, чтобы проверить изменение при прочих равных. По идее, сезонность не должна влиять на А/Б тест. Следуя этой логике А/Б тесты можно проводить круглый год. Но это не так.

По ссылке ниже можно попробовать угадать какой лендинг выиграл в декабре и проиграл в январе. После отгадывания можно будет прочесть обоснование.

Вот один отрывок. По ссылке больше интересного.
During the holidays visitors might, for example, be primarily paid traffic users who are urgently looking for a gift, but would never visit the site otherwise.

Мой опыт это полностью подтверждает. Мужчина выбирающий подарок 1 марта и 8 марта утром - это две принципиально разные модели поведения. 8-го числа утром преимущественно людей волнует наличие, как часть потребности «быстро забрать подарок».

Тестировать в это время любое изменение, направленное на осознанную покупку, скорее всего либо проиграет, либо будет нейтральным.

Старайтесь избегать А/Б тестов в высокий сезон.