Сколько надо трафика для А/Б теста?
Начинающий уровень. Скорее всего у вас очень мало трафика. Сейчас лучше не обращать внимание на предварительный расчет трафика:
- никто не знает на сколько может выиграть тот или иной эксперимент
- у вас даже нет истории экспериментов, чтобы сказать на сколько в среднем у вас эксперименты выигрывают
- вы только начинаете А/Б тесты и это значит, что до этого момента всё делалось на основе чьего-то субъективного мнения, что в свою очередь значит, что конверсию можно увеличивать в разы, так как никто понятия не имеет что работает, а что нет.
Просто начните тестировать и проведите 20, 30, 50 тестов.
Средний/Продвинутый уровень. Этот вопрос не имеет смысла, так как объём трафика зависит от базовой конверсии и роста конверсии. Какой будет рост никто не знает. Потому посчитать сколько нужно трафика никто не может.
Если вы считаете, что можете угадать, то А/Б тесты вам не надо в принципе. Если же вы решили проводить А/Б тесты, то значит вы априори признаете, что не знаете какая гипотеза победит и тем более на сколько.
Более правильный вопрос: какой MDE у нас получается на текущем трафике и текущих метриках за неделю, две недели, четыре недели, шесть и восемь недель? После посмотрите на гипотезу и подумайте, а реально ли эта гипотеза может дать такой рост?
Я понимаю, что никто не знает, но если MDE получится 100% в конечных продажах, то действительно ли вы верите, что данное изменение может удвоить бизнес? Звучит как что-то очень мало вероятное.
Забудьте про трафик, считайте MDE и выбирайте гипотезы для теста с умом.
Post #189
596