Ваше безумие или «сколько надо трафика, чтобы провести А/Б тест?»

Все задаются этим вопросом и в сети есть куча калькуляторов, которые с радостью посчитают для вас тот самый объём трафика, только всё это... эм... иллюзия контроля.

Для расчёта объёма трафика необходимо задать два значения:
1. Базовая конверсия (это то, что у вас есть сейчас) aka baseline.
2. Рост, который вы хотите измерить aka minimum detectable effect. (MDE)

Первое вы можете посмотреть у себя в аналитике. Второе вы посмотреть не можете.

Что же вы можете? Это зависит от уровня вашей осознанности: от спрогнозировать (для любителей контроля и заблуждений) до угадать (для любителей безжалостной реальности).

Если один из двух параметров для расчёта нужного объёма трафика является просто напросто догадкой, то и результат будет уровня догадки.

Что реально делать? Считать трафик не нужно, вы его и так знаете. Формулу надо вывернуть на изнанку и просто посчитать MDE.

MDE может получится 2%, может получится 10%, или даже 50%, а то и 150%... Стоит ли запускать тест, где минимальный рост должен быть 2.5 раза чтобы математика сработала? Вот здесь и проверяется на сколько вы безумны...