Сколько людей реально нужно для АБ-теста

Возьмём конверсию в покупку 3% и 5%.

Сколько людей нужно прогнать через два варианта, чтобы понять, что новый реально лучше, а не просто случайно повезло - на картинке 🔝

Вот почему совет «всегда что-нибудь АБ-тестируй» немного оторван от реальности маленьких апок.

Если пэйвол видят 1000 человек в месяц, то 3% → 6% ещё можно проверить относительно быстро.

А 3% → 3,3% ты будешь проверять буквально годами.

Поэтому чем меньше трафика, тем более крупные гипотезы надо тестировать. Не «меняем текст», а другой оффер, позиционирование, другой способ показать ценность.

Вначале нужно больше концентрироваться на тестировании верха воронки.

Иконку и страницу стора видят все юзеры. До онбординга доходит уже меньше. До пэйвола ещё меньше. До покупки совсем мало.

То есть приоритет примерно такой: иконка → скриншоты → онбординг → пэйвол

Не потому что пэйвол менее важен. А потому что на маленьком трафике он будет очень долго набирать данные.

Сначала имеет смысл искать изменения, которые могут дать x1,5–2, и делать это там, где больше всего людей.

А когда трафика станет дохрена, тогда уже можно месяцами выжимать +5–10% из пэйвола.