Калькулятор A/B экспериментов для продакт менеджеров

Когда я (Андрей Менде) работал над курсом по A/B тестированию для продактов, я сформулировал за что именно отвечает продакт в команде, которая интенсивно проводит эксперименты. Продакт-менеджеру не нужно разбираться в разных статистических тестах, не нужно думать про корректировку метрик – это зона компетенции аналитиков.

Продакт должен уметь выбрать правильную целевую метрику для эксперимента, и оценить соответствует ли предлагаемое изменение тому трафику, который сейчас проходит через продукт.

В зрелом продукте, где очень много посетителей, можно попробовать поменять текст на кнопке. Даже если конверсия вырастет всего на 0.5% – тест покажет это за две недели и это даст значимый прирост ежедневной выручки.

Если попробовать сделать такое же изменение в стартапе с сотней посетителей в неделю, то для того, чтобы тест стал значимым при аналогичном улучшении конверсии, уйдет несколько лет, а рост выручки не окупит даже времени, затраченного на редактирование текста.

Чтобы оценить свою гипотезу надо пользоваться калькулятором размера выборки A/B эксперимента. Есть несколько публичных калькуляторов, но ни один из них не казался мне удачным. Между тем какое изменение конверсии мы можем зафиксировать и длительностью теста есть зависимость. Почему нельзя ее просто визуализировать для продакт менеджера? Увидев график он легко примет решение, проводить ли тест, а если проводить – то как долго.

Когда я начал проходить курс Владимира по AI прототипированию (курс огонь, рекомендую!), после первого же урока у меня не было сомнений, какой первый сервис я буду вайбкодить.

Итак встречайте:

🧮идеальный калькулятор A/B тестов для продактов от ProductDo

В этот калькулятор нужно ввести только две величины, которые вы и так знаете:

- количество посетителей в неделю
- текущая конверсия в целевое действие

и калькулятор выведет вам график, который показывает за сколько недель можно надежно задетектить определенное изменение целевой метрики. По графику вы сможете быстро оценить адекватная гипотеза или нет для текущей стадии продукта.

Все параметры, введенные в калькулятор, зашиты в URL страницы, поэтому вы в любой момент можете скопировать ссылку, отправить ее или сохранить в документе – по ней откроется тот же расчет, который вы видите на экране.

Сохраняйте себе и пересылайте коллегам!