⏱ Сколько “крутить” тест в META?
Частый вопрос на консультациях/курсе: “сколько надо спенда (набрать конверсий), чтобы принять решение по тесту: скейлить или стопать?”
Я ниже дам простое объяснение. Кому интересны математические подробности - есть по ссылке.

💡 Вкратце идея
• AEM/Web2App
Смотрим цену на инсталла и цену покупки на определенном спенде. Не попадаем в KPI -> стопаем.
• Веб-воронка
Смотрим на цену регистрации и покупки на определенном спенде. Не попадаем в KPI -> стопаем.

🎲 Описание проблемы
Допустим у нашего приложения LTV = $30. Получаем цену привлечения пользователя (чтобы отбиватья в 0) - это $30.
Допустим мы пролили $30 спенда и не получили ни одного пурча. Какая вероятность такого события?

Если считать покупки пуассоновским процессом с lambda=1, то

Получаем:
• Вероятность получить 0 покупок: 36.8%
• Хотя бы 1 покупки: 63.2%

Таким образом spend = $30 - это очень ненадежный индикатор состояния тестовой кампании. Надо продолжать лить, набирать больше спенда и потом принимать решение.

ОК, льем дальше. Пролили $90 - какая вероятность получить 0 покупок с LTV=$30 на это объеме? Вероятность: 5%. Нас устраивает такая точность - и мы принимаем решение остановить неэффективную кампанию.

С инсталлами и регистрациями то же самое. Только цена инсталла/регистрации ниже: в покупку конвертируется не больше 20%, значит лид должен стоить не дороже 20% LTV. Осталось только понять на каком спенде принимать решение.

⚙️ Настройка под клиента
У каждого клиента два собственных параметра:
• LTV приложения.
Берём из аналитики клиента. Либо на старте ставим какое-то стандартное по нише.
• α (произносится как “альфа”) - строгость алгоритма.

α = 5% соответствует уверенности 95%.
С таким порогом одобряют лекарства. Кампанию на границе окупаемости алгоритм выключит по ошибке в 5% проверок.
α = 15%
режим для тех, кто тратит бюджет только на то, что точно работает - высокомаржинальные кампании.

📊 Таблицы
Расчитываем две таблицы:
• KPI на цену инсталла/регистрации
• и KPI на цену покупки.

Пример для LTV $30 на скриншоте

🤖 Техническая реализация
Вся математика - часть скейлинг бота. Каждое утро от него приходят отчеты по всем клиентам “что стопнул / что продолжает лить”.

💸 Почему это важно?
Единственный сценарий при котором мои клиенты теряют деньги - это тестирование новых креативов. На невнимательность / или неправильно посчитанные KPI мы не тратим деньги совсем.

🧮 Что под капотом в трёх предложениях
Число покупок при заданном расходе подчиняется распределению Пуассона. Считаем вероятность увидеть столько покупок или меньше, если кампания ровно на границе окупаемости. Вероятность ниже α - выключаем.

Полный разбор с графиками и симуляцией

🔗 Подробности о реализации бота
На модуле AI в User Acquisition. Модуль можно приобрести отдельно от курса.
✍️ Вопросы - в личку: @SiberianPaaanda