Я работаю в команде платежей, поэтому основные A/B тесты у нас проводятся на последнем этапе воронки - от нажатия кнопки “Купить” до успешной оплаты. Мы используем конверсию в успешную оплату как ключевую метрику и ARPPU как вспомогательную, это достаточно стандартный подход.
Иногда бывает, что одна из метрик падает, а другая растет. Чтобы понять, что на самом деле происходит с выручкой, мы используем прогнозную финмодель. Мой коллега Рома читал про это очень крутой доклад на Aha-25 (ссылка вот, попозже я может напишу развернутый отзыв на конфу).
Небольшая сноска про термины 🤓:
Средний чек (Average Order Value, AOV) - это просто вся выручка, деленная на количество транзакций, то есть буквально среднеарифметическое.
ARPPU (Average Revenue Per Paying User) - средняя выручка на платящего пользователя.
Пример: пользователь 1 купил на 200р, пользователь 2 купил на 100р, потом еще на 300р. Тогда средний чек будет (200+100+300)/3=200, а ARPPU = (200 + (100+300))/2 = 300, так как платящих пользователей 2 в этом примере.
Есть еще метрика ARPU - Average Revenue Per User, средняя выручка на пользователя (включая тех, кто не заплатил).
ARPPU будет всегда больше чем средний чек, как минимум не меньше.
В контексте A/B тестов эти метрики считаются базовыми и разбираются на любом курсе.
Моя ошибка была в том, что я считала средние чеки (просто
mean(revenue)), но почему-то думала что это уже ARPPU, таким образом проанализировала несколько результатов тестов. Ошибку случайно заметил продакт, когда сверял исторические данные и увидел, что мои значения "ARPPU" по порядку величины подозрительно похожи на средние чеки 🤦♀️. Пришлось пересчитывать, благо принципиально выводы не поменялись, но несколько тестов были признаны неуспешными, а после пересчета оказалось, что все нормально.Почему используется именно ARPPU как метрика в A/B тестировании?
В принципе, можно использовать разные денежные метрики в зависимости от поставленной задачи. В нашем случае мы рассматриваем ARPPU в связке с конверсией. Используя финмодель, эта связка помогает принимать решения не “на глазок”, а с прогнозом реальной выручки. Но только если метрики посчитаны правильно — теперь я это точно не забуду 🙃
#analytics #AB_tests