3 ошибки А/Б тестов на ретеншен

Ретеншен пользователей – очень коварная метрика, которая легко тебя вводит в заблуждение. Делая тесты на ретеншен часто кажется что ничего не поменялось, хотя эффект на самом деле есть и будет заметен сильно позже. В результате бракуются нормальные гипотезы, или просто тесты заходят в тупик

На своем опыте выбрал три самые частые ошибки:

- Смотрится какой-то общий ретеншен, а не тех кто столкнулся с действием теста. Например, в подсчете участвуют те, кто не прошел онбординг приложения (они никак с тестом столкнуться не могли). Это добавляет в данные +30% шума и мешает разглядеть под лупой позитив.
- Маленькие тестовые группы. Если тест на ретеншен новых, то в тестовой группе минимально должно быть по 5к инсталлов в день на протяжении недели. Лучше больше. Если нет столько трафа – то лучше без тестов. Помните, что 30-50% пользователей удаляют сразу после установки, чтобы не забивать телефон. Поэтому из 10000 купленных инсталлов полезными для тестирования будут далеко не все
- Короткий период оценки. Рост продукта строится на ретеншене 90-180 дня, а не первых 30ти дней. Редко кто смотрит дольше 30ти дней, хотя вся экспонента и окупаемость продукта кроется как раз на юзерах в зоне между 30м и 180м днем жизни. Например, в тестах на ленту мы смотрели когорты не менее 8ми недель, только после этого периода был виден качественный рост

В тестах на ретеншен важно смотреть как меняется вовлечение в продукт и за счет чего именно этот ретеншен растет. Ретеншен это всегда про ценность, и важно понимать что именно хотят юзеры.

Если у вас какая-то херня с тестами и вы не можете разобраться – берите у меня консультацию