​​АB-тестирование и работа с когортами

О работе с когортами много говорят, но часто непонятно, как с ними правильно работать. Об этом пойдет речь ниже.

Google Universal Campaign - один из источников трафика для нашей игры. Мы оптимизируем кампании под инсталлы, поэтому почти все наши игроки с Google неплатящие. Из экспериментов нам уже известно:
1. Если показывать больше рекламы платящим игрокам на первых уровнях, то такие игроки раньше уходят и суммарное количество показанной рекламы таким игрокам меньше.
2. Игроки с Google проходят меньше уровней в игре.

Мы хотим проверить гипотезу: если показывать больше рекламы на первых уровнях игрокам с Google (которые не платят и рано уходят из игры), суммарное количество показов вырастет.

Запускаем эксперимент только на игроках с Google:
Показываем игрокам рекламу сразу, начиная с первого уровня, и убираем ограничение на показ рекламы (можем в течение 1 минуты показать несколько раз). Для контрольной группы показываем только на уровнях 2, 4, 6… и оставляем ограничение - не более 1 показа в минуту.

Результат. Суммарное количество показов выросло: доверительный интервал -0.098 — 2.94, вероятность 93.2%. Хотя и рекомендуют принимать решение при вероятности выше 95%, мы немного жульничаем и делаем вывод — показываем игрокам с Google больше рекламы на первых уровнях.