Ещё одна #байка, близкая к реальной жизни.

Числа все проставлены произвольно, не имеют никакого отношения к реальным показателям никакого бизнеса, все сходства - совпадения.

Провёл какой-то бизнес три разные рекламные кампании, получил результаты как на картинке. А потом, ход конём, ответственный гордо говорит о том, что итоговая конверсия всех рекламных кампаний больше 2%.

Как он это получил? Ну вот есть три кампании, у них конверсии 1,25%, 0,86%, 4,2%. В среднем 2,1%. Мы молодцы!

Так делать, конечно, нельзя просто по правилам арифметики. И среднюю скорость так считать тоже нельзя.

В данном случае мы видим две большие кампании, которые привели много платящих с "обычной" конверсией около 1%. И имеем одну кампанию с маленькими охватами, но очень высокой конверсией. Как так вышло? Могут быть разные варианты, но скорее всего, это была кампания на более узкую, но более готовую к покупке аудиторию. Здорово, что так получилось. Но, скорее всего, если бизнес попробует масштабировать кампанию №3 на более широкие охваты, то получит снижение конверсии, увы.

А как правильно посчитать итоговую конверсию?

Вообще это делать необязательно, это будет та самая "средняя температура по больнице": усреднение очень разных показателей (кампаний "на охват" и "целевых" кампаний), результат которого даст мало информации о ситуации сейчас и ещё меньше о ситуации завтра. Так что мы имеем полное право не считать среднюю конверсию вообще.

Но если очень надо, то арифметика простая: 1) складываем всех платящих (надеюсь, у нас один человек не может быть привлечён несколькими кампаниями одновременно, но это отдельный долгий разговор), 2) складываем всех посетителей, 3) делим одно на другое.

В результате шикарный эффект маленькой кампании практически не будет заметен: итоговая конверсия всех кампаний будет 1,07% (и будет соответствовать средней конверсии по рынку по данным некоторых источников).

Похоже, это неинтуитивно, потому что похожую ошибку делали при мне десятки очень умных людей. Но против арифметики не попрёшь.

Что можно тут сказать? Проверять даже банальные вещи на калькуляторе (или на тайной вкладке в экселе) не стыдно и совершенно нормально.

Поделитесь в комментариями похожими случаями в вашем опыте?