Ошибка «поверхностных выводов» 😖

Мы стараемся строить data-driven бизнес, т.е. принимать решения не «на ощупь», а на основании цифр. Однако я постоянно встречаюсь с ошибкой «поверхностных выводов». Ее допускают и члены моей команды, и я сам, и другие опытные предприниматели, и наши студенты, и вообще все. Это особенность работы мозга: он пытается минимизировать трудозатраты и побыстрей решить сложную задачку. Но такая ошибка может привести к сливу миллионов рублей, поэтому очень важно ее фиксировать и гнать в шею.

Ошибка поверхностных выводов - это когда мы принимаем решение, т.к. оно кажется нам «очевидным». Но при дальнейшем исследовании выясняется, что мы совершили серьезную ошибку.

Давайте приведу несколько показательных примеров. Все цифры и метрики изменены из соображений конфиденциальности, но отображают общую картину.

# Пример 1

Мы используем несколько маркетинговых воронок. Например, вебинарную и бесплатный курс. Вебинарную воронку мы продвигаем через посевы в Телеграме, и воронку бесплатного курса - через таргетированную рекламу. Начинается новый месяц и мы хотим вырасти х2 по выручке. Воронка бесплатного курса идет вяло (CR2 - 0.8%), а вот вебинары дают крутую конверсию (CR2 - 3.5%) - стоимость клиента составляет 10% от среднего чека.

Поверхностный вывод: Увеличиваем рекламный бюджет на посевы в телеграме в 2 раза и за счет этого наша выручка вырастет вдвое.

Реальность: Если разложить вебинарную воронку на холодных лидов (кто пришел с посевов) и теплых (наши подписчики), то мы увидим совсем другую картинку. CR2 с посевов всего 0.5%, это даже меньше бесплатного курса! То есть с первого касания люди покупают плохо - основная масса продаж происходить за счет наших подписчиков и людей, которые уже были на наших вебинарах.

Последствия: При увеличении бюджета мы уйдем в убыток почти на всю сумму рекламного бюджета.

# Пример 2

У нас есть 3 вебинара, которые больше всего зашли аудитории. Мы хотим сделать автовебинарную воронку и запустить ее в таргетированную рекламу на холодный трафик. Давайте выберем, какой вебинар запускать:

* Расчет продуктовых метрик с помощью SQL (CR2 - 2.9%)
* Анализ рекламы в Pandas (CR2 - 3.6%)
* Разбор тестового задания в банк Открытие (CR2 - 4.5%)

Поверхностный вывод: Конечно, разбор тестового в Открытие, т.к. у него самый высокий CR2.

Реальность: Как и в предыдущем пункте, если разбить лидов на две группы, станет видно, что продаж с холодного трафика почти не было - все продажи были с теплой базы. В то же время первые два вебинара проводили только на холодную аудиторию и показали супер крутой результат по CR2.

Последствия: Запуск воронки потребует неделю и около 20 000 рублей, бюджет на тест - несколько сотен тысяч, длительность теста - 3 недели. Итого мы бы потеряли около 400 000 рублей и месяц времени.

# Заключение

Таких примеров я могу привести еще очень много и с разными метриками - они встречаются каждый день в большом количестве. Но теперь вы знаете, в каких ситуациях таится засада поверхностных выводов и как с ней бороться - просто ковыряться глубже 🙂

Давайте наберем 40 китов 🐳 и я выложу еще 3 примера поверхностных выводов с другими метриками - с CPL, retention и не только.