Размер имеет значение

Я уже много раз писал о том, что при проведении аналитики очень важно не скатываться в поверхностные выводы или фейковую аргументацию (если не читали — крайне рекомендую).

Однако есть еще одна ошибка, которая даже страшней. Речь про выбор метрики с маленьким рычагом влияния. Давайте рассмотрим пример.

Вот вы анализируете поведение пользователей мобильного приложения и пытаетесь понять, как зарабатывать больше. Вы понимаете, что ваш средний чек чуть ниже рынка. И вы делаете логичный вывод — направляете фокус внимания туда и начинаете продумывать различные продуктовые и маркетинговые механики для роста этого самого среднего чека.

В итоге — средний чек действительно вырос, только вот компания богаче не стала. А почему? Вроде же все правильно проанализировали и даже выводы все правильные были. А все очень просто — в данном случае у метрики «средний чек» изначально был очень маленький рычаг влияния.

Под «рычагом влияния» тут имеется ввиду максимально возможный результат, который можно получить, повлияв на эту метрику. И именно в этом заключается ошибка — люди выбирают для работы метрику, у которой рычаг влияния не максимальный.

Что интересно: как правило, это понятно еще на старте. Например, мы на прошлом потоке тренинга строили такую штуку, как полное дерево метрик (сейчас кстати идет набор на новый поток — залетайте). Это такая монструозная история с большим количеством веток и листьев, но по ней как раз очень легко оценить этот самый рычаг — ты просто перемножаешь/складываешь все значения от листа к вершине дерева и получаешь пиковый результат на прибыль. Если у метрики «lifetime» при увеличении на 1 месяц рычаг больше, чем у «среднего чека», то и силы надо тратить на lifetime.

У аналитиков такое встречается регулярно. Мы начинаем ресерчить не в те метрики, мы объясняем рост/падение не теми метриками, мы предлагаем гипотезы, которые априори не самые сильные. Но эта же концепция подходит и для смежных сфер — например, продактам и маркетологам для приоритезации беклога.

Вот интересно — было у вас, что вы что-то анализируете/считаете/делаете, а потом понимаете, что это просто мелкий кипиш и изначально обречено на весьма посредственный результат? Поделитесь в комментариях — было или я один такой суетолог? 😄