Опережающие/прокси метрики

Как быть, если стратегическая метрика покажет изменение через полгода, а времени ждать нет? Использовать опережающие метрики.

Что это

Опережающие метрики или прокси - это метрики, которые с одной стороны сильно связаны с вашей стратегической, с другой более чувствительны к изменениям и могут быстро подсветить динамику.

На примере

Мы работаем в онлайн кинотеатре, наша страт метрика - LTV (life time value). Чтобы не ждать год после очередного теста с онбордингом или пейволом, мы используем опережающие метрики типа:

- C0, конверсия в оформление триала
- C1, в первое списание
- C2, во второе

Дальше, на основе них строим прогноз по росту и влиянию на LTV в долгосроке. Так ускоряем циклы обратной связи от изменений и не тормозим.

Как собрать под себя опережающие метрики

Декомпозировать стратегическую на подметрики. Справиться с задачей поможет пирамида метрик или иерархия метрик (недавно семинар про это проводил).

Логика:

LTV, это что?

- LT и ARPU

А еще что?

- C0, C1, C2

А еще что?

- Время смотрения на пользователя за период времени

...и т. д.

На выходе получаем меню из разных показателей. Далее выбираем те, которые сильнее всего влияют на нашу страт метрику и могут относительно быстро показывать изменения.

В примере выше, C0 (конверсия в оформление триала) напрямую связана с LTV, потому как чем больше людей возьмут триал, тем выше вероятность, что они попробуют продукт и останутся дольше в подписке. Плюс, C0 довольно чувствительна и сразу же подсветится в экспериментах с воронкой: онбординги, рега, платежные экраны.

Но есть нюансы

Самые внимательные могли зацепиться за слово "прогноз" рядом с опережающими метриками. А что может случиться с прогнозом? Верно, он может не сбыться. То есть, ты видишь, что опережающие метрики растут, прогнозируешь, что через год выхлоп будет на Х, год прошел, стало 0,5Х: рынок поменялся, законодательство, криво посчитали и куча чего еще...

А делать-то что

Анализировать силу связи опережающих метрик с фокусной на прошедших изменениях. Увеличили C0 на 10%, LTV подросло на 2%. Чем лучше мы понимаем влияние, тем точнее будет модель прогноза.

Допом, развивайте модель через коэффициенты и поправки на события. Расширяйте взгляд на контекст и пытайтесь закладывать события в прогноз. Да, сверх точности не будет, но она явно повысится по сравнению с игнорированием изменений вовсе.

Заканчивая

Хочу сказать, что использование опережающих метрик даёт возможность быстро принимать решение, но их качество будет зависеть от понимания того, как эти метрики работают под капотом.

#продуктовыеметрики