Метрики, которые врут вам

Стоп стоп стоп, как метрики могут врать?
В целом метрика показывает лишь то, что в неё заложено, но от некоторых часто ожидают большего или совсем не того. И сегодня хотел бы разобрать такую проблему, когда бизнес-метрики могут уводить вас в сторону от реальных проблем и как не попасться в эту ловушку

Почему метрики обманывают:
- Цифры без контекста - это иллюзия контроля. Метрика может расти, но не приносить бизнесу/проекту пользы.
- Люди/команды подстраиваются под метрики, забывая про цели. Когда KPI становится самоцелью, команда начинает "играть" с цифрами, и выкидывает миссию и цель своей работы.
- Одна метрика редко отражает всю картину. Без комплексного подхода легко принять ошибочное решение.

Хоть я и перечислю часто встречающие, но на самом деле любая метрика может ввести в заблуждение, когда не знаете как она посчитана. Главное поймите логику, того какие выводы не нужно делать на основе метрики.

ТОП 5 часто встречающихся:
1️⃣ Средний чек клиента
Метрика определённо важная, но её реализация везде разная. Проблемы метрики:
- Важно делить её на кагорты. Допустим средний чек клиентов совершавших покупку на сайте 1, сайте 2 и сайте 3. Если же этого не делать, то метрика не показывает ровным счётом ничего.
- Размер выборки и дельта между самым малым и самым крупным. Например у 9 клиентов купили на сумму 100р и 1 на сумму 10000р. Итого средний чек будет 1090р. Какой бы вывод мы не сделали на таком среднем чеке он окажется ошибочным.
- Отсутствие динамики в метрике. Часто бывает так, что смотрят средний чек за всё время существовании компании. В итоге новый клиент вообще никак не влияет на показатель, так как основная масса состоит из исторических данных. Нет смысла считать средний чек по десятилетним данным.
2️⃣ Время на сайте
Человек открыл сайт и забыл закрыть, открыл, чтобы потом почитать и т.п. Сколько у вас вкладок сейчас в браузере открыто? Вот то то и оно. Метрика не показывает ничего.
Нужно комплексно изучать активность пользователя на сайте, и не полагаться целиком на "время на сайте"
3️⃣ Количество выполненных задач
Вроде бы понятно что задача, задаче рознь, но всё равно многие руководители постоянно ориентируются лишь на цифру выполненных. Но 50 выполненных задач "Выдать доступ" никак не равны даже 1 задаче "Интеграции с партнёром". Однако разбираться тяжело, поэтому "выполнена 51 задача", создаёт иллюзию контроля.
4️⃣ Количество лайков под рекламными постами
Маркетологи частенько любят "подменять цель" и сообщают о том, что размещённые посты при интеграции с блогером собрали столько то лайков и просмотров. Лайки приносят деньги компании? Нет. Лайки влияют на узнаваемость бренда? Нет. Для бизнеса вообще плевать сколько там лайков под рекламным постом. Важно какую пользу принесла реклама. Отследить, часто сложно или невозможно, поэтому зачем-то смотрим на лайки.
Да и на "просмотры" тут тоже важно с оговоркой смотреть. Например видео 10 минут идёт, реклама на 9-ой минуте. Как минимум из количества просмотров нужно выкинуть тех, кто не досмотрел до 9-й минуты, кто перемотал. А ещё можно получить интересную метрику - кто выключил видео когда началась реклама. Интересна она прежде всего самому блогеру, так как показывает лояльность его аудитории к нему и к рекламируемому бренду в совокупности.
5️⃣ ROI
ROI (возврат инвестиций) считается по формуле - ((Доход - Затраты) / Затраты) * 100%.
- Эту метрику любят использовать "инфоцыгане". На самом деле она попросту не валидная, так как при её расчётах забывают про большую часть расходов. Т.е. в 99% случаев метрика посчитана так:
Потратили на рекламу 100$ получили заказов на 200$. ROI - 100%, круто да?
Но за скобками остались: затраты на поиск связки, тестирование подходов, покупка сервисов, аккаунтов, зп таргетологов и так далее.
- ROI никак не учитывает долгосрочные эффекты, удовлетворённость клиентов. Можно получить красивую цифру, просто "выжигая" аудиторию. И тут не нужно удивляться, что завтра ROI станет отрицательным, хотя ничего не менялось