Мы выполнили KPI по регистрациям на 120%. Хорошо? Ну да, а чего же. Пошли на выручку смотреть, а она упала. Копнули глубже трафик, оказалось, что ботов нагнали. Премия получена, но в целом компании нехорошо.
Пожалуйста, словили закон Гутхарда.
Капелька истории
В 1975 году британский экономист Чарльз Гудхарт сформулировал закон, который звучит так:
«Когда метрика становится целью, она перестает быть хорошей метрикой».
Простыми словами как только вы привязываете к конкретному показателю бонус, повышение или оценку успеха команды, люди перестают делать хороший продукт. Они начинают «хакать» систему и оптимизировать все под одну цифру даже в ущерб здравому смыслу.
Примеры, когда плохо
Посмотрим как не надо делать.
💩 Разработка
Цель - количество строк кода.
Итог: разработчики пишут раздутый код без рефакторинга.
💩 QA и Баги
Цель - количество закрытых багов. Итог: тестировщики заводят микро-баги (опечатки, съехавший пиксель), а разработчики их героически фиксят. Реальные проблемы висят в бэклоге.
💩 Продукт
Цель - увеличить дневную аудиторию. Итог: команда начинает спамить юзеров кликбейтными пушами. Люди заходят, плюются и закрывают приложение. DAU растет, Retention и лояльность летят в пропасть.
Как лечить
Два простых правила.
1. Используйте метрики-противовесы
Если измеряете скорость ответа поддержки (Time to resolve), обязательно трекайте удовлетворенность (CSAT). Ускорение не должно ломать качество.
2. Не привязывайте мотивацию к одной прокси-метрике
KPI должны быть комплексными и привязанными к финальной ценности для бизнеса (например, LTV или Profit), а не только к промежуточным шагам.
Бонус
Если внутри компании используете North, то она неплохо будет калибровать вас и подсветит не свернули ли вы не туда в погоне за красивыми дашбордами.
Примеры, когда хорошо
Посмотрим как надо.
😍 Маркетинг и Рост
Цель: Снизить CPA (стоимость привлечения) или увеличить количество регистраций.
Противовес: Retention 7/30 дня (Удержание) или LTV.
Почему это работает: Защищает от налива дешевого «мусорного» трафика или мотивированного инсталла. Маркетологи больше не смогут выполнить KPI, просто приведя ботов или нецелевую аудиторию - им придется следить за тем, остаются ли эти люди в продукте.
😍 Разработка и DevOps
Цель: Time-to-Market (скорость выкатки фич) или Velocity в стори-поинтах.
Противовес: Change Failure Rate (процент релизов, приведших к сбоям) или количество багов на проде.
Почему это работает: Команда не сможет гнать сырой код в продакшен просто ради того, чтобы закрыть спринт. Скорость уравновешивается стабильностью системы.
😍 E-commerce и Монетизация
Цель: Conversion Rate (Конверсия в покупку).
Противовес: AOV (Средний чек) и Margin (Маржинальность).
Почему это работает: Самый простой способ задрать конверсию — раздать огромные скидки. Продажи взлетят, конверсия будет зеленой, но бизнес сработает в минус. Парная метрика заставляет команду искать баланс между объемом продаж и прибылью.
Нюансы и конец
Многие думают, что проблема в самих метриках, но закон Гудхарта работает тупо на человеческой психологии. Мы идем по пути наименьшего сопротивления. Человек не будет себе осознанно усложнять жизнь, а раз так, то зачем заведомо ему ставить цели, которые захочется хакнуть?
#продуктовыеметрики