Возвращаясь к вопросу о метриках - на этот раз о продуктовых метриках. Можно иметь сотни графиков (и у нас есть), но они никого не сделают счастливым, если не дают простых ответов. А вопрос стоит только один - улучшило ли изменение продукт?

Что значит "улучшило"? Пойдем от обратного. Если мы сделали новую фичу и видим, что ей пользуются - стал ли продукт лучше? Вообще не факт. Мы видим только то, что фичей пользуются. Если в коридоре поставить дверь, то ее будут открывать и закрывать 100% пользователей, но стал ли коридор от этого лучше - мы не знаем.

"Лучше" определяется только через влияние на показатели продукта в целом. 1го порядка - выручка / аудитория / вовлеченность. 2го порядка - приток клиентов, текучка клиентов, средний чек, время жизни пользователя, удовлетворенность и тп. Можно строить 3й и более дальние порядки - нужно только в любой момент понимать, как дальняя метрика влияет обратно на более первичные. Чем чаще ходят в магазин - тем больше выручка, хорошо.

Соответственно, для построения метрики нужна гипотеза - что именно изменится и как. Но изменения тоже есть разных порядков. Скажем, у нас продукт и так растет на 1000 пользователей в месяц. Если мы что-то сделали и получили +1000 пользователей за месяц - то мы что-то улучшили? Нет, потому что это продолжение старой динамики. Значит надо смотреть на производную (в математическом смысле) - на ускорение прироста.

То есть, нужно выбрать метрику продукта в целом (1), понять ее текущий тренд(2) и предположить изменение следующего порядка (3). Для констант - абсолютный прирост. Для растущих показателей - ускорение роста. И т.д.

Это разумеется, касается, только задач развития продукта. Если они не могут ничего изменить, то никакого развития не происходит. Может быть это был неверный шаг, а может быть уже нет и потенциала для развития - уперлись в стену, такое тоже бывает

В отношении "долгов" решается задача удержания - то есть предотвращения риска, что какая-то метрика вдруг ухудшится. Но измерить это наверное никак нельзя, кроме булевского "проблема случилась" или "не случилась"