Недавно смотрел отчеты нашей кросс-проектной команды — они регулярно делают обзоры продуктовых метрик по всем проектам группы. Метрики у ребят интересные, сложные и непривычные, эпизодически приходится долго думать.

Теперь вот думаю, насколько все же методы формируют нашу картину мира. А если ближе к теме — как структура базы данных влияет на используемые метрики. Классический пример — какое-то время назад никто не собирал точную статистику по заходам пользователей в приложение. Максимум — писали дату последнего логина в таблицу состояния пользователя (условный “профиль”). В результате мы имеем rolling retention как единственную внятную метрику удержания пользователя (stickiness не беру как совсем бессмысленную) — и считать легко, и цифры для инвесторов красивые. Потом стали чаще спускаться на уровень поведения пользователя и логировать каждый заход. В результате retention rate стал стандартом, пусть и с некоторыми нюансами типа метода расчета интервала.

Вот и сейчас — смотрю на метрику, понимаю, что для меня она как минимум спорная. Но она достаточно легко считается при определенной модели данных. Зачем, почему так, есть ли в этом какой-то еще смысл, который я не вижу — буду спрашивать.

Я это постоянно говорю студентам, скажу и тут — утиный тест при чтении чужих отчетов сбоит. Если что-то называется retention/ARPU/conversion/etc, то всегда полезно уточнить, как именно это считается. Оно может быть совсем не тем, чем кажется. Хотя как тренировка гибкости мышления — наверное, неплохая практика. Но для таких целей лучше прочитать Джойса, на мой взгляд.