Закончил большой и муторный отчет. Дался очень тяжело. И даже не из-за конца года и наложившихся релизов. Зато чуть точнее и четче сформулировал для себя стратегию исследования продуктовых изменений, в которых мы как-то радикально влияем на поведение пользователей.

Например, мы хотим пошатать экономику и поэтому меняем важный параметр в мете (размер награды, таймеры, количество очков рейтинга, ТТК, скидки в офферах, что угодно). В идеале, если мы еще на этапе продумывания интервенции соберем курултай с ГД (или великий курултай с привлечением продюсера, пм и топов). И проговорим-пропишем, как поменяется поведение и промежуточные метрики пользователей, какие будут эффекты второго и третьего порядков.

Подобная интервенция похожа на бросок камня в воду -- действие одно, а волны идут во все стороны, затрагивают важные и не всегда очевидные процессы. Так, если мы увеличиваем размер награды, то одним из эффектов будет рост прокачки оружия и/или уменьшение покупок паков с хардой. Эффекты второго порядка -- изменение боевых статистик типа винрейта или kd. Третьего -- пользователи быстрее летят по уровню и быстрее оказываются в котле с более злыми противниками, где могут как отвалиться, так и заплатить. И так далее, но это все уже весьма измеримые вещи. А имея такую модель и набор ожидаемых эффектов, проще проверять, сработала ли наша интервенция и как.

Конечно, мастерство аналитика в том числе и заключается в способности генерировать и проверять гипотезы, что могло измениться, придумывать информативные прокси-метрики. Но лично мне тут все же не хватает какой-то формальности и эксплицитности, наличия проговоренной минимальной измеримой модели на старте. С ней и интервенция оказывается более осознанной и продуманной, и оценивать ее проще, и результаты всей команде понятнее.

Разумеется, конечной целью любых изменений является изменение бизнес-метрик проекта и это важная часть отчета, про которую не стоит забывать. В конце концов, отчет можно построить и в обратном порядке -- как изменились метрики и за счет кого и чего, подобное исследование тоже предполагает понимание логики интервенции. Это вполне валидный подход, просто, видимо, мне он не всегда подходит.