Рубрика "закулисные истории геймдева"
🕔 выходной лонгрид на ~10 минут

В последнее время, когда приходят с просьбой посмотреть со стороны, что там не так с игрой, базово спрашиваешь за метрики, а там retention d1 40%, 45% (в веб мидкоре, ага), и моё лицо такое каждый раз🗿
И каждый раз, вспоминаю историю, что даже большие студии могут не так интерпретировать/замерять метрики, что уж там говорить об инди-командах.

Собственно, история
Дело было давно, на некой региональной gamedev-конференции.
И выступал на нем представитель студии, которая уже несколько лет оперировала достаточно успешной игрой.
И вот слайд за слайдом он рассказывает про достигнутые ребятами метрики, причем прям реальные цифры. ARPPU такой, retention такой, cpi такой, ecpm такой.
И так целый час. Сказать, что я был удивлен такой откровенности и таким крутым показателям, ничего не сказать. Приехав домой и дождавшись записи его выступления, я еще раз все внимательно пересмотрел.

Неподдельный интерес эти цифры вызывали только потому, что у нашей студии в оперировании был аналогичный проект в том же жанре, с той же механикой, но только с другим сеттингом.
То что мы менее успешно перформили, это мы понимали, но не в 3 же раза 🙈

Решили оперативно разобраться.
Скачали их игру на рутовый телефон со встроенным сниффером траффика (или через dex-файлы раскопали, уже не столь важно) - вытащили их систему запросов/ответов к серверу.
Нашли в api урл, который по user_id сервер отдавал нам (а точнее для профиля игрока в игре на клиенте): дату регистрации, дату последнего захода, уровень персонажа и т.п.
Написали простенький парсер, который вытащил через данное api информацию по всем их пользователям (через user_id++).
Построили график и увидели на нем действительно очень и очень хорошие метрики по retention, причем всё как и говорил представитель ребят, совпадало практически до десятых.

Но есть нюанс. Retention этот был не classic (стандарт для отрасли), а rolling. Потому что у нас из парсинга есть только дата последнего захода игрока, а не по дням. И это роллинг.
А те, кто уже много лет в оперировании, знают, что rolling для годовалой когорты может доходить до космических значений, на то он и rolling, чтобы показать всех, кто когда-либо возвращался в игру. И что от классика такой rolling может отличаться иногда в 2-3 раза.
Хотя справедливо будет заметить, что в целом и без слегка притянутых цифр данная студия действительно делала достаточно добротные и качественные игры.

Но история не про ребят, они все равно крутые. А мораль сей басни такова: замеряйте всегда только classic retention c 24h интервалами, и во всех своих аналитиках смотрите только на classic. И с коллегами по отрасли всегда обсуждайте только классик.
Давайте быть в одной системе общепринятых координат, и потом не придется расстраиваться, что на самом деле у вашей игры есть проблемы.

Всем хороших метрик и выходных 🫡