Смотрю на фичи недавнего релиза одного из новых проектов. Там, среди прочего, добавили квесты. Квесты традиционно считаются способом создания среднесрочных целей пользователя, поэтому ждали изменения в ретеншене 3-7 и далее дней.

Естественно, чтобы оценить влияние на рет, в идеальных условиях надо делать A/B-тест. В реальности же это потребует больших изменений в интерфейсе и экономике. В общем, новый билд. Конечно, можно выкладывать новый билд и открывать на половину аудитории, этакая “сплитовалка для бедных”, но мороки с этим тоже хватает. Не говоря уже о том, что прочие фичи релиза тоже делать надо.

В общем, я уже собрался искать похожих пользователей, кто завершал квесты и кто не завершал квесты, чтобы по ним сравнить удержание. Умные люди это вроде называют propensity score matching. А потом просто посмотрел ретеншен новой версии в сравнении с предыдущей. И не нашел каких-либо сильных отличий. Других фич на удержание не было, а мелкие колебания не так интересны.

Как итог — делать матчинг бессмысленно, квесты не работают, печаль и расстройство.