Наблюдаю одновременно смешную и грустную битву, почти как битву Бобра с Ослом, когда стая Светлых героев окружила Темного властелина и жестоко его убила.

Сделали фичу (мини-ивент). Загнали в аб-тест, в качестве целевой выбрали монетизационную метрику, в контроле — некоторые поведенческие. Тест не прокрасился, нет значимых изменений ни в целевой, ни в контрольных. Есть некоторые положительные изменения в маленьких сегментах суперкитов, но на общую картину они не влияют.

Продакт считает, что фичу надо раскатывать. Она не сделала хуже, возможно для кого-то сделала лучше. Но фича есть у всех конкурентов и у них отлично себя показывает. То, что слабо сработала тут — особенности экономики и лайвопса проекта, план по их изменению есть. А пользователей все же надо развлекать новым контентом.

Аналитики хором говорят, что раз изменений в целевой нет, то катить ничего не надо, так как фича не выполнила поставленных целей. Переобуваться после проведения теста тоже не надо. А о всяких дополнительных факторах принятия решения надо было думать и объявлять заранее.

В общем, строгие формальности data-driven против слабо формализуемых продуктовых аргументов и data-informed. Я лично склоняюсь к последнему и в данном кейсе на стороне продакта.