149. Метрика под микроскопом

Недавно я писал, что неправильно смотреть на все-все метрики при проведении эксперимента, а лучше выбрать одну-две важных и ориентироваться только на них. Хочу дополнить, когда вы выбрали ключевую метрику, копните ее глубже. Посмотрите на нее под микроскопом.

Проводили мы эксперимент, ключевой метрикой выбрали MRR. Эксперимент и контрольная группа не показали стат. значимых различий. Т.к. эксперимент был про новый дизайн с установкой «не сделать хуже», то результат «MRR остался таким же» означал победу эксперимента.

Мы решили посмотреть на MRR внимательнее. Посмотрели распределение по странам, по периоду подписки, по источникам трафика. Все было одинаково, кроме распределения по тарифам. Есть три тарифа: дешевый, средний и дорогой. Экспериментальная группа опередила контрольную по дешевому тарифу, но проиграла по дорогому. По среднему – были равны.

Что делать? По дешевому тарифу эксперимент выиграл, по дорогому проиграл, суммарно вышло одинаково. Мы решили, что дорогой тариф нам важен и признали эксперимент проигравшим. Хотя изначально оно казался победителем. Рассматривать метрику под микроскопом оказалось полезным занятием.