Немного про контрольные карты

Если не чинить то, что сломано — это очевидно плохо, то еще хуже чинить то, что не сломано.

Понять когда метрика действительно изменилась — не всегда тривиальная задача. В процесс вмешивается естественная вариативность метрики, неконтролируемые условия, сезонность.
И первое, что приходит на ум — это построить доверительный интервал. Это хорошая практика про которую многие забывают: без доверительного интервала, метрика — не более чем догадка, которое не несет информации о вариативности. В статистике это называется «точечной оценкой» (point estimate).
Доверительный интервал отвечает на важный вопрос вопрос: в каком диапазоне лежит настоящее значение (true value) среднего, конверсии или любой другой метрики.
То есть это точечная оценка, основанная на выборке + некоторая ошибка измерений с заданным параметром «уверенности».

Знание о возможном диапазоне исследуемой метрики уже говорит о многом: например если вы знаете, что для пуш-нотификаций в вашем приложении opt-out rate составляет 10%±3%p, то у вас есть железный аргумент для обеспокоенного маркетолога, который регистрирует его рост до 12% за месяц. Однако, поскольку доверительный интервал строится вокруг точечной оценки, которая может меняться сама по себе со временем, этот метод может подвести.

Поэтому можно попробовать построить временной ряд для метрики, отметив доверительный интервал на всем его протяжении. Однако, такой подход не дает понимания что есть норма.
Доверительный интервал – это инференционная практика, которая говорит о точности наших оценок и не более того, но никак не дает им качественной характеристики.

Для качественной оценки процесса (например: хуже/лучше) подойдет весьма известный метод, который широко используется на бережливом производстве еще с середины прошлого века — контрольные карты.
Концепция контрольных карт подразумевает ценную качественную оценку процесса: его управляемость. Под управляемостью понимается возможность использовать прошлый опыт, чтобы понять в каких пределах и какие вариации процесса можно ожидать в будущем.
Фактически — экстраполировать прошлый период на будущее.

Карты отвечают на вопрос: «изменился ли процесс?»

Структура контрольной карты проста: есть центральная линия, описывающая среднее процесса, есть верхняя и нижняя границы. Между этими линиями отмечаются точки данных вашей метрики, в случае, если метрика пересекает одну из граничных линий, это говорит о том, что процесс изменился: соответственно в худшую или лучшую стороны.
В отличие от классических статистических методов, метод контрольных карт больше напоминает эвритстику и мне потребовалось довольно глубоко погрузиться в литературу, чтобы понять природу коэффициентов, используемых в формулах.

✝️Знакомые с концепцией последовательных (seqential) A/B тестов наверняка увидели сходство описания контрольных карт и SPRT-теста. И в целом, это верная интуиция. С некоторыми оговорками, про контрольные карты можно думать как про последовательный тест, однако весьма грубый.

Из всего многообразия контрольных карт, для цифровых продуктов лучше всего подходят MR-карты. Их можно использовать как с непрерывными значениями, так и с дискретными или бинарными. Реализация несложная и статьи на вики хватит для того, чтобы попробовать построить первую контрольную карту.

Контрольные карты тем робастнее, чем стабильнее процесс, поэтому не всегда их можно надежно применить, когда сам процесс естественно волатилен — в этом случае придется часто менять стартовый период, который «управляем» — то есть наилучшим образом описывает вариацию процесса за период.
В традиционно-стабильных доменах, например связанных с оплатами, биллингом или для телеметрии инфраструктуры метод полезен для разработки HelthCheck дашбордов.