В A/B-тестах мы всегда задаем уровень значимости α - допустимую вероятность ложноположительного результата. Но если проверяем сразу несколько метрик (например, выручку и конверсию), вероятность хотя бы раз ошибиться может вырасти. Эта вероятность называется FWER (Family-Wise Error Rate), и контролировать её важно, иначе мы рискуем принять неверное решение о раскатке фичи.

Классика - использовать поправку Бонферрони и поделить α поровну между метриками. Это просто, но не всегда эффективно. Если метрики сильно отличаются по своим характеристикам, одна из них может стать «бутылочным горлышком», требуя большей выборки и затягивая весь эксперимент.

Ребята из лаборатории прикладной статистики Т-Банка Денис Зорин и Гриша Засько, предложили решение - размазывание поправки.

Идея простая: не делить α поровну, а распределять умно - отдавать больше той метрике, которая требует большей выборки, и меньше той, для которой достаточно меньшего числа пользователей. Общий контроль FWER при этом сохраняется, а необходимый размер выборки может сократиться на десятки процентов.

Подробности, математику и результаты экспериментов читайте в статье на Хабре.