Ухудшающие АБ тесты 🤬
Обычно в экспериментах, в тестовой группе мы делаем какое-то улучшение и ждем, что целевая метрика в тесте вырастет. Но бывают и ухудшающие эксперименты, когда в тестовой версии мы что-то ломаем или ухудшаем и ждем, что метрика в тесте упадет. Давайте подумаем зачем нужны такие тесты?

1. Поиск элементов которые могут влиять на целевую метрику
Возьмем страницы сайта, как правило там много элементов и не всегда ясно, какие действительно влияют на конверсию, а какие нет. Чтобы это выяснить можно попытаться их сломать.

Например, сломаем кредитный калькулятор и ожидаем, что конверсия в заявку упадет. Если это произошло, то скорее всего есть смысл делать какие-то улучшения в калькуляторе, т.к. он влияет на нужную нам метрику, т.к. она упала после того как его сломали.

Сломать что-то это довольно быстрый способ понять связь элемента и целевой метрики, т.к. вам не нужен длинный цикл разработки новой фичи.

Другой пример. Блок с частыми вопросами, хотим переписать, чтобы людям было понятнее. Сначала можно попробовать вообще убрать этот блок, если метрика не изменится, то скорее всего нет смысла его переписывать, т.к. он ни на что не влияет(но это не точно)

2. Поиск прокси-метрик
Возьмем тот же пример с калькулятором. Когда мы его сломали и наша конверсия в заявку упадет, то скорее всего упадут еще какие-то метрики. Проксёй может быть конверсия в переход на страницу с подробными условиями кредита.

Таким способом мы понимаем, что прокси метрика и целевая метрика изменяются соноправлено (дают ухудшение). Найдя ряд таких прокси-метрик мы можем оценить их чувствительность.

Возможно они будут быстрее обнаруживать эффекты, чем целевая метрика, а значит мы сможем проводить эксперименты быстрее, если будем брать в качестве целевой метрики проксю.