Продуктовые метрики и метрики для А/Б теста #metrics #abtesting

А/Б необходимо оценивать не по бесконечному набору метрик с позиции «ну хоть что-то улучшилось», а по заранее определённым метрикам. Идеально, если эксперимент находится близко к бизнес метрикам (деньгам) и всего хватает, чтобы увидеть разницу в деньгах. Если это не так, то какие метрики взять для оценки эксперимента?

Требования к метрике простые:
должна хорошо и быстро «красится» в ходе эксперимента;
должна отражать результат (улучшение / ухудшение) изменений.

Подсмотрел прекрасную идею
Берём множество метрик, которые связаны с некой областью сайта (поиск, корзина, карточка товара, прочее). В этой области делаем сильное и очевидное ухудшение. Метрики, которые быстро показали негативный результат, являются искомыми.

Мне видится сомнительным
Меня смущает только «очевидное ухудшение». Во-первых, я предпочитаю работать с пресуппозицией, что эффект от изменения заранее неизвестен. Во-вторых, если убрать кнопку «купить», то с одной стороны - это очевидное ухудшение. Но по идее, такое изменение окрасит другие метрики нежели убрать все фото товара. В общем, будьте осторожны с выбором «очевидного ухудшения».

Для карточки товара, мне ничего лучшего в голову не пришло, кроме как убрать всё и оставить название, одно, фото, цена и кнопка «купить».

p.s. Метод отлично подходит вообще для выбора продуктовых метрик для разных фич, разделов и прочее.