Как оценивать и сортировать гипотезы: ICE framework #iceframework

Суть метода - оценить каждую гипотезу по 3 параметрам:

1. Влияние (Impact): на сколько сильно этот тест изменит целевую метрику?
2. Уверенность (Confidence): на сколько мы уверены в том, что этот тест покажет изменения?
3. Лёгкость (Ease): На сколько легко сделать и запустить этот тест?

Смущает меня в этом всём то, что п.3 оценивают программисты, а вот 1 и 2 оценивают продакты, CROшники, маркетологи… И оценивают весьма субъективно.

Смущает меня то, что эта субъективная оценка приводит практически к равенству оценки влияния и уверенности. Поясню…

Если мы считаем, что изменение А прям в 2 раза увеличит конверсию, то скорее всего мы в этом очень-очень сильно уверены. Обратное тоже верно. Если мы считает, что изменит Б даст малые изменения, то мы склонны сомневаться.

В проектах, где мне удавалось заглядывать в бэклог гипотез с оценкой по ICE, то практически везде влияние и уверенность совпадали.