Метрики в гипотезах - показатели, которые потеряли смысл

Зачем в гипотезах вообще прописывается “сдвиг метрики”? Всего три причины и только одна из них настоящая.

1. Настоящая причина: чтобы заранее понять, как выглядит изменение поведения.

Сдвиг метрики нужен НЕ для прогноза.
И НЕ для KPI.
И НЕ для отчётности.
Его реальная функция:
заставить команду сформулировать, что именно изменится в поведении, если их объяснение мира верное.

2. Фейковая причина: чтобы сделать красивый прогноз и защитить бюджет на изменение
Это полная фикция.
Никто не знает заранее,
сколько процентов даст фича.
Это невозможно предсказать точно.

Но бизнесу часто хочется:
“оценить ROI заранее”
“оправдать инвестиции”
“доказать, что стоит делать”
Поэтому команды вынуждены придумывать цифры.

3. Бюрократическая причина:
Потому что в шаблоне есть такое поле
Это самая распространённая.
В джирах, таблицах, фреймворках есть ячейка:
“Expected metric shift (%)”

Команда такая:
«Блин… опять надо что-то вписать.»
И вписывает:
+5%
+10%
+1%
whatever

Короче, никто в мире не может предсказать точный процент. Команда должна прогнозировать направление и диапазон эффекта, а не магическую цифру.

Правильная причинность:
1. Мы знаем какой барьер в опыте есть
2. Мы знаем почему он влияет на поведение
3. Мы ожидаем какое поведение изменится
4. Мы знаем какой метрикой это поведение отражается
5. Мы проводим эксперимент
Смотрим, изменилось поведение или нет.
6. Мы делаем вывод
Причина была реальной -> эффект есть.
Причина была неправильной -> эффекта нет.
Если мы реально поняли причину: метрика из этой зоны должна вырасти в разумных пределах. Потому что:
если барьер действительно существовал, и если решение его действительно убрало, то поведение изменится.
Это и есть причинная логика.

Короче, требование «поставьте точный сдвиг метрики заранее» - управленческая иллюзия, унаследованная от KPI-логики.