📌 3/4, Продуктовый уровень. Этот раздел ставит перед собой почти филосовские вопросы, вроде насколько команда чувствует продукт и пользователей.
Тут я выделил:
✅ Win Rate — без него никуда, доля успешных экспов по ключевой метрике. Планировали поднять конверсию — подняли конверсию.
✅ Signal Rate — почти то же самое, но без привязки к ключевой метрике. Насколько экспы вообще информативны, есть ли прокрасы по любым метрикам, которые исследовались.
✅Системность — это по сути Signal Rate в тренде, системность описывает повторяемость успехов, учимся ли мы тащить всё более качественные гипотезы, понимая заранее что они качественные, на основе опыта похожих гипотез. Или буксуем на месте, мало думаем над гипотезами, не пытаемся их защищать.
Системность описывает зрелость команды, если хотите.
✅ Показатели по направлениям — если вы тегируете экспы, то очень полезно бывает ретроспективно разложить их на количество Х качество. В каких областях у нас лучше реагируют пользователи, а в какие мы пушим основной поток экспов.
Спойлер, это почти всегда не одни и те же области.
Этот уровень помогает оценить насколько мы умеем отделять хорошие гипотезы от плохих ещё до того, как поместить гипотезу в бэклог тестирования, насколько наши гипотезы информативны, и как мы вообще растём внутри этого тонкого понимания своего продукта.