📌 4/4, Бизнес уровень. Пожалуй самый сложный, и самый простой уровень одновременно. Понятно что хочется — вообще не понятно как. В идеале это должно быть что-то, что можно показать инвестору/стейкхолдеру, а он за 10 секунд поймёт что всё хорошо и даст ещё денег. Или всё плохо и не даст. Но не будем о грустном, всё таки любой эксперимент несёт какое-никакое знание.

✅ Тут у нас 1 ключевая метрика, от которой всё и пляшет — чё там с деньгами? (я от Михал Палыча). А чтобы это не было совсем скучно, я вывел это в формате PnL в тренде.

Проблема в том, что реальный точный профит с экспов посчитать невозможно, а во всей совокупности экспов за год тем более. Поэтому тут, естественно, логика условная, которая объясняет скорее накопительный профит по центрам интервалов для тестов, где интервалы показывают явное преимущественное смещение в какую-либо сторону. Да, с точки зрения статистики это очень условно, но с точки зрения бизнеса это уже нифига себе, какая-то оценка, пусть и ориентировочная.

✅ Допом можно высчитать приближенный PnL для ключевой конверсии, тут попроще и поточнее, но тоже накопительно, типа а вот мы крутим уже год тесты на конверсию, чё там по эффекту прикидывается?

В целом, считаемо, с кучей оговорок.

Но даже такой приблизительный подход уже позволяет анализировать динамику и оценивать куда катится наша программа экспериментов.