Сижу тут, читаю дизайн аб-теста одних ребят. Фича достаточно простая, ничего нового — немного перешатали предъявление офферов, чтобы больше показывать актуальные и/или релевантные офферы.

Внутри дизайна все вроде бы по красоте — ожидаемый размер эффекта, целевая монетизационная метрика, контрольные (заградительные) метрики, расчет выборки… Даже есть набор метрик в доп.исследовании типа среднего чека и т. д.

В какой-то момент ловлю себя на мысли, что не понимаю, почему это должно работать. Нигде не описана логическая цепочка, как фича приведет к повышению целевой монетизационной метрики. В этом примере, например, это могло быть что-то типа “пользователи больше видят релевантные офферы и лучше в них конвертятся, в итоге растут деньги”. Следовательно из этого можно было бы взять другую целевую метрику для эксперимента или как минимум направление дополнительных исследований об эффекте от фичи.

В результате потеряна связь между фичей и ее эффектом. Предложил выпытывать у продюсера, как именно фича должна повлиять на поведение пользователей, чтобы изменились целевые метрики, и явно включать это в дизайн исследования. Теперь интересно, сработает ли.