Помнится, первые эксперименты с "чистой группой", как я тогда это называл, мы начали делать в GI. Там на одном из новых проектов предлагались с самого старта чудовищные скидки в 70-90% и мне очень хотелось это дело несколько нормализовать. Сделали три группы: контроль, группу с порезанными скидками и "чистую" группу. Результат был в какой-то мере ожидаем -- уменьшение скидок привело к существенному снижению выручки, притом больше допустимого. Хотя пару полезных идей мы все же вытащили из этого, помимо просто результатов теста. Во-первых, когда пользователи на самом старте покупают что-то только по очень высоким скидкам, у проекта проблемы с формированием ценности контента/метагейма для пользователя. А во-вторых, оценили, насколько вообще система офферов работает, чистая группа как раз выступила бейслайном.

Так вот. Сейчас global control / holdout experiments вполне распространенная практика. Мне в посте, который напомнил про такой подход, понравилась идея квартальных блоков. Мы-то делали все на когортах новых пользователей и смотрели в лайфтайме, а это очень неудобный путь, особенно для старых проектов. Правда, помимо дизайна, остается самое сложное -- смириться с потерей какого-то количества денег от группы, которая в нормальных условиях видела бы офферы и нормально платила. Но это вечная история, надо просто четко формулировать цели и ожидания от таких экспериментов.