Отдельная камера АВ-рецидивистов - ч.1

В темном-темном городе есть темное-темное отделение АВ-полиции, в котором есть темная-темная камера для злостных нарушителей АВ-культуры. Отчет о ее составе будем публиковать по частям

Джонни: раскатывал фичу до окончания А/В теста
Эксперименты - дотошная вещь. Надо держать по 2-3 недели на приличный % пользователей. Определить 1-2 целевых метрик, пару контрольных, да еще и барьерные метрики есть. Но зачем это все если можно запустить А/В, подержать 3-4 дня. Затем увидеть прокрас какой-то "важной" метрики в зеленый и просто выкатить фичу?

У Джонни под это даже были аргументы:
- Мы продуктовая компания и быстро проверяем гипотезы
- Не раскатанная в прод зеленая фича генерит недозарадботанных денег на миллионы в день
- Если что-то ухудшается значимо, то мы это и на общих графиках день-ко-дню для всей компании увидим
- Нужно быть гибкими, а не душнить вашей теорией А/В
- Внутри компании все пополльзовались фичей - она всем нравится
- И вообще сроки горят, СЕО просил выкатить фичу еще на прошлой неделе!

Но у товарища прокурора были более веские аргументы:
- Проблема подглядывания
Каждый день смотрим на метрики = не 1 эксперимент, а N экспов по числу дней подглядывания. Как известно, увидеть эффект где его нет можно в alpha (обычно 5%) случаев. Если эксп идет 21 день, то... мы почти наверняка найдем день, когда метрика красится в зеленый, хотя эффекта нет

- Проблемы будней-выходных
В будни и выходные приходит разная аудитория по сотаву и по количеству (в выхи обычно больше). Если тест красит метрики в будни, то это нельзя распространить на выходные. А в авыходные компания зарабатывает как правило очень много. Есть кейсы, когда в будни АВ зеленый, а в выходные - красный

- Сбитый график запусков
Если тест можно закончить хоть во вторник, хоть в пятницу, то угадайте что? Правильно, через неделю половина выкаток фичи на 100% пользователей будет по пятницам

- Ломаем другие экмперименты
Не у всех отлажена система непересекающихся АВ. Если мы включаем/выглючаем тесты хаотчино, то очень легко упустить пересечение взаимовлияющих экспов. А если оно есть, то результаты всех таких экспов (а не экспов одного менеджера, аналитика, который хаотично жмет вкл/выкл) превращаются в рандом

Как думаете, кто еще сидит в камере АВ-рецидивистов? 🔐
#рецидивисты@abpolice