Недавно у нас в команде было долгое обсуждение итогов АБ-теста с неоднозначными результатами. С аргументами за и против раскатки разобрались, но в какой-то момент появилась мысль: данных пока недостаточно, чтобы понять, насколько выявленная проблема критична.
🤔 Звучит логично. Тут важно не остановиться на фразе «нужно больше данных», а договориться, каких именно данных и зачем.
Например, если мы решаем, запускаться или нет, до следующего расчёта полезно зафиксировать три вещи:
💚 какую метрику смотрим,
💚 какое значение поменяет решение,
💚 что делаем, если попадём в серую зону.
То есть, мы не бездумно смотрим на сегменты, а ищем конкретику: если в проблемном сегменте эффект окажется достаточно большим — не запускаемся; если нет — запускаемся. А если хотим ещё неделю собирать данные, то заранее прописываем условия, при которых заново рассчитанный эффект может повлиять на решение.
Если такой логики нет, почти всегда можно найти следующий срез, новую метрику или продлить эксперимент ещё на неделю. И в этот момент аналитика превращается в очень удобную форму прокрастинации: со стороны кажется, что мы снижаем неопределённость, хотя на деле просто откладываем момент принятия решения.
Для себя я бы сформулировал простой фильтр перед любым дополнительным расчётом:
🖇Есть ли вообще результат этого расчёта, который поменяет наше решение?🖇
Если ответ отрицательный, возможно, считать это прямо сейчас вообще не нужно. Именно такой вопрос:
Какая цифра реально изменит решение?
в итоге и отделяет обязательную проверку от исследовательского интереса. В решении важно учесть данные, но не надо всё строить на их основе. Ведь задача аналитики — уменьшить неопределённость до уровня, на котором человек готов взять на себя решение.
А у вас есть правило, по которому вы понимаете: всё, данных достаточно — пора уже принимать решение?
#АртемК