Пост про Minimum Detectable effect ( далее MDE)

Сначала напомню что такое MDE - это показатель который используется для определения минимального размера эффекта который можно объяснить при ваших вводных (количество объектов в ваших выборках , FPR , Power, Effect size) . Данный показатель используют как и во время дизайна эксперимента для определения его сроков, так и для финального анализа. В этом посте сконцентрируемся на 1ом случае.

Ошибки которые я иногда слышу и читаю от коллег:

1. MDE = Lift.

MDE - грубо говоря это нормализованный при помощи дисперсии лифт, то есть если вы видите где то в системе АБ тестирования MDE , знайте что это не минимальный лифт которые вы можете объяснить , а минимальный лифт который был грубо говоря нормализован на дисперсию разницы статистик двух ваших выборок.

2. MDE всегда считается одной формулой.

Нет, это не так. Для каждого параметрического статистического теста своя формула расчёта MDE. А для не параметрических тестов вообще формул нет, тут нужно использовать симуляции Монтекарло.

Как определять Lift для MDE ?

Сразу скажу что я сторонник обсуждать Lift с продактами.

Со своей стороны я выделяю три подхода (их можно миксовать, они не взаимоисключающие):

1. Исторический. Если у вас были эксперименты с похожими изменениями в прошлом, то вы можете посмотреть какое изменение вы получили ранее и взять какой-то % от ранее полученного изменения. Я бы в идеальном мире экспертно взял 50% , но тут всё зависит от ваших вводных по размерам выборки и прочего.

2. Экономический. Выпуск и поддержка вашей фичи обойдётся вам в дальнейшем в N денег. Исходя из этого можно посчитать минимальный Lift который окупит всё ваше предприятие.

3. Хронологический. (я его сам так назвал 😂, ибо нигде почему то не видел что бы о нём писали)
В данном подходе мы отталкиваемся от времени которое понадобится на проведение эксперимента при определённом лифте. То есть , мы знаем что для лифта в 2 процентных пункта нам нужно пол года держать эксперимент, а для 7 п.п. - месяц. То есть вы оперируете двумя вводными , сам лифт (деньги) и время которое вы готовы тестировать изменение.

Если есть ещё какие либо способы которые вы знаете, пишите в комментах буду рад взять на вооружение. 🙏

И как обычно ставьте реакции что бы я понимал, что инфа в посте полезна для вас. На текущий момент для меня это главная метрика для выбора направления контента для канала 😁