Привет! Продолжаем спонтанную серию постов про MDE — точнее, о том, как про него рассказывать. В первой части обсудили концептуальную идею MDE, а в этой рассмотрим, как его выбрать и от чего он зависит.

В первой части мы остановились на том, что MDE — это порог, который мы определяем сами: чем он меньше, тем более маленькие изменения сможем стат значимо отловить.

Как выбрать MDE?
Логичное предположение — давайте возьмём самый маленький MDE, чтобы детектить самые маленькие изменения!

〰️У всего есть размен: чем меньше MDE — тем больше людей нам понадобится для принятия решения.

На графике видно, как меняется MDE при увеличении объёма выборки от 100 до 10 000 пользователей. Можем сделать вывод: увеличение выборки со 100 до 2 000 сильно влияет на MDE, а вот дальше размен увеличения выборки на точность всё менее заманчивый.

Размер выборки — один из показателей, влияющих на MDE. А что ещё?

〰️Ещё разброс данных и стат параметры — в них сегодня погружаться не будем, но обсудим разброс данных.

Рассмотрим на коммон сенсе: если данные непредсказуемые — сегодня конверсия 5%, завтра 18%, а послезавтра 12% — то чтобы понять, есть ли относительный рост конверсии на 20%, нам нужно будет достаточно долго наблюдать за данными.

А если конверсия стабильно около 10% и колеблется от 9.9% — до 10.2%, то если при включении теста она станет 12%, мы за более короткий срок сможем удостовериться, что это влияние нашего теста. Так, при уменьшении разброса данных, MDE будет уменьшаться.

❤️ — если серия полезна и добавляем в канал больше размышлений про харды

В комментах — график влияния разброса данных на MDE и ещё несколько слайдов :)

#ЖеняМур