Конверсия 3%. Можно ли ей верить?

Недавно по работе мне понадобилось рассчитать минимальную выборку.
Вопрос звучал довольно просто: если мы получили конверсию 3%, достаточно ли у нас данных, чтобы принимать решение?
Но выборки не бывает просто «достаточно».

Достаточно для чего?

Чтобы понять порядок величины? Сравнить два периода? Заметить изменение на доли процента? Для каждой задачи потребуется разная точность.
Допустим, мы ожидаем конверсию 3% и хотим измерить её с относительной погрешностью ±20%. То есть получить интервал примерно от 2,4% до 3,6%.
При доверительном уровне 95% нам понадобится около 3 100 наблюдений. При конверсии 3% это примерно 93 целевых действия.

Отсюда удобное правило:
Около 100 конверсий дают точность примерно ±20%.

Не сто пользователей. Не сто просмотров. Именно сто целевых событий.
Если же мы захотим вдвое уменьшить погрешность, до ±10%, данных потребуется уже не в два, а примерно в четыре раза больше.
Статистика вообще часто так устроена: немного больше уверенности обходится довольно дорого.

Есть ещё два важных нюанса.
Во-первых, на маленьких выборках привычная формула доверительного интервала может врать и даже показывать отрицательную конверсию. Поэтому на практике лучше использовать интервал Вильсона.
Во-вторых, даже очень узкий интервал ничего не скажет о ботах, сломанной разметке или необычном трафике. Он измеряет случайный шум, а не качество исходных данных.

И отдельно: если нужно сравнить конверсии двух вариантов в A/B-тесте, это уже другая задача. Там появляются MDE, статистическая мощность и уровень значимости.

Подробно разобрал формулы, примеры и обратный расчёт выборки в статье

Цифра на дашборде всегда выглядит законченной. Но иногда самый честный вывод аналитика не «конверсия равна 3%», а «пока мы знаем только её примерный порядок».