P-value простыми словами:

Условие: подбросили монету 10 раз, выпало 9 орлов. Можно ли теперь говорить, что она подкручена?

1️⃣ Две версии Любая проверка начинается с двух гипотез:

H0 (нулевая) — эффекта нет. Монета честная, 50 на 50.
H1 (альтернативная) — эффект есть. Монету подкрутили.

В A/B-тесте ровно то же самое:
H0 — между вариантами разницы нет
H1 — разница есть. Нулевую гипотезу не доказывают, её пытаются опровергнуть.

2️⃣ Что вообще умеет честная монета:

Возьмём заведомо честную монету и бросим 10 раз. Получится какое-то число орлов. Повторим ещё и ещё — тысячу серий. Чаще всего выпадает 4, 5 или 6 орлов, реже 3 и 7. Это и есть распределение: не формула с неба, а результат повторения опыта.

3️⃣ Считаем точно:

Каждый бросок удваивает число раскладов:
1 бросок — 2 варианта,
2 броска — 4,
3 броска — 8.

Десять бросков дают 2¹⁰ = 1024 расклада, и у честной монеты все они выпадают одинаково часто. Сколько из них дают ровно 9 орлов? Столько, сколько мест у единственной решки:
Р О О О О О О О О О
О Р О О О О О О О О
О О Р О О О О О О О
... и так 10 штук — решка едет по всем местам

• 10 раскладов из 1024 — это 1%.
• Ровно 10 орлов — единственный расклад, 0.1%.
Шанс считается просто: сколько нужных раскладов делим на все 1024.

4️⃣ Откуда 2.15%

Нас интересует не «ровно 9», а «9 или ещё сильнее». Плюс зеркальный край: подкрутить монету могли и в сторону решки, 9 решек удивили бы нас так же.

Расклады:
9 орлов → 10 раскладов
10 орлов → 1 расклад
9 решек → 10 раскладов
10 решек → 1 расклад

Итого: 10 + 1 + 10 + 1 = 22 из 1024 = 2.15%
Вот эти 2.15% и называются p-value: как часто честная монета САМА, без всякой подкрутки, выдаёт такой же перекос или сильнее.

5️⃣ Порог Альфа:

Порог Альфа выбирают заранее, до теста. В бизнесе и A/B обычно 5%, в медицине 1% и строже.

2.15% < 5% → нулевую гипотезу отклоняем, монета скорее подкручена.

Сама альфа — это вероятность ошибки первого рода: эффекта нет, а мы его «нашли». С порогом 5% так будет выходить в 5 тестах из 100. Про ошибки первого и второго рода будет отдельный разбор.


Итог: 🤩

❤️ Поддержать канал бустами, чтобы у автора появился дополнительный функционал можно - здесь (это бесплатно и доступно с подпиской telegram premium)
❓ Как объяснили бы p-value за 30 секунд на собеседовании? Пишите свою формулировку в комментариях!
✔️ Подпишитесь на канал, чтобы не пропустить следующие разборы серии про A/B.


🚬 Вопросы, обучение, консультации: Написать в ЛС | mentor.dima-sqlit.ru


@dima_sqlit