Если вас спросят, что такое проверка гипотез, то приготовьте чай

В 1935 году статистик Рональд Фишер публикует книгу «The Design of Experiments» — уже на этом месте я хихикнул, ибо уже звучит как хайповый тайтл по A/B-тестам в 2025 😶

Я кайфую от реальных историй за кулисами каждой формулы, а потому пустился читать про интересности этой книги. И там есть одна история, о которой я сегодня хочу рассказать.

Однажды Фишер был на интересном чаепитии: одна леди утверждала, что может по вкусу определить — сначала в чашку налили молоко, а затем чай, или наоборот. Фишер сказал, мол, подержите мое пиво мою чашку чая, я хочу предложить вам эксперимент 😼

Фишер сформулировал формальную гипотезу:

H₀ — леди не способна различать способы приготовления, её ответы случайны.
H₁ — я умываю руки, леди шарит за чай

Леди предложили 8 чашек чая — в 4-х налили сначала чай, затем молоко, а в остальных 4-х наоборот. В случайном порядке (это ключевой элемент дизайна эксперимента!) ей дают попробовать и дать ответ

Можно ли угадать случайно? 🤔

Всего есть 70 комбинаций вытаскивания 4-х чашех из 8-ми (привет комбинаторика). И правильная комбинация всего одна. Значит вероятность случайного успеха леди равна 1/70 = 0.014 = 1.4%.

То есть леди может просто случайно угадать все правильно с вероятностью 1.4%.
Это вероятность ложно-положительно отвергнутой H₀ гипотезы или как говорят сегодня — ошибка 1-го рода.

Иными словами, если леди все отгадает, то Фишер пожмет плечами и скажет:

«Друзья, на уровне значимости 1.4% мы отвергаем нулевую гипотезу и я могу сказать, что леди действительно шарит за чай»

Это классический пример проверки статистической гипотезы и это основа, на которой мы базируемся до сих пор теперь уже в наших A/B-тестиках 😶

Люблю интересные истории, в том числе связанные с аналитикой (особенно!), поэтому если знаете интересные сюжеты/законы/парадоксы с любопытной историей, то пишите в комментах!

И конечно же буду рад вашим огонькам 🔥 и удивленным челам 😳 если вам было интересно!