Мы знаем, что все грани игральной кости одинаковы, поэтому если бросить ее 600 раз, в теории каждое число должно выпасть по 100 раз.
А наши "трейдеры" должны были показать одинаковую доходность.
Но реальные результаты серии из 600 бросков могут и будут отличаться от идеала. В этом суть случайных явлений.
И как мы с вами только что убедились, простое сравнение исторических данных не позволяет отличить случайность от закономерности. Я добавил для иллюстрации еще три скриншота 👆🏻, условия не изменились, а результаты совершенно другие.
Стандартная задача из учебника статистики: вы играете в кости с соперником и проигрываете. Вам просто не везет или соперник жульничает?
К счастью, статистикой за время ее существования занимались совсем не глупые люди. И задавались вопросом: если реальные данные почти всегда отклоняются от теоретических, то может быть у этих отклонений есть какая-то закономерность? И такие закономерности были найдены.
По этим закономерностям можно вычислить индикаторы (критерии согласия), которые должны принимать определенные значения, если наши данные распределены равномерно случайно. Если же индикатор выбивается из нужного диапазона, значит случайностью результаты объяснить нельзя.
К сожалению, 100%-ной точности достичь не удалось. Подобная проверка совершается с заранее заданной вероятностью ошибки (уровнем значимости), которую обычно устанавливают на уровне 5% или 1%. То есть 95% или 99% за то, что наша проверка верна.
Не буду здесь расписывать подробные расчеты. Для наших шести трейдеров критерий согласия должен быть больше 7,8, чтобы признать результаты неслучайными (и есть 5% вероятности, что проверка окажется неверной), или больше 11,3 (с вероятностью ошибки 1%).
Для исходной задачи критерий согласия равен 7.
Для других трех примеров: 5,5 6,6 7,3.
За все попытки моделирования, пока я готовил статью (а их было под пару сотен), мне только несколько раз удалось получить индикатор больше 8 и ни разу - больше 11. Так что мой небольшой эксперимент тоже подтверждает эффективность проверки.
Если в будущем вы наткнетесь на статьи, в которых утверждается например, что "по статистике в августе фондовый рынок падает чаще, чем в другие месяцы", без проверки на случайность результатов, знайте: статистика к этому утверждению не имеет никакого отношения, а вы имеете дело с "исследованием британских ученых".
Post #244
245