Вероятность как "частота" и как "плотность (вещества?)"

Обыватели воспринимают вероятность как "частоту". Ну вроде как подбросили монетку 100 раз, если примерно 50 раз выпал орёл и 50 раз решка, то вероятность каждого исхода была 1/2.

Уже в таком простом случае большое количество логических натяжек и проблем.

Статистики бы сказали, что провели "биномиальный тест". Т.е. исходя из наблюдаемого распределения результатов вывели, задним числом, какая могла бы быть вероятность отдельно взятого исхода в одном подбрасывании. Чем длиннее последовательность бросков, тем точнее можно дать соответствующую оценку (тем меньше так называемое p-value — т.е. вероятность сделать ошибочный статистический вывод).

В более сложных статистических методах оценивается не вероятность отдельного исхода, а соответствие некоторых характеристик (например, среднего значения) частной выборки "генеральной совокупности" (т.е. всему исследуемому множеству объектов/явлений — например, всем людям).

Всё это довольно сложная машинерия, опирающаяся со стороны собственно теорвера на "законы больших чисел" и "центральные предельные теоремы", а со стороны статистики на бесчисленное количество распределений и статистических проверок.

Насколько я понимаю, статистики-прикладники (социологи и психологи, например) не разбираются в первом, а математики не особо интересуются вторым :)

Для математиков вероятность это не "частота", а скорее "плотность вещества". Честная монетка это что-то вроде "гантели": невесомая твёрдая перемычка, связывающая два шарика одинаковой массы (для удобства суммарную массу примем за 1).

Если вероятности выпадения орла и решки не равны, "гантелю" начинает перекашивать; чтобы её уравновесить надо сдвинуть точку опоры в сторону большей массы. Что соответствует вычислению "математического ожидания".

Термины типа "момент", "второй момент", "второй центральный момент" (= дисперсия/variance), похоже, напрямую заимствованы математиками из механики — там "момент инерции" (вокруг начала координат или центра масс соответственно) в точности оно вот и есть.

Теорема Штейнера о моменте инерции относительно сдвинутой оси превращается в (более простую за счёт нормализации "массы" к единице) формулу математического ожидания квадрата сдвинутой на фиксированное значение случайной величины.

После Гальтона (о котором, кстати, писали ранее: 1, 2, 3) и Пирсона, по-видимому популяризировавших в теорвере термин "момент", Колмогоров наконец провёл окончательную формализацию, закрепив понимание вероятности как меры на множестве.

Представим что у нас есть две случайных величины X и Y, как на первой картинке выше, и их совместное распределение (высота столба над "столом" показывает вероятность совместного "выпадения" X,Y в соответствующую точку пространства). Каждая при этом может быть распределена произвольно, не равномерно.

Как узнать вероятность события, например, "Y больше или равно X"? Через двойной интеграл меры ("плотности вероятности") по множеству (квадрату X,Y) в заданном регионе (Y ≥ X) :)

А как это сделать? Да очень просто. Представим, что столбики указывают на плотность материала стола (чем выше столбик, тем плотнее соответствующее место стола). Проведём диагональную линию из нижнего левого в верхний правый угол квадрата, которая разделит его на два треугольника: там где X меньше Y, и там где Y меньше X (прямая y = x, "граница множества"). Дальше вырезаем ножовкой из стола нужный нам треугольник (где Y больше X, т.е. верхний). Кидаем его на весы. Готово, показания весов и есть искомая вероятность!