Привет, товарищи статистики!

Пока жду выпуска своей большой статьи по Mann-Whitney, я хочу поговорить о моем любимом понятии как ожидаемое значение, оно же expected value, E(X). Его я встречаю в разных областях математики, которыми интересуюсь: само собой в статистике, в теории принятия решений, теории игр и пр.

Его часто уравнивают со средним значением, но это не совсем корректно, хоть они оба и представляют собой меру центрально тенденции.

Дело даже не в том, что считаются они по-разному: E(X) через вероятность значения случайной величины, а среднее через сумму значений на кол-во значений. Пример:
[1, 2, 3]
Mean = (1+2+3)/3 = 2

E(X) = 1*P(1) + 2*P(2) + 3*P(3)
Где каждую P мы считаем на основе частоты встречаемости элемента; для всех это P = 1/3, так как у нас каждое значение 1, 2 и 3 встречается по одному разу

Основное различие состоит в том, что E(X) является пределом, к которому сходится среднее в рамках заданной "системы".

1) Классический пример, кубик с 6-ю гранями, о котором заранее известно, что он честный, значит вероятность каждой стороны = 1/6.
E(X) = 1*1/6+2*1/6+3*1/6+4*1/6+5*1/6+6*1/6 = 3.5

Сделаем два броска: [1, 4] - среднее 2.5. Еще бросок: [1, 4, 6] - среднее 3.66. Если мы проведем еще серию бросков, желательно бесконечную)), то среднее будет стремится к 3.5 (картинку оставлю в комментариях)

2) Более наш пример, про данные: пускай у нас есть генеральная с mu=24. Возьмем выборку из n=2 без возвращения (забрали у генеральной и не вернули обратно):
[21, 23] - среднее 22

Возьмем еще элемент:
[21, 23, 26] - среднее 23.33

Если мы будем и далее выгребать всю генеральную до предела, что наша выборка станет самой генеральной, то среднее такой выборки сведется к mu=24.

Это же значение прям круто себя раскрывает, если знаешь вероятности успеха и неуспеха.
- Например, выиграть в казино в рулетке, если делаешь ставку на конкретное поле, = 1/38, а проиграть = 37/38. Тебе обещают кратно увеличить твой рублик при выигрыше, пускай это будет 20р. Но если проиграешь, то минус рубль (-1р.)
20*1/38 + (-1)*37/38 = -0.44р. - интерпретируя, в долгосрок проиграешь. И это не так уж очевидно, не зная про вычисление E(X).
- Или если принимаешь решения, с возможность хотя бы прикинуть их выгоду и стоимость. Например, сделать фичу, которая даст +2000; если не сделать - упущенная выгода (-2000):
->обратиться к подрядчику А -> успех P=0.8 -> стоимость (-1000)
->обратиться к подрядчику B -> успех P=0.7 -> стоимость (-700)
E(A) = (2000-1000)*0.8+(-2000-1000)*0.2 = 200
E(B) = (2000-700)*0.7+(-2000-700)*0.3 = 100
Выбираем А, выгоднее.

Но проблема в том, что эти вероятности системы не даются вот так просто (откуда мы взяли вероятность успеха подрядчиков А и B?). Часто надо собирать статистику, определяя вероятность согласно частотному подходу: сколько успехов из стольки-то попыток. 7 из 10. И, конечно, это лишь та вероятность, которую мы смогли вычленить из доступных нам для наблюдения попыток. Те же 100 попыток могли показать нам 50 успехов, что не только отличается от 7/10, но и взвешеннее.

Поэтому E(X) является теоретическим понятием. И его активно используют в статистике, когда говорят, к чему сведется величина, например среднее выборочных средних больших выборок а-ля E(cр.X) = mu = 24. А среднее - эмпирическим понятием (на практике именно его и считаем), используемым для выборок.