Как и обещали, рассказываем про распределения, богатые на экстремальные значения - такие, у которых даже дисперсия и матожидание могут быть не определены. В первую очередь, про распределение Парето.

Распределение Парето имеет непосредственное отношение к "правилу Парето", которое он исходно сформулировал сто лет назад как "80% доходов в Италии сосредоточены у 20% семей". С философской точки правило Парето говорит, что, когда речь идёт о социуме, многие распределения очень неравномерны. А математически это часто выражается как степенной закон: вероятность того, что случайная величина превысит порог t, убывает с ростом t, как t в какой-то отрицательной степени.

Самые разные распределения подчиняются степенному закону: число друзей у пользователей соцсетей, количество покупок различных товаров, частота использованя слов в языке, распределение размеров городов и массы звёзд, степень цитируемости научных статей... Это заставляет задуматься, а нет ли какого-то универсального механизма, объединяющего эти процессы, и создающего экстремально неравномерные распределения?

Подобный механизм описал задолго до Парето апостол Матфей: "ибо всякому имеющему дастся и приумножится, а у неимеющего отнимется и то, что имеет". Говоря современным языком, положительная обратная связь. Чем больше звезда, тем больше в неё падает космического мусора, и тем быстрее она растёт. Чем больше в группе подписчиков, тем больше её репостят, и тем быстрее приходят новые подписчики.

В экономике подобная закономерность называется "сетевой эффект": чем больше людей пользуются продуктом, тем более полезным становится этот продукт. Например, чем больше моих знакомых пользуются Телеграмом, тем больше мне хочется тоже им пользоваться. Благодаря этому эффекту небольшое количество мессенджеров (маркетплейсов, операционных систем, провайдеров связи...) завоёвывает практически весь рынок, а остальные (коих множество) довольствуются маленькими нишами.

За счёт чего в таких ситуациях "ломается" центральная предельная теорема? Она гласит, что распределение суммы большого количества примерно одинаковых и независимых факторов похоже на нормальное. Но распределение Парето обычно появляется там, где нарушается допущение о независимости: деньги притягивают деньги, френды - френдов, цитирования статьи - новые цитирования. Тот, у кого было на старте лишь незначительное преимущество, в итоге может за его счёт вырваться далеко вперёд.

Осталось объяснить, что значит "не существует матожидания (среднего)". Если говорить о генеральной совокупности, в которой действует формула функции распределения, это означает несходимость интеграла. Напомним, чтобы рассчитать матожидание, нужно усреднить все возможные значения X случайной величины по плотности f(X), то есть проинтегрировать величину X*f(X). Так вот, если показатель степени k из формулы Парето меньше 1, то этот интеграл равен бесконечности. То есть матожидание "неограниченно большое".

С точки зрения выборочных оценок (статистик!) это означает нестабильность. Если матожидание существует, то действует закон больших чисел: ростом выборки среднее по этой выборке сходится всё ближе к постоянному значению (матожиданию), и возле него стабилизируется. Но если выборки берутся из распределения без матожидания, то стабилизации не происходит: с добавлением новых наблюдений среднее растёт скачками, и может расти неограниченно.