С кредитным скорингом мы скоро продолжим всерьёз, а пока вернёмся к статистикам. А именно, к робастным статистикам, которые ведут себя адекватно, когда моменты (среднее, дисперсия, асимметрия и так далее) сходят с ума.

Что значит "робастные" и "сходят с ума"? На самом деле, имеется в виду в первую очередь чувствительность к аномальным наблюдениям. Эти аномалии (они же выбросы) иногда возникают как ошибки в данных, а иногда соответствуют действительности, но на них просто не хочется концентрировать внимание. Например, если заёмщик, указывая доход, добавил лишний нолик, это дурацкая ошибка (или подтасовка), которую, тем не менее, может быть не так просто скорректировать. А у каких-то клиентов могут быть действительно семизначные доходы, но их меньшинство, и, если учитывать их при расчёте среднего дохода, то он может получиться больше, чем у большинства остальных клиентов, и не будет отражать "типичного клиента".

Мы говорили, что моменты (в частности, среднее арифметическое), основаны на суммировании, и это очень удобно. Но пока мы суммируем сами значения наблюдаемых величин, нет никакой гарантии, что к нашей сумме не добавится выброс, и всё не испортит. Причём чем выше порядок момента, тем проблем острее (т.е. выбросы больше влияют на дисперсию, чем на среднее, на асимметрию - больше, чем на дисперсию, и т.д.). Радикальный уход от этой проблемы - не использовать при расчёте статистик значения наблюдений вообще, а только их порядок относительно друг друга.

Например, место среднего можно тогда использовать медиану: она вообще не меняется, если увеличивать значения и так больших наблюдений, или уменьшать значения маленьких. Вместо стандартного отклонения можно использовать, скажем, расстояния между 25% и 75% квантилями (или любой другой парой, даже не обязательно расположенной симметрично относительно центра). И так далее: почти любое интуитивно понятное свойство распределений не очень сложно выразить через квантили.

Это, кстати, решает и проблему интегрируемости: если моментов у каких-то странных распределений может не существовать (потому что если считать моменты через интегралы, то те просто расходятся), то вот квантили существуют всегда. Квантили в общем случае сложнее считаются (приходится сортировать данные, а если их много, это может быть трудозатратной операцией). Но зато квантили (если они не близки к 0% и 100%) можно считать по маленьким случайным выборкам, и их значения, как правило, будут близки к тем, которые получаются на всей генеральной совокупности.

А вообще, свойства выборок - это отдельная большая и важная тема, которую мы затронем в ближайших постах. До скорого!

#матчасть #математика #weirdMath #статистики #метрики #robust