Как понять, что такое состоятельность, и зачем она вообще нужна?

Итак, у нас есть популяция, в этой популяции есть среднее -- например, средний рост. Померять всех людей мы не можем, поэтому мы берем выборку из популяции и на основании этой выборки пытаемся оценить среднее во всей популяции. Конкретный способ как из n измерений в выборке получаем одно число -- оценку параметра -- называется estimator или, как называет его Ник, оценщик. В случае со средним это обычно среднее арифметическое. Но могут быть и другие: например, trimmed среднее, когда вы удалили из выборки выбросы.

В чем проблема: поскольку измерения в выборке -- случайные величины, то и результат, который нам выдает оценщик -- собственно сама оценка -- тоже случайная величина. Внимание: случайная величина не значит "левая, рандомная хрень; шум". Это значит, что у нас есть некоторая "ошибка измерения". Среднее в выборке не будет равно среднему в популяции (я гарантирую это).

Все последующие танцы сводятся к тому, как ведет себя вот эта "ошибка измерения", разница между реальным значением в популяции и тем, что вам говорит ваш оценщик.