Значимо — не значимо: что означают все эти цифры в результатах научных исследований?
#ликбез #статистика #методы

Пару раз в наших рассказах о разных психологических открытиях мелькал термин статистическая значимость (см. когнитивный диссонанс, эффект якорных значений). Наши читатели могли, например, видеть две разных цифры, но мы просили поверить нам на слово, что между этими двумя значениями разницы на самом деле нет. Как же такое может быть? Кого вы обманываете? Есть же у нас глаза, которыми мы видим, что числа разные! Поскольку без понятия статистической значимости всё равно не получится нормально рассказывать о науке, пришла пора её одолеть. Давайте сделаем это вместе.

А есть ли разница
В социальных науках часто возникает задача определить, насколько две группы отличаются между собой по какому-то показателю. Правда ли, что средний доход у мужчин выше, чем у женщин? Самооценка у людей с клинической депрессией ниже, чем без? Мозг у людей крупнее сейчас, чем был 150 лет назад? Люди, которые принимали лекарство, чувствуют себя лучше, чем те, кто принимал плацебо?

Как подступиться к подобным вопросам? Ну например, чтобы ответить на вопрос о доходах, можно взять какого-то мужчину и какую-то женщину и сравнить их доход. Но мы упираемся в такую же проблему, как с кубиками: одного случая мало, чтобы делать надежные выводы. А вдруг женщина — врач из провинции, а мужчина — инвестбанкир из Москва-сити? Поэтому нам снова надо брать выборку людей из популяции.

Нечто среднее
Сначала у нас нет серьезных исследовательских намерений, и мы чисто по фану набираем (рандомно) 5 мужчин и 5 женщин со всей России. Мы видим такую картину зарплат: у мужчин 55 000, 45 000, 60 000, 40 000, 25 000. У женщин: 25 000, 30 000, 120 000, 35 000, 20 000.

Что с этими данными сделает любой уважающий себя социолог, психолог, демограф или экономист? Конечно, возьмет среднее, то есть в каждой группе всё сложит и поделит на пять. Для мужчин средний доход по нашей выборке таким образом составит 45, а для женщин — 46 тысяч рублей. Казалось бы, разница налицо, целая тысяча! На тысячу, между прочим, кое-где и в ресторан сходить можно. Вот же, мы своими глазами видим, что разница есть, правда?

Но давайте теперь присмотримся к самим зарплатам: большая часть мужских зарплат колеблется в районе 40-50 тысяч. Женские же зарплаты в нашей выборке в основном ниже (20-30 тысяч), но какая-то успешная self-made woman (небось москвичка) затесалась в выборку и "подтянула" статистику по стране так, что она стала выше мужской. Одна из моралей этой истории, конечно же, опять в том, что выборка должна быть больше: чем больше мы возьмем людей, тем меньше веса будет иметь наша москвичка, её влияние на среднее значение будет "растворяться" среди множества более скромных россиянок из регионов. Но есть и вторая мораль: важно знать не только само среднее, но и из каких данных оно получилось.

Время разбрасывать данные
Для описания этих самых данных в статистике используют страшное слово дисперсия, которое на самом деле тоже не такое страшное: под дисперсией понимается всего лишь разброс данных вокруг среднего значения (если строго, то разница между каждым из значений и их общим средним, до кучи возведенные в квадрат и суммированные, — но для концептуального понимания это всё ненужные частности).

В нашем примере у женщин выше средняя зарплата, но больше и разброс. О чем этот разброс говорит нам? О том, что какая у российских женщин средняя зарплата на самом деле, — или, на языке математиков, в популяции, — мы по этой выборке знаем плохо, т.е. недостаточно точно. Чтобы мы знали точнее, разброс данных должен быть меньше.

Хорошая новость в том, что с ростом числа наблюдений этот разброс будет уменьшаться. Чем больше у нас данных, тем больше значений будут "падать" ближе к среднему, уменьшая его дисперсию. Прямо как в нашем домашнем эксперименте, помните: поначалу, когда вы только начали кидать кубики, разброс циферок был повсюду, но чем больше вы кидали, тем сильнее массив выпадающих циферок "стягивался" к семерке — их, кубиков, истинному популяционному среднему.