Статистическая мощность психологических исследований: почему эффекты то есть, то нет
#ликбез #статистика #методы

Признайтесь, вы мечтали с нового года начать все с чистого листа и наконец познать статистику. Желания сбываются! Самый первый пост 2021 года будет посвящен статистической мощности. Не пугайтесь, мы не собираемся грузить вас сложными формулами. Мы попытаемся на примерах из жизни объяснить концептуальные азы статистики. В этот раз наша цель — разобраться, как так получается, что в одних экспериментах получают один результат, а в других другой.

Краткое содержание предыдущих серий: влиятельные работы Баумайстера и коллег обнаружили, что задания на самоконтроль понижают уровень глюкозы в крови. Сначала все возрадовались, но затем ряд научных коллективов провел несколько репликаций, и эффект не подтвердился. Та же участь, кстати, постигла многие другие всенародно известные психологические открытия: например, эксперимент, в котором люди медленнее ходили после того, как им зачитывали слова про старость (Bargh et al., 1996). Неподтвердившиеся результаты копились и множились, и во второй декаде 21 века социальные психологи даже окрестили происходящее репликационным кризисом. О нем мы поведаем отдельно.

Внимание, вопрос: какого черта? Если какой-то эффект есть, разве он не должен работать всегда? Видимо, результаты фабрикуют? Что ж, иногда их действительно подделывают, как в одиозном случае Дидерика Штапеля, с которого репликационный кризис и начался. Но это ситуации крайне редкие. В большинстве случаев ученые честно собирают данные и обрабатывают их. Дело в том, что чтобы получить какой-то результат, данные не обязательно подделывать. Их просто надо уметь готовить.

Элементарно, Ватсон
Начнем немного издалека. Давайте представим себе какую-то максимально простую и логичную закономерность, которая не вызывает сомнений, буквально трюизм. Ну например: чем люди старше, тем больше у них опыта работы. Про это, кстати, есть и данные: корреляция между возрастом и опытом работы составляет около 0.3 (Chung et al., 2015).

Какой механизм у этой закономерности? Банальнейший: чем больше лет человек жил, тем больше времени у него было поработать.

Почему тогда эта корреляция не составляет 1.0 (или 100%)? Тоже примерно понятно: некоторые люди живут долго, но не работают никогда, некоторые, наоборот, начинают работать с детства. Иначе говоря, есть правило, а есть исключения, которые, тем не менее, не опровергают общего правила.

А теперь давайте представим себе, что мы слепые ученые и не знаем об этой закономерности, а лишь пытаемся вывести ее из данных. У нас есть гипотеза: возраст положительно связан с опытом работы.

Как мы будем проверять эту гипотезу? Как обычно, на людях. Мы будем брать из популяции случайных людей и измерять для каждого возраст и опыт работы. Берем первого случайного человека. Допустим, его зовут Алексей, ему 34 года, он закончил институт, съездил в кругосветное путешествие, затем вышел на работу и работает уже 11 лет. Затем берём другого случайного человека — Аллу, ей 25, и она работает с самого окончания института, то есть 5 лет. Пока все сходится: чем больше возраст, тем больше опыт работы. Затем мы случайно вытаскиваем Дениса: ему 36, но он получил наследство от родителей и работал в жизни всего два года. Затем нам попадается Ирина, ей 20, она из малообеспеченной семьи и работает с 14 лет. Хотя она на 16 лет моложе Дениса, ее опыт работы втрое больше.

Значат ли Денис и Ирина, что наша теория неверна? Пока у нас есть только четыре человека, мы этого не знаем. Нам надо продолжать "вытаскивать" людей из популяции и смотреть, что будет дальше. И тут в силу вступает магия закона больших чисел: если мы выбираем людей по-настоящему случайно, то в какой-то момент настоящая закономерность начнет перевешивать исключения. Нам будут попадаться самые разные люди с самыми разными судьбами, но если закономерность есть — а она есть — то с ростом числа наблюдений нам будет попадаться все больше людей вроде Аллы и Алексея.