#методы #статистика
Так как же получается, что в исследованиях результаты то одни, то другие? А вот как. Давайте представим себе, что мы Золушка, сидящая у большого мешка риса. В мешке, условно, один миллион рисинок. Часть из них — белый рис, а часть — коричневый. Злая мачеха потребовала пересчитать, каких рисинок — белых или коричневых — в мешке больше. Конечно, мы можем, как Золушка, потратить кучу времени и перебрать мешок вручную. А если зернышек не миллион, а миллиард? Или семь миллиардов! Да и не хочется всю жизнь потратить на один только рис: есть еще горох с чечевицей, да и на бал хочется попасть.
Но допустим у нас есть крёстная-фея — волшебница, которая хорошо знает статистику. Она подскажет мудрую вещь: вместо унылого перебирания всего риса наугад можно хорошенько встряхнуть мешок, чтобы все перемешалось, а затем вытащить несколько горсток и пересчитать рисинки в них.
Это по сути и будет исследование с применением статистических методов, и именно так чаще всего поступают учёные, в том числе психологи. Из семи миллиардов людей, живущих на нашей планете, они — насколько возможно случайно — отбирают некоторое количество людей, и проводят на них исследования. Можно ли на основании этих результатов утверждать, что мы точно знаем природу исследуемого явления? Ровно настолько, насколько мы можем утверждать, что знаем соотношение рисинок в мешке после того, как проверили пару горстей.
Достаем первую горсть риса – в ней больше белых зернышек. Что ж, это может быть настоящим открытием, особенно если подобной задачи раньше никто не ставил и мешок не открывал. Публикуем результаты. Если нашими результатами заинтересовались другие ученые, они тоже возьмут по горстке риса из нашего мешка и пересчитают –— и это будет репликацией. И — вот так номер! У кого-то, так же как у нас, окажется больше белых рисинок, а у кого-то больше коричневых. А это уже практически репликационный кризис!
Значит ли это, что первые результаты ошибочны? Или всё же ошибочны вторые? На самом деле, если с точки зрения методологии и расчётов все хорошо, это означает, что эффект выражен слабо, либо его затруднительно обнаружить нашим методом. Если в мешке в основном белый рис и он хорошо перемешан, то мы увидим это соотношение во всех вынутых горстях. Но если соотношение белых и коричневых рисинок примерно одинаково, то наши результаты будут постоянно разными. И это не значит, что одни из них верные, а другие — нет. Это только значит, что нужно продолжать исследовать. Ведь с каждой новой