Психометрика и психоскептика

"Зоопарк из слоновой кости" собрал папочку тг-каналов по социологии, психологии, истории, археологии и пр. интересностям. Делимся с вами, вдруг будет кому-то полезно:
https://t.me/addlist/obDLEfpYEgI0ZTli

Дорогие друзья! Прошу прощения за задержку с постом! Я сейчас усиленно тружусь над отчетом по одному очень интересному гранту, поэтому не успеваю делать практически ничего другого. Но вот не смогла пройти мимо интересной статьи, не так давно опубликованной в Nature, о воспроизводимости научных результатов в зависимости от выбранной стратегии анализа данных.
Aczel, B., Szaszi, B., Clelland, H. T., Kovacs, M., Holzmeister, F., Van Ravenzwaaij, D., ... & Geraldes, D. (2026). Investigating the analytical robustness of the social and behavioural sciences. Nature, 652(8108), 135-142.
В первую очередь, статья впечатляет количеством авторов: их там 494! (Я честно пыталась пересчитать их вручную и довольно быстро сдалась). В проекте участвовали 457 независимых аналитиков, которые провели в общей сложности 504 повторных анализа.
Идея проекта, с одной стороны, простая, но в то же время, красивая. Авторы взяли 100 опубликованных исследований в социальных и поведенческих науках и для каждого выбрали один основной результат. Затем исходные данные отдавали как минимум пяти независимым исследователям с одной задачей: проверить тот же самый исследовательский вопрос, но самостоятельно решить, как именно анализировать данные. То есть исследовательский вопрос и данные одинаковые, а выбор статистического подхода, способа обработки данных и других аналитических решений может различаться.
По результатам получилось, что если сравнивать конкретные оценки размера эффекта достаточно строго, только примерно 34% повторных анализов дали результат, близкий к первоначальному. Если критерий сделать существенно мягче, эта доля повышается примерно до 57%.
При этом на уровне содержательного вывода картина выглядит лучше: 74% анализов подтвердили исходный вывод, около 24% дали отсутствие эффекта или неопределённый результат, а примерно 2% показали наличие обратного эффекта, в сравнении с исходным исследованием.
То есть один и тот же набор данных и один и тот же исследовательский вопрос вовсе не обязательно ведут к одному-единственному «правильному» статистическому анализу и одному и тому же результату.
Авторы поэтому предлагают чаще использовать multi-analyst approaches и multiverse analysis: смотреть не только на один выбранный аналитический путь, а проверять, насколько вывод сохраняется при других разумных способах анализа.
Оставляем за скобками вопрос о том, насколько практически реализуема эта стратегия в реальных условиях работы исследователей (с требованиями публикаций, отчетов по грантам и т.п.). Но в идеальном мире такой подход, несомненно, мог бы быть интересным! Кому интересны подробности – читайте статью😊

Какое-то время назад мы обсуждали статью, где авторы пытались оценить прогресс в психологии через процент объясненной дисперсии результатов исследований (Smedslund, Arnulfь& Smedslund, 2022). Их логика заключалась в следующем. Если со временем наше понимание психологические явлений улучшилось, то доля объясненной дисперсии – как отражение нашей способности объяснять психологические данные – должна вырасти. Авторы статьи взяли 1565 психологических исследований, опубликованных с 1956 года, в которых можно было определить долю объяснённой дисперсии. Среднее значение составило 42,8% и за более чем шесть десятилетий оно практически не изменилось.

Количество исследований росло экспоненциально, методы и модели становились сложнее,появились компьютеры, огромные выборки и совершенно другой вычислительныйаппарат. А доля объясняемой дисперсии осталась примерно той же.

Можно, конечно, спросить – а почему именно объясненная дисперсия должна быть мерой научного прогресса? Возможно, сами изучаемые явления стали сложнее или удалось перейти от корреляций к хорошо установленному, хоть и небольшому, причинному эффекту. Разве не может быть других критериев оценки прогресса? Далее здесь.

Давно в нашем чате не было обзора на статьи про методы анализа. Мы много обсуждаем публикации о спорных практиках количественного анализа или публикации, которые ставят под сомнение возможность измерения в психологии и даже пользу количественных методов. Но несмотря на это, я люблю количественные методы и люблю анализ данных. Поэтому сегодня решила разбавить наши теоретико-методологические дебаты одной сугубо технической статьей о конфирматорном факторном анализе (КФА) и о том, как правильнее оценивать статистики согласия модели с данными.
Авторы статьи «Why we need to abandon fixed cutoffs for goodness‑of‑fit indices: An extensive simulation and possible solutions», опубликованной в 2024 году в журнале Behavior Research Methods, обсуждают различные статистики согласия модели и критикуют устоявшуюся практику использования четких критериальных значений этих статистик. Многие исследователи (если не большинство) ориентируются на определенные значения статистик согласия. Например, RMSEA ниже 0.05 считается хорошим показателем, а RMSEA выше 0.08 интерпретируется часто как показатель проблемной, «плохой», модели. Иногда эти критериальные значения (cut offs) воспринимаются как безусловное и четкое правило. Но авторы статьи на основе обзора имеющихся исследований и собственного симуляционного исследования говорят, что все статистики согласия модели с данными зависят не только от характеристик модели, и того, насколько она соответствует данным, но и от других условий: размера выборки, числа индикаторов для факторов, количества ответных категорий, особенностей распределения, используемого эстиматора. Привычные для многих исследователей критериальные значения относятся к узкому спектру возможных сценариев (под сценарием понимается сочетание возможных характеристик модели и других факторов), поэтому не могут и не должны быть генерализованы на все возможные случаи. О том, каким образом могут изменяться статистики согласия модели в зависимости от различных факторов и на основе чего можно сделать вывод о качестве модели, читайте подробнее в нашем посте.

Недавно в Scientific Reports вышла статья с довольно провокационным названием - Rethinking psychometrics through LLMs: how item semantics shape measurement and prediction in psychological questionnaires (“Переосмысление психометрики с помощью больших языковых моделей: как семантика утверждений формирует измерение и прогнозирование в психологических опросниках”) (Ravenda et al., 2025).

Авторы задаются вопросом: в какой степени структура, которую мы обнаруживаем в ответах на психологический опросник, отражает структуру психологического феномена, а в какой - семантическую структуру самих утверждений?

Логика простая. Разрабатывая опросник, мы намеренно создаём утверждения, содержательно связанные друг с другом. Утверждения о тревоге похожи по смыслу на другие утверждения о тревоге, утверждения о депрессии - на другие утверждения о депрессии и т. д. Потом мы собираем данные, обнаруживаем корреляции между ответами и на основании этих корреляций строим факторную модель.

Но что, если часть обнаруживаемой нами корреляционной структуры уже содержится в формулировках утверждений - до того, как мы опросили хотя бы одного человека? Авторы провели три исследования, чтобы показать роль семантики в структуре данных. Подробнее о работе, а также о моем мнении относительно ее “новизны” читайте здесь.

Сегодня у нас пост по статье Kroupin, I., Davis, H. E., Burdett, E., Cuata, A. B., Hartley, V., & Henrich, J. (2025). The cultural construction of “executive function”. Proceedings of the National Academy of Sciences, 122(27), e2407955122.

Исполнительные функции (ИФ) обычно рассматриваются как универсальные свойства человеческого мышления. Но насколько оправдано это представление, если почти все наши знания об ИФ получены в «школьном мире», то есть в обществах, где формальное образование играет огромную роль? Авторы предполагают, что исполнительные функции (как мы их измеряем) в большой части включают культурно-специфические навыки, сформированные требованиями «школьного мира». Они анализируют предыдущие исследования и сравнивают выполнение стандартных заданий на ИФ у четырех групп детей с разным опытом формального обучения. Результаты показывают, что дети из сельских групп с ограниченным опытом формального образования или без него демонстрируют выраженные различия в выполнении заданий по сравнению со своими сверстниками, посещающими школу, и особенно по сравнению с «типичной» выборкой из «школьного мира». По итогам авторы призывают пересмотреть понимание того, что до сих пор измерялось под названием ИФ, и что именно мы хотим измерять в дальнейшем. Подробнее читайте по ссылке

Всем привет! Все возвращается в этом мире, и наш канал после небольшого перерыва тоже возвращается к работе. А поскольку за окном еще лето, то у вас есть шанс насладиться нашими новыми публикациями, поедая фрукты и мороженое и лежа в шезлонгах, гамаках, палатках, а также на завалинках, пляжах и, конечно, на ДИВАНАХ!

Сегодняшний пост написан по статье, где тоже про возвращение, но это этот раз кризисов психологии😊 Поскольку авторы Ali Teymoori и Rose Trappes цитируют Л.С. Выготского (хотя и формально, к сожалению), я решила, что должна про эту статью рассказать😊

Итак, почему психология все время своего существования снова и снова возвращается практически к одним и тем же вопросам: что именно является объектом психологии, как этот объект связан с нашими методами и каким вообще должен быть идеал психологической науки? Авторы статьи «Возвращение фундаментальных вопросов: Исторический и философский анализ больших дисциплинарный кризисов в психологии» (Teymoori & Trappes, 2026) анализируют три крупных кризиса – начала XX века, 1960–70-е годов и репликационный кризис 2010-х, чтобы выявить фундаментальные причины их возникновения. Основной вывод авторов статьи состоит в том, что психология обычно отвечает на кризисы методологическими реформами, тогда как фундаментальная проблема сохраняется. Подробнее здесь:

«Мне нужен отпуск!» Или каникулы, если вы еще учитесь. Кто из нас не говорил время от времени эту фразу? Но насколько отпуск действительно полезен?
Оказывается, на эту тему существует довольно много исследований. Раньше считалось, что положительное влияние отпуска на психологическое благополучие невелико и довольно быстро исчезает. Однако недавний метаанализ, включающий 32 исследования (Grant, Buchanan, & Shockley, 2025), показал, что отпуск может оказывать достаточно сильное положительное влияние на психологическое благополучие, и этот эффект сохраняется дольше, чем предполагалось ранее. Наиболее полезными для восстановления оказались психологическое отключение от работы и физическая активность во время отдыха.
В другом систематическом обзоре, вышедшем в 2024 году (Yan, de Bloom, & Halpenny, 2024), рассматривалось, как продолжительность отпуска и его характеристики связаны с улучшением психологического состояния. Что касается длительности, данные противоречивы: часть исследований показывает, что более долгий отпуск способствует лучшему восстановлению и самочувствию, тогда как другие исследования не обнаруживают связи между продолжительностью отпуска и психологическим благополучием.
Зато исследования в целом сходятся в том, что некоторые виды отпускной активности могут быть особенно полезны. Это активности, которые дают ощущение новизны, контакт с природой, чувство смысла или возможность лучше понять себя: например, прогулки и походы, wellness-практики, участие в фестивалях, волонтерство или творческое погружение в местную культуру (если вы путешествуете). При этом рабочие сообщения и постоянное использование смартфона могут ослаблять восстановительный эффект, потому что мешают по-настоящему отключиться от повседневных обязанностей.

Все это звучит как план 😊 В общем, друзья, вы, наверное, уже догадались, к чему мы ведем: мы уходим в отпуск на июль. Желаем вам тоже хорошо отдохнуть, набраться сил и повысить уровень своего психологического благополучия, что бы ни понималось под этим термином. А мы вернемся к вам в августе с новыми и, надеемся, интересными постами!

Статьи:
Grant, R. S., Buchanan, B. E., & Shockley, K. M. (2025). I need a vacation: A meta-analysis of vacation and employee well-being. Journal of Applied Psychology.
Yan, N., de Bloom, J., & Halpenny, E. (2024). Integrative review: Vacations and subjective well-being. Journal of Leisure Research, 55(1), 65–94.

Можно ли доверять статье, которую вы читаете?

За последние 10-15 лет разговоры о кризисе воспроизводимости стали практически обязательной частью любой дискуссии о психологической науке. Мы постоянно слышим о p-hacking, HARKing, селективной публикации результатов, фабрикации данных, открытой науке и пререгистрации исследований. Кажется, что современная психология переживает период глубокого переосмысления собственных методов.

На этом фоне появляется огромное количество публикаций, посвященных тому, как сделать исследования более надежными. Одни авторы предлагают новые статистические процедуры, другие призывают изменить систему рецензирования, третьи обсуждают реформу академических стимулов.

Однако, как замечает Алексей Аникин в статье Can I Trust This Paper? (2025), среди всех этих обсуждений почти не звучит один очень простой вопрос: что делать обычному читателю научной статьи?

Каждый исследователь ежедневно открывает десятки публикаций. Одни статьи используются при подготовке лекций, другие - при написании обзоров литературы, третьи становятся основанием для собственных исследований. Но всякий раз приходится принимать одно и то же решение: можно ли доверять прочитанному?

Автор сразу предупреждает читателя: его статья не является инструкцией по выявлению научного мошенничества. Она не предлагает универсального алгоритма, который позволил бы безошибочно разделить хорошие исследования и плохие. Цель автора - предложить читателям несколько индикаторов, которые свидетельствуют о том, что в публикации есть проблемы. Они могут касаться ненадежных данных, недостаточных данных, плохо проанализированных данных, а также необоснованных выводов.

Подробнее здесь

Две недели назад мы обсуждали статью о том, что большие reasoning-модели якобы отражают когнитивные затраты человеческого мышления: чем длиннее цепочка рассуждений модели, тем дольше люди решают те же задачи. Вокруг этой статьи развернулась дискуссия, все вышедшие комментарии, по сути, задают один и тот же вопрос: можно ли из полученной корреляции между длиной рассуждений модели и временем реакции человека при решении одних и тех же задач делать выводы о сходстве человеческого и модельного рассуждения? В новом посте мы рассматриваем три критических комментария и ответы авторов: почему длина рассуждения может быть не «следом мышления», а просто выученным форматом ответа; почему время реакции человека и количество модельных токенов - очень разные показатели; и почему особенно интересны не только совпадения, но и систематические расхождения между людьми и моделями. Полный текст по ссылке.

Недавно наткнулась на работу Уильяма Старбука «Постоянные причины нескончаемой моды в поведенческих и социальных науках» (The Constant Causes of Never-Ending Faddishness in the Behavioral and Social Sciences). Статья давняя - 2009-го года, но это не делает ее устаревшей: наоборот, кажется, с каждым годом, она становится все актуальнее.

Этот пост написан по этой статье и дополнен личным комментарием, на этот раз касающимся эмоционального интеллекта, настойчивости (Grit) и темных черт личности (Dark Triad, Dark Tetrad, Dark Core и пр.) как примеров модных концепций. Приятного чтения!

Сегодня наш пост посвящен статье с интересным и многообещающим названием, The cost of thinking is similar between large reasoning models and humans, вышедшей в ноябре 2025 года в PNAS. Авторы задались вопросом, могут ли языковые модели «схватить» особенности человеческого мышления, а в частности, отразить когнитивные затраты на обработку информации. Для ответа на этот сложный вопрос, они использовали сравнительно новый тип языковых моделей, Large Reasoning Models (LRM) и оценили длину цепочки рассуждений при решении семи типов задач. Эти же семь типов задач выполняли люди. Авторы рассчитали корреляцию между длиной цепочки рассуждений и временем решения задач людьми и сделали вывод о том, что длина цепочки рассуждений предсказывает (да! Они действительно говорят «предсказывает»!) время реакции людей как внутри отдельных задач, так и между задачами. Это согласование между моделями и людьми показывает, что reasoning-модели отражают ключевые свойства, определяющие сложность проблем и задач в человеческих познавательных процессах. Не хочется спойлерить, но по моему мнению, заголовок статьи гораздо интереснее, чем полученные результаты (как в моем детстве говорили, «размах на рубль, удар на копейку»). Тем не менее, статью может быть интересно прочитать как пример того, какие исследования являются мейнстримом. И в очередной раз посокрушаться. 😊 Более подробно тут

Вчера у меня была т.н. «открытая лекция» в рамках курса «Психология образования». Открытая – т.к. к ней могли подключаться внешние слушатели и она записывалась. Тема «Нейробиология внимания, памяти и мотивированного обучения». Если кому-то интересно, то выкладываю запись: https://disk.360.yandex.ru/i/4lz2qBDKIiNuGg

В то же время хочу пояснить, что поскольку я не нейробиолог, а только притворяюсь интересуюсь этой областью, то уровень содержания относится скорее к популярному. Кроме того, поскольку мне пришлось ужать 4 ак. часа до 2ух, вторая половина лекции довольно сильно скомкана. Если есть интерес к этой теме, я могу сделать запись двух полноценных лекций, которые я буду читать осенью. А пока, что есть, то есть😊 Приятного просмотра!

Задача - найти психологический феномен

На нашем канале мы много раз писали про репликационный кризис, который переживает психология, и про более глубокий кризис психологических теорий. Всё больше исследователей считают, что проблема современной психологии не сводится к p-values, p-hacking или слабым размерам эффекта. Проблема в том, что дисциплина слишком мало внимания уделяла и уделяет поиску устойчивых эмпирических феноменов.

Недавно появилась публикация “Устанавление психологических феноменов: Альтернативные методологические перспективы в научной практике” большой группы авторов, включая наших любимых Дэниеля Борсбума, Брайана Хайга, и Маркуса Эронена. Авторы предлагают радикально изменить то, как вообще должна строиться психологическая наука.

Подробнее об этом здесь, и там же я делюсь недавними наблюдениями и мыслями, по поводу устойчивости сложившихся исследовательских практик к изменениям такого рода

Сегодня хотелось бы немного рассказать о коллекции статей, опубликованной в этом году в журнале Computational Brain & Behavior. Она посвящена теме Illusions of Understanding in the Sciences - иллюзиям понимания в науке. Всего в этой коллекции сейчас опубликовано 24 материала, большая часть из которых - комментарии к статье Shiffrin, Stigler и Keil “Illusions of Understanding in the Sciences”. Поэтому сначала подробнее остановимся на самой статье, которая запустила эту дискуссию, а к комментариям вернемся отдельно. Главная идея статьи состоит в том, что ученые часто переоценивают степень своего понимания изучаемого феномена. Причем эта иллюзия может усиливаться именно там, где наука выглядит особенно строгой и формализованной: при использовании математических моделей, компьютерных симуляций, статистического анализа и количественного предсказания.
Надо сказать, что я долго колебалась, прежде чем писать этот пост. Я начинала, бросала, опять начинала. И все-таки решила довести дело до конца. С одной стороны, проблема, о которой говорится в статье топик-стартере – не новая, и мы на нашем канале много писали про это. Признаться, я немного устала от статей, посвященных разбору того, как все плохо и неясно в социальных науках. С другой стороны, мне было интересно прочитать и саму статью, а главное, комментарии к ней. Возможно, думала я, кто-то из комментаторов сможет привести какие-то аргументы в пользу социальных наук и формального моделирования в них. В конце концов, я решила, что все-таки стоит поделиться с вами и тем, что написано в самой статье, и тем, что написано в комментариях. Насколько стоило это делать – судить вам. Читайте дальше, если интересно

Решила еще раз пройтись по ИИ исследованиям в социальных науках, а точнее их влиянию на самих ученых. Недавно вышла статья Cecilie Traberg, Jon Roozenbeek и Sander van der Linden под названием “ИИ превращает научные исследования в монокультуру”. Главный тезис статьи состоит в том, что искусственный интеллект становится не просто объектом исследования, а фактором, постепенно унифицирующим саму научную культуру: темы исследований, методы, язык науки и даже способы мышления ученых начинают становиться все более однообразными. 

Подробнее здесь

Сегодня у нас пост по статье “Unraveling honest responding: a systematic review on the effectiveness of social desirability bias reduction methods in survey research”, вышедшей в начале 2026 года (Zaal et al., 2026).
Социальная желательность (Social Desirability Bias, SDB), то есть склонность респондентов так отвечать на пункты опросника, чтобы представить себя в социально приемлемом свете, создает серьезные проблемы при использовании и анализе результатов психологических опросников. В статье авторы сделали обзор экспериментальных исследований эффективности различных способов снижения социальной желательности. Они выделили 13 основных методов и сделали вывод о том, что наиболее эффективным подходом являются Face-saving strategies / стратегии “сохранения лица. Подробности читайте в нашем полном посте.

Друзья! С Днём Победы Красной армии и  советского народа над нацистской Германией в Великой Отечественной войне 1941—1945 годов!

Психология искусственного разума

Недавно мне попалась довольно любопытная статья, связанная с изучением больших языковых моделей (LLM). Из нее я выяснила, что есть целая научная область – «психология ИИ», и как утверждают авторы, она повторяет исторический путь психологии человека. В частности, сейчас психология ИИ оказалась в плену бихевиористской парадигмы, которая фокусируется на наблюдаемых корреляциях «вход-выход» и игнорирует внутренние когнитивные механизмы. Иными словами, исследователи изучают LLM через стимулы (промпты) и реакции (ответы), что повторяет классическую схему «стимул → реакция». В этой схеме не отражаются причинные механизмы: как и почему модель пришла именно к этой реакции.
Кроме того, как указывают авторы, невозможно отличить подлинное внутреннее понимание от сложной поведенческой имитации, особенно в задачах, требующих неявных знаний.

В статье можно детально познакомиться с проблемами «психологии ИИ», как их понимают авторы, основными выводами и рекомендациями. Здесь же я хочу описать максимально простым языком суть проблем, с которыми имеет дело «психология ИИ», и отреагировать и на эти проблемы и на сам факт существования этой психологии.
Далее здесь

Наш канал, в основном, посвящен обсуждению проблем психологических исследований и психометрике. Но иногда мы говорим о проблемах, которые не являются специфичными для социальных наук, а касаются в целом методологии научных исследований. Вот и сегодня мы поговорим о теме, которая совсем скоро может коснуться любого научного исследования. Это тема - The AI Scientist, система полной автоматизации научных исследований, начиная от выдвижения начальной идеи, и заканчивая конечным результатом - научной публикацией. Тема эта новая, но уже широко обсуждаемая.
Начнем мы со статьи «Towards end-to-end automation of AI research» (Lu et al., 2026), опубликованной в журнале Nature в марте 2026 года. Авторы говорят о том, что системы ИИ в том или ином виде использовались для автоматизации или улучшения научных исследований еще до появления LLM. С появлением LLM роль ИИ в научных исследованиях расширилась. Теперь ИИ используется для генерации новых гипотез, написания литературных обзоров, программирования экспериментов. Но вопрос в том, может ли быть научное исследование полностью автоматизировано, без вмешательства человека: от выдвижения новой идеи до публикации статьи. Авторы считают, что в скором будущем такое возможно, и демонстрируют возможности работы такой системы. За подробностями по ссылке.