Привет, друзья, на связи Елизавета. На днях мне прислали пост про исследование с почти 16 млн участников, в котором будто бы подтверждается, что мужчины в среднем имеют более высокий интеллект, чем женщины. Я попробую максимально коротко написать, почему исследование весьма сомнительное (в посте есть свои проблемы, но это уже оставим для комментариев).

1. ГЛАВНАЯ ПРОБЛЕМА С КЛЮЧЕВЫМ РЕЗУЛЬТАТОМ 2.57 БАЛЛА

Во-первых, число 2.57 они получили не из всего массива 2,086 effect sizes как единого итогового анализа, а из поданализа взрослых general ability tests, где в финальный мета-анализ вошло всего k = 47 итоговых effect sizes. Во-вторых, даже эти 47 effect sizes — не обязательно отдельные исследования или уникальные наблюдения в строгом смысле. Часть из них могут быть просто результатом дробления одних и тех же массивов данных.

Наконец, в-третьих, даже если забыть про все прочие проблемы с этим результатом — он все равно очень мал. При стандартном IQ SD = 15 (и d примерно 0.17) — это всего лишь 0.7% дисперсии. В районе 53-54% шанса угадать пол по IQ (близко к чистому угадыванию 50 на 50).

2. ПОИСК И ОТБОР ИССЛЕДОВАНИЙ У НИХ СЛАБО ФОРМАЛИЗОВАНЫ И ПЛОХО ВОСПРОИЗВОДИМЫ

Авторы сами пишут, что поиск "was not formally tracked", а затем исключают широкий набор выборок по собственным критериям. Это не обнуляет работу, но сильно повышает роль авторских решений и затрудняет независимую проверку того, насколько устойчив полученный результат.

3. ИНДЕКС ГЕТЕРОГЕННОСТИ У НИХ АЖ 98.2%

Это очень много. Кокран называет диапазон 75-100% "considerable heterogeneity". При такой большой вариативности результатов между исследованиями усредненное значение может вводить в заблуждение.

4. САМИ АВТОРЫ ПРИЗНАЮТ: ЭТО МОЖЕТ БЫТЬ НЕ РАЗЛИЧИЕ В ОБЩЕМ G-ИНТЕЛЛЕКТЕ

В статье написано: "Whether this difference is due to general intelligence (g) is not clear" — неясно, обусловлена ли эта разница именно общим интеллектом g. То есть сами авторы не доказывают, что нашли именно среднее мужское превосходство по g, они только склоняются к этому по своим priors.

5. СВЯЗКА "МУЖСКОЙ МОЗГ БОЛЬШЕ —> МУЖЧИНЫ В СРЕДНЕМ УМНЕЕ —> РАЗМЕР МОЗГА ПРИЧИННО ОБЪЯСНЯЕТ РАЗНИЦУ" В РАБОТЕ НЕ ДОКАЗАНА

Сами исследователи тут более осторожны, так что эта претензия скорее к посту в ТГ и журналистским пересказам. Авторы лишь выдвигают осторожные предположения и выборочно ссылаются на чужие работы. Их собственный мета-анализ эту связку не проверял.

В целом есть работы, которые связывают общий размер (обычно объем) мозга с лучшей когнитивной производительностью, но все это пока находится в стадии дискуссии. Кроме того есть авторы, которые фиксируют оба факта (больший объем мозга коррелирует с лучшей когнитивной производительностью + у мужчин в среднем больший объем мозга, чем у женщин), но при этом пишут, что другие параметры (например, плотность серого вещества) тоже вносят вклад, и могут объяснять равную когнитивную производительность у мужчин и женщин.

6. У ЭТОЙ ИССЛЕДОВАТЕЛЬСКОЙ КОМАНДЫ НЕ ВСЕ ХОРОШО С РЕПУТАЦИЕЙ

Это не просто ад хоминем, потому что исследователи в данной работе принимали немало своих авторских решений, так что вопрос доверия к репутации тут важен. Честно предупреждаю: я глубоко не оценивала критику, но ее довольно много и местами она выглядит убедительно. Это и академическая критика, и официальные письма, и судебные документы, и журналистские статьи (есть и статьи в блогах, но их приводить не буду).

Почитайте сами.

Прямо касающееся Киркегаарда: раз, два и три. Про его соавторов/сеть: раз и два. Фигурирует и печально известный Pioneer Fund, который спонсировал не раз разбираемого нами Ричарда Линна с похожими тезисами про мужское превосходство в интеллекте.

Вдобавок Kirkegaard является редактором и одним из основателей журнала OpenPsych, где их статья и вышла, а один из рецензентов аноним.

ИТОГ

Большая, но довольно грубо методологически проведенная работа от команды с сомнительной репутацией. Это и близко не расстановка точек в вопросе.

За помощь в написании разбора спасибо моему другу Алексею Стукальскому.