Распавяду вам пра новае моднае даследаванне, пра якое гудзіць акадэмічны твітэр.

73 камандам (161 даследчык) раздалі аднолькавыя даныя каб адказаць на адное і тое ж пытанне: ці вядзе масавая іміграцыя да зніжэння ў грамадстве падтрымкі сацыяльных палітык. Само пытанне не вельмі важнае.

Важныя вынікі. Яны цудоўныя: адказы акуратна размазаныя ад моцна негатыўнай да моцна пазітыўнай залежнасці. Дакладней, 25.4% адказаў - за негатыўны эфект, 16.9% - за пазітыўны, а 57.7% каманд не знайшлі статыстычнай значнасці. Больш за тое - ніводныя 2 каманды не прыйшлі да аднаго і таго ж адказу. 73 унікальныя адказы на 73 каманды, тобок. Ні ўзровень навукоўцаў, ні асабістае стаўленне да пытання не прадказваюць вынікаў.

Чаму так адбываецца? Уявіце, што ў вас ёсць апытанне. На яго ў сярэднім адказвалі за 3 хвіліны. Але ёсць тыя, хто за <30 секунд. Вы можаце: нічога не рабіць, выкінуць 1% найбольш хуткіх адказаў, як нерэалістычны шум, выкінуць 5%, 10%, выкінуць не па працэнтах, а па абсалютным значэнні ў 30 секунд і г.д. Загадзя прадказаць, як гэта паўплывае на аналіз, цяжка. Сказаць, якая опцыя лепш - таксама, яны ўсе слушныя. Па выніку, мільёны ўнікальных камбінацый.

Калі вам распавядаюць, што колькасць зброі вядзе да росту забойстваў. Ці да падзення колькасці забойстваў. Ці порна вядзе да росту гвалту. Ці порна зніжае гвалт. Памятайце: вам прэзентуюць адзін з мільёнаў магчымых аналізаў.

Насамрэч, нічога новага. Гэта не першае такое даследаванне і не апошняе. Я сам удзельнічаю зараз у праекце па рэплікацыі вядомых папер пра эканоміку, псіхалогію, сацыялогію і г.д. Апублікуем - распавяду. Але адказ і так усім зразумелы.