На волю! Возвращаемся от статистики к истощению волевого ресурса

К чему были все эти разговоры за статистику, вы, возможно, догадались — мы пытались понять, каким образом результаты, полученные одними учеными, могут не подтверждаться другими. Как вы помните, известное открытие Баумайстера и коллег о том, что самоконтроль понижает уровень глюкозы в крови, позже многократно не подтвердилось (Vadillo et al., 2016; Lange & Eggert, 2014, etc.). И теперь вы наконец сможете понять, почему.

Многие известные и волнующие эксперименты в психологии (и других социальных науках) до недавнего времени проводились на очень маленьких выборках. Ученых можно понять: онлайн-доступа к респондентам тогда еще не было, собирать людей в лаборатории долго и дорого, поэтому академики старались обходиться малыми ресурсами, чтобы успевать хоть что-то делать в жизни. Например, в эксперименте с печеньками и редисками поучаствовало 67 человек, — и это было бы даже не так мало, если бы не тот факт, что их поделили на три группы: две экспериментальные и одну контрольную; таким образом на каждое условие эксперимента пришлось всего по 20 с небольшим человек. К тому же при анализе их потом делили на еще более мелкие подгруппы по диете и настроению. В других экспериментах того же научного коллектива, в том числе и знаменитых "глюкозных", участвовало то по 39, то по 25, а то и по 16 человек. Немного понимая, как работает статистика, и (надеемся) сами покидав дома кубик, вы теперь знаете, что когда наблюдений у вас мало, любой полученный результат может оказаться случайным. Это не значит, что он будет обязательно ложным; но это значит, что доверять ему без перепроверки не стоит.

Музыка нас связала
В 2011 году группа ученых из университетов Пенсильвании и Беркли опубликовали очень смешные и одновременно грустные результаты. Они показали, как собрав 30 испытуемых и "правильно" обработав данные, можно доказать вообще что угодно (Simmons et al., 2011). В их эксперименте испытуемые слушали одну из двух песен — либо битловскую When I'm sixty-four, либо детскую Hot potato. После прослушивания люди указывали, насколько молодыми себя чувствуют. Выяснилось, что детские песни заставляют людей чувствовать себя старее, а взрослые моложе (полная чушь по словам самих ученых). Но чтобы всё было ещё убедительнее, ученые пошли дальше: они измерили, насколько песня влияет на реальный возраст — и представляете, выяснили, что влияет! После прослушивания взрослой песни испытуемые оказывались значительно моложе, чем после детской.

После презентации этих намеренно идиотских результатов ученые объяснили, как именно им удалось их получить. Данные они собрали реальные, ничего не подделывали и не подтасовывали, а просто, что называется, умели их готовить. Кроме некоторых нюансов статистической обработки, которые мы пока разбирать не будем, чтобы не усложнять, всё в общем-то снова сводилось к маленькой выборке: из тридцати людей всегда можно обоснованно выкинуть десять, — ну а на оставшихся двадцати погонять разные анализы и что-нибудь да получится.

Вот почему современные требования к статистической мощности сильно изменились: сегодня на каждом "пересечении" двух условий (например, те люди из группы редисок, кто был на диете) должно быть не меньше 50 человек (Simmons et al., Life after P-Hacking, 2013). Сегодня, чтобы опубликовать статью про истощение эго, Баумайстеру понадобилось бы около 300 человек, а также пререгистрация гипотезы и анализических процедур до проведения исследования. Тогда результатам можно было бы доверять и их бы приняли в хороший рецензируемый журнал.