How to lie with statistics

Ну ладно, не совсем врать, но вводить в заблуждение – и себя, и других.

Речь про эффект, который я уже встречал в своей исследовательской практике, поэтому он меня не очень удивил в этой статье. Но в ней хорошие иллюстрации, поэтому решил вам показать.

Когда люди чему-то учатся (например, запоминают информацию, или выучивают какую-то двигательную реакцию), это можно визуализировать в виде кривой научения – графика, где по оси Х мы откладываем номер пробы, а по оси Y – точность выполнения задачи (например, процент запомненной информации). По форме этой кривой можно делать выводы о свойствах процесса обучения.

Например, принято считать, что в структурно простых задачах (когда есть какое-то простое вербализуемое правило) плавная кривая отражает неконтролируемое или неосознанное (имплицитное) научение. Мозг постепенно заучивает правило, и это так же постепенно проявляется в поведении. Если человек осознаёт правило, которое заучивает, то кривая выглядит как ступенька - после момента осознания заучиваемого правила человек уже почти всегда выполняет задачу точно.

Есть такой эффект – хеббово повторение (не уверен насчёт русского перевода): человек запоминает последовательности случайных знаков. Если в этой последовательности есть повторяющиеся кусочки, люди начинают постепенно лучше их воспроизводить – по сравнению с остальными элементами. Некоторые исследователи утверждали, что это пример имплицитного научения, то есть люди не осознают, что какие-то кусочки заучиваемой последовательности повторялись. Один из аргументов как раз в плавной форме кривой.

И правда, когда набираешь большую выборку (а все знают, что в психологической науке для надёжности результатов, конечно же, нужны большие выборки испытуемых!), усредняешь данные, чтобы избавиться от шума и индивидуальных различий – видна плавная кривая для повторяющихся элементов (красная кривая на верхних графиках).

Авторы одной недавней статьи поставили под сомнение идею имплицитности этого научения и провели довольно простой анализ: они рассмотрели индивидуальные кривые научения, а не групповые. И оказалось, что некоторые испытуемые (Participant 4 на графике) вообще не демонстрируют этого эффекта (повторяющиеся и случайные последовательности не отличаются по точности воспроизведения). А другие (Participants 1, 2, 3 на графике) показывают явную ступенчатую кривую научения: в какой-то момент (видимо, когда замечают последовательность) они её начинают воспроизводить идеально (красная кривая на нижних графиках).

Таким образом, как пишут авторы: эффект Хебба не является ни постепенным, ни имплицитным.

Почему это важно? Не из-за эффекта Хебба как такового. А потому что важно замечать потенциальные проблемы со статистикой, которую нам подают как научное доказательство какого-то тезиса. Научная строгость действительно требует большого количества данных и статистического анализа – но эти же вещи могут скрыть от нас истинную природу процесса, который мы изучаем. Плавная кривая как результат смешения отсутствующей и ступенчатой динамики – типичный пример. Теперь вы об этом знаете!