Ложные корреляции и проблемы big data

В социологических и антропологических исследованиях все чаще начинают использовать большие данные, собранные с помощью множества ресурсов: источниками данных становятся социальные сети, государственная и корпоративная статистика, записи с камер наблюдения, платежи в банках, СМИ и разнообразные технологические средства, которые отслеживают активность человека.

В связи с этим мы оказываемся в ситуации, когда данных становится гораздо больше, чем вопросов, которые мы можем адресовать им — при желании можно связать между собой множество показателей, но эти связи будут бесполезны.

Хороший пример — это сборник абсурдных и странных корреляций на сайте «ложные корреляции»:

«Потребление сыра на душу населения коррелирует с количеством людей, которые умерли, запутавшись в своих простынях»

«Количество людей, утонувших при падении в бассейн коррелирует с количеством фильмов, где снимался Николас Кейдж»

Важно, что корреляция не всегда отражает зависимость между переменными и не означает наличия причинно-следственных связей. Поэтому иногда некоторые переменные могут коррелировать, но эти корреляции — обманчивы (или требуют других форм верификации).

Можно сформулировать несколько важных аспектов работы с большими данными:

🔵Контекст сбора и производства данных не менее важен, чем сами данные

🔵В базах данных отражаются ценности, логики мышления, философские допущения и позиции тех акторов, кто формировал эту базу

🔵Данные — это всегда отбор релевантных характеристик, а не отражение феномена «как он есть»

О похожих проблемах, связанных с неправильной интерпретацией цифр в СМИ, в своей рецензии на книгу «Цифры врут. Как не дать статистике обмануть себя» писала Надежда Галиева в первом выпуске нашего журнала.