Первый шаг к пониманию любого статистического утверждения — спросить себя, что на самом деле означает это утверждение

Это кажется очевидным, но на практике оказывается, что не все так просто. Если мы не знаем, что именно считаем, ни анализ корректности выборки, ни анализ цифр ничего не дадут. Непонимание того, что именно подсчитывается, автор называет проблемой преждевременного подсчета. В книге «Детектив данных» известный журналист и экономист Тим Харфорд рассказывает о принципах работы с информацией. Он приводит пример: вы читаете в СМИ сообщение о том, что новое исследование доказало, что люди, которые играют в жестокие видеоигры, в реальности более склонны к насилию. Прежде чем делать выводы, нужно проанализировать, что именно измерялось в исследовании. Для начала нужно понять, что подразумевается под жестокой видеоигрой. Может ли ею быть Pac-Man или Space Invaders — ведь в них тоже есть насилие, герои этих игр уничтожают своих врагов. Тоже самое и с понятием «игра» — что под ней подразумевается? Как проводилось само исследование? Возможно, поклонники игры заполнили анкеты, или исследователи провели тестирование нескольких испытуемых, после того как те немного поиграли в игру. А какие критерии исследователи предъявляли к оценке агрессивного поведения? Его действительно довольно сложно измерить. Харфорд приводит пример исследования, в котором оценку агрессивности поведения делали на основе довольно странного критерия — добавляли ли испытуемые острый соус в напиток, предназначавшийся для другого.

Аналогичные вопросы возникают и в отношении политических заявлений. Политики любят говорить о таких размытых категориях, как справедливость, возможности, прогресс, но что конкретно стоит за этими словами, какие конкретные действия они предполагают, остается неясным. Абстрактные категории и политические концепции непохожи на килограммы яблок, измерить их гораздо сложнее. Если мы не понимаем, что именно мы измеряем, то нет смысла смотреть на цифры, потому что мы гарантированно себя обманываем. Поэтому всегда задавайтесь вопросом о том, что именно подсчитывается и что стоит за цифрами.

Больше о принципах работы с информацией читайте в нашем спринте: https://makeright.ru/library/the-data-detective-by-tim-harford-book-sprint/