Почему Новосельцев, говоря “без статистики вообще не жизнь”, был совершенно прав?
Итак, сейчас мы с вами погрузимся в историю, которая покажет, что без статистики – никуда, но для начала нужно ввести вас в курс дела.
Эффект Даннинга-Крюгера – это (очевидная) тенденция неквалифицированных людей переоценивать свою компетентность. Эффект обнаружили в 1999 году психологи Джастин Крюгером и Дэвид Даннинг и с тех пор он стал широко известен.

💭 Как все было?
В 1999 году Даннинг и Крюгер опубликовали результаты довольно простого эксперимента. Они собрали группу людей, чтобы пройти тест на квалификацию. Затем они попросили каждого человека оценить свои способности. Даннинг и Крюгер (думали, что они это сделали) обнаружили, что люди, которые плохо сдали тест на навыки, были склонны переоценивать свои способности. Это и называется «эффект Даннинга-Крюгера».

📈 Что такое автокорреляция?
Автокорреляция возникает, когда вы ищете связь переменной с самой собой. Однако, иногда все не так очевидно и автокорреляция прячется глубоко в данных или предположениях.

♻️ Как эти вещи связаны?
Тут нужно немного углубиться в эксперимент. Даннинг и Крюгер искали следующую зависимость: x (результат теста человека) и y (самооценка способностей человека). Однако, когда они шокировали весь мир своими результатами, на диаграммах они отобразили следующее зависимость умственных способностей человека и ошибки его самооценки. А это ни что иное как поиск зависимости x и (y-x). Вот здесь и кроется та самая автокорреляция. Даже если взять два случайных набора значений и построить такой график, то зависимость будет налицо и всему виной именно автокорреляция.

🚨 Ошибки случаются
Не думаю, что стоит винить Даннинга и Крюгера за их ошибку. Однако, в обстоятельствах их промаха возникает восхитительная ирония: два профессора из Лиги Плюща продемонстрировали свою (статистическую) некомпетентность, объединив автокорреляцию с психологическим эффектом.
Будьте осторожны и внимательно изучайте свои данные и полученные выводы прежде чем заявлять о найденной закономерности, ведь “статистика – это наука, она не терпит приблизительности”.