Эффект Симпсона: когда данные честно говорят противоположные вещи

Есть одно когнитивное искажение в аналитике, про которое я частенько рассказываю на выступлениях. Как правило он вызывает одинаковую реакцию: сначала интерес, потом удивление, а потом легкое недоверие. Вроде бы все логично, формулы простые, расчеты прозрачные — но внутри остается ощущение, что «так не должно работать».

Речь про «эффект (парадокс) Симпсона». Ситуацию, когда в одних и тех же данных можно получить противоположные выводы — и оба при этом будут математически корректными. Не потому что кто-то ошибся в расчетах, а потому что данные устроены чуточку сложнее, чем кажется на первый взгляд.

Чтобы с этим эффектом действительно разобраться, одного объяснения обычно недостаточно. Его нужно увидеть на цифрах. Именно поэтому я собрал файл, в котором можно самому покрутить данные и посмотреть, как это работает на практике. В конце поста я дам ссылку, но сначала — про две формы, в которых эффект Симпсона чаще всего проявляется.

1. Статика. Здесь «Симпсон» основан на эффекте агрегации: итоговая метрика определяется не только значениями в сегментах, но и их весами. Парадокс Симпсона в статике чаще всего возникает именно здесь — когда «среднее» скрывает структуру [см. вкладку «статика» по ссылке ниже].

2. Динамика. Мы смотрим на агрегированную метрику и видим тренд — рост или падение. Начинаем делать выводы, менять бюджеты, оптимизировать стратегию. Но если разложить данные по сегментам, может выясниться, что внутри каждого сегмента ситуация развивается в противоположную сторону. Метрика улучшается везде — но общий результат во времени ухудшается. Или наоборот [см. вкладку «динамика» по ссылке ниже].

Пруфы здесь!👇

Эффект Симпсона не нарушает математику — он нарушает интуицию. Нам хочется верить, что если данные посчитаны правильно, то и вывод из них будет один. Но данные могут быть честными и при этом вводить в заблуждение, если не учитывать их структуру.

Здесь вы можете пощупать этот эффект руками: ссылка на файл с расчетами. В файле по ссылке есть два листа: один про статику, другой про динамику. Их можно спокойно разобрать и посмотреть, как из одних и тех же цифр получаются разные выводы.

Эффект Симпсона — хороший повод в следующий раз не спешить с выводами, а покопать данные поглубже, даже если метрики выглядят очень убедительно.

С вами был Кузин из Smart Data Hub. Эффект Симпсона — это когда ты все посчитал правильно, но отчет все равно вызывает недоверие у руководителя.