Пишу о том, как радикально усилить маркетинг в эпоху аналитики на базе AI, и о новинках в Smart Data Hub smartanalytics.io
Создатель курса в НИУ ВШЭ «Сквозная аналитика в маркетинге», разработчик аналитического движка на базе Causal AI.
личка @kouzin
Post #125
794
Эффект Симпсона: когда данные честно говорят противоположные вещи
Есть одно когнитивное искажение в аналитике, про которое я частенько рассказываю на выступлениях. Как правило он вызывает одинаковую реакцию: сначала интерес, потом удивление, а потом легкое недоверие. Вроде бы все логично, формулы простые, расчеты прозрачные — но внутри остается ощущение, что «так не должно работать».
Речь про «эффект (парадокс) Симпсона». Ситуацию, когда в одних и тех же данных можно получить противоположные выводы — и оба при этом будут математически корректными. Не потому что кто-то ошибся в расчетах, а потому что данные устроены чуточку сложнее, чем кажется на первый взгляд.
Чтобы с этим эффектом действительно разобраться, одного объяснения обычно недостаточно. Его нужно увидеть на цифрах. Именно поэтому я собрал файл, в котором можно самому покрутить данные и посмотреть, как это работает на практике. В конце поста я дам ссылку, но сначала — про две формы, в которых эффект Симпсона чаще всего проявляется.
1. Статика. Здесь «Симпсон» основан на эффекте агрегации: итоговая метрика определяется не только значениями в сегментах, но и их весами. Парадокс Симпсона в статике чаще всего возникает именно здесь — когда «среднее» скрывает структуру [см. вкладку «статика» по ссылке ниже].
2. Динамика. Мы смотрим на агрегированную метрику и видим тренд — рост или падение. Начинаем делать выводы, менять бюджеты, оптимизировать стратегию. Но если разложить данные по сегментам, может выясниться, что внутри каждого сегмента ситуация развивается в противоположную сторону. Метрика улучшается везде — но общий результат во времени ухудшается. Или наоборот [см. вкладку «динамика» по ссылке ниже].
Пруфы здесь!👇
Эффект Симпсона не нарушает математику — он нарушает интуицию. Нам хочется верить, что если данные посчитаны правильно, то и вывод из них будет один. Но данные могут быть честными и при этом вводить в заблуждение, если не учитывать их структуру.
Здесь вы можете пощупать этот эффект руками: ссылка на файл с расчетами. В файле по ссылке есть два листа: один про статику, другой про динамику. Их можно спокойно разобрать и посмотреть, как из одних и тех же цифр получаются разные выводы.
Эффект Симпсона — хороший повод в следующий раз не спешить с выводами, а покопать данные поглубже, даже если метрики выглядят очень убедительно.
С вами был Кузин из Smart Data Hub. Эффект Симпсона — это когда ты все посчитал правильно, но отчет все равно вызывает недоверие у руководителя.
Google Docs Парадокс Симпсона Есть одно когнитивное искажение в аналитике, про которое я частенько рассказываю на выступлениях. Как правило он вызывает одинаковую реакцию: сначала интерес, потом удивление, а потом легкое недоверие. Вроде бы все логично, формулы простые, расчеты прозрачные — но внутри остается ощущение, что «так не должно работать».
Речь про «эффект (парадокс) Симпсона». Ситуацию, когда в одних и тех же данных можно получить противоположные выводы — и оба при этом будут математически корректными. Не потому что кто-то ошибся в расчетах, а потому что данные устроены чуточку сложнее, чем кажется на первый взгляд.
Чтобы с этим эффектом действительно разобраться, одного объяснения обычно недостаточно. Его нужно увидеть на цифрах. Именно поэтому я собрал файл, в котором можно самому покрутить данные и посмотреть, как это работает на практике. В конце поста я дам ссылку, но сначала — про две формы, в которых эффект Симпсона чаще всего проявляется.
1. Статика. Здесь «Симпсон» основан на эффекте агрегации: итоговая метрика определяется не только значениями в сегментах, но и их весами. Парадокс Симпсона в статике чаще всего возникает именно здесь — когда «среднее» скрывает структуру [см. вкладку «статика» по ссылке ниже].
2. Динамика. Мы смотрим на агрегированную метрику и видим тренд — рост или падение. Начинаем делать выводы, менять бюджеты, оптимизировать стратегию. Но если разложить данные по сегментам, может выясниться, что внутри каждого сегмента ситуация развивается в противоположную сторону. Метрика улучшается везде — но общий результат во времени ухудшается. Или наоборот [см. вкладку «динамика» по ссылке ниже].
Пруфы здесь!👇
Эффект Симпсона не нарушает математику — он нарушает интуицию. Нам хочется верить, что если данные посчитаны правильно, то и вывод из них будет один. Но данные могут быть честными и при этом вводить в заблуждение, если не учитывать их структуру.
Здесь вы можете пощупать этот эффект руками: ссылка на файл с расчетами. В файле по ссылке есть два листа: один про статику, другой про динамику. Их можно спокойно разобрать и посмотреть, как из одних и тех же цифр получаются разные выводы.
Эффект Симпсона — хороший повод в следующий раз не спешить с выводами, а покопать данные поглубже, даже если метрики выглядят очень убедительно.
С вами был Кузин из Smart Data Hub. Эффект Симпсона — это когда ты все посчитал правильно, но отчет все равно вызывает недоверие у руководителя.
- 🔥 33
- ❤🔥 14
- 👏 8
- 🤩 6
- 💯 3








