📈 Как читать результаты исследований: p-value, доверительные интервалы и здравый смысл

В предыдущем посте мы говорили, зачем аналитикам вообще читать исследования.

А теперь как именно читать раздел Results:

🔢 Что именно проверяли авторы

У них есть 4 типа объектов:

cool
not cool
good
not good

И 15 признаков (черты личности + ценности).

Ключевой вопрос формулируется так:

Отличается ли разница «cool – not cool» сильнее, чем разница «good – not good»?

Они проверяют не просто эффект, а разницу эффектов.

🧠 Основная статистическая идея работы - это interaction effect:

Характеристика × Тип оценки (cool vs good)

Если признак сильно отличает cool от not cool, но слабо отличает good от not good, то он специфически “крутой”, а не просто «хороший».

Для аналитиков это аналог:
не просто uplift, а difference-in-differences. Про это поговорим в следующем посте.

📏 Почему здесь важны доверительные интервалы

Авторы почти везде показывают 95% confidence intervals, а не только p-value.

Что это даёт:

Видно насколько большой эффект, а не просто, что он есть.

Можно визуально сравнивать эффекты между признаками;

Легко заметить, где эффекты стабильны, а где «на грани».

Например:

Экстравертность: большой интервал, далеко от нуля, следовательно: сильный, устойчивый эффект

«способность» (capable): интервал почти одинаков для cool и good, то есть нет почти различий.

Это гораздо информативнее, чем просто «p < 0.05».

Да, почти везде p < 0.001.
Но это ожидаемо при большом N, аккуратном дизайне и валидированных шкалах.

Важно не что p маленький, а:
что сравнивают, насколько различаются эффекты, повторяется ли результат в других срезах.

🌍 Проверка устойчивости (robustness checks)

Авторы проверяют:
WEIRD vs non-WEIRD страны
уровень развития страны
отдельные страны
возраст, пол, образование
альтернативные формулировки вопросов

И везде смотрят не просто значимость, а:
меняется ли направление эффекта,
меняется ли относительный порядок признаков.

Это ровно то, что мы хотим видеть аналитике:
эффект не ломается при разумных изменениях допущений.

🧩 Главный результат

Есть 6 признаков, которые:
стабильно отличают cool от not cool, и делают это сильнее, чем отличают good от not good:

экстраверсия, гедонизм, власть, авантюрность, открытость, автономия.

И это почти не зависит от страны, не разваливается при изменениях, имеет внятные размеры эффектов.

🎯 Почему это хороший пример для аналитиков

Это исследование показывает:
как не закапываться в p-value,
как использовать доверительные интервалы для интерпретации,
как проверять устойчивость выводов,
и как аккуратно сравнивать эффекты, а не просто искать «значимо / незначимо».

В следующем посте поговорим про значимость визуализации и DiD.