Causal Inference - как делать правильные выводы из данных

Наверное, вы не раз слышали о том, что корреляция не доказывает причинно-следственную связь.
Простых иллюстраций в реальной жизни много - например, сон в уличной обуви коррелирует с головной болью на следующее утро, но это не значит, что ботинки влияют на мозг 😁

Когда вы читаете о каких-то результатах исследований (особенно в новостях), в них могут быть ошибки как статистического характера, так и неправильная интерпретация результатов (учёные могут ошибаться или обманывать, шок).

Этот феномен играет роль и в ML, например, в рекомендательных системах. Часть алгоритмов уязвима к ситуации, когда некоторые объекты в данных встречаются сильно чаще других, у них больше положительных откликов, и алгоритмы начинают выбирать популярные объекты для пользователя просто из-за их популярности, а это плохо.

Вы можете очень сильно прокачать своё критическое мышление и способность делать правильные выводы, посмотрев хотя бы треть этого прекрасного плейлиста про Сausal Inference. Это короткие видео, в которых автор подробно объясняет основы этой области. Требуется базовая грамотность в теории вероятностей. Добавляйте себе в закладки, запишите просмотр в цели на 2023 ✍️

Посмотрев, вы поймёте, почему надёжный вывод можно сделать только в условиях эксперимента с фактором случайности, в чём математический смысл "поправок" в исследованиях, и почему даже с ними вывод не становится надёжным.

@knowledge_accumulator