Настя и Дима в предыдущих постах затронули тему образования, и так получилось, что я прошла аналогичный путь: экономистёнок → аналитик

Продолжу тему вузов, но в другом ключе 🙃
В вышке нас упорно учили: корреляция != причинно-следственная связь. Прикол в том, что нужно не только найти взаимосвязь между показателями Х и Y, но и доказать её, потому что всегда может быть третий фактор, обратная причинность, selection bias и прочее.

Рассмотрим пример: влияние образования на доход
Тут неправильно просто бахнуть корреляцию и громко заявлять, что наличие высшего образования увеличивает доход. В универ и так идут амбициозные и усердные, поэтому возникает проблема самоотбора: вероятно, они бы и без универа зарабатывали хорошо. 😏 Как же доказать зависимость?

В айтишной сфере, чтобы оценить одностороннюю причинно-следственную связь, мы используем АБ-тест, но в реальном мире он доступен редко. Нельзя случайно назначить наличие образования, страну рождения или уровень дохода. Иначе я была бы миллионершей

Естественный эксперимент, инструментальная переменная, разрывный регрессионный дизайн и т.д., — это всё обходные пути, которые десятилетиями придумывали исследователи, чтобы выжать причинно-следственную связь из данных, где никто ничего специально не рандомизировал.

Один из таких обходных путей — использовать распределение на группы, которые система создаёт сама. Например, есть минимальный балл для поступления в вуз и студенты чуть выше или ниже этой черты. Это люди со схожими способностям и амбициям, но одни прошли, а другие — нет. Проблема самоотбора исчезает, потому что порог распределил похожих людей случайно.

Исследователи сравнивают их заработки спустя годы — и получают честную оценку влияния образования. Bleemer & Mehta (2022) нашли разницу в доходе на 46% в начале карьеры экономистов.

Мы, продуктовые аналитики, живём в привилегированных условиях: у нас есть АБ-тест. Это настоящая рандомизация 💅. Исследователи городят сложные конструкции именно потому, что у них нет ничего похожего.

Так что в следующий раз, когда АБ покажется занудной формальностью, вспомните, что это инструмент, за аналог которого академики борются годами.

Кстати, пример с порогом вступительного балла — это regression discontinuity design. Таких случайностей, которые исследователи превращают в эксперименты, намного больше: лотереи, границы, реформы, даты рождения.

Писать ещё про такие истории?

🔥 — да, хочется больше аналитических исследований
🙏 — давайте обратно к метрикам, АБ-тестам и продуктовым задачам
🤓 — ничего не понятно, но очень интересно! Давайте ещё