Causal Inference в реальных задачах индустрии

Привет! На связи Саша Кузнецов, старший аналитик команды Trisigma External в Авито.

Когда разговор заходит о причинно-следственных выводах (Causal Inferense), часто уходят в дебри статистики, не доходя до главного — как это работает в индустрии и зачем это нужно бизнесу.

Алекс Дэнг (ex-Microsoft, один из авторов CUPED и многих других industry-standard техник) написал открытый конспект про causality — «Causal Inference and Its Applications in Online Industry».

• Что внутри

Это не учебник, а набор глав, объясняющих «на пальцах» применение действительно релевантных для задач бизнеса методов и концепций. Также материал покрывает следующие топики:
— корреляции и Парадокс Симпсона;
— рандомизированные эксперементы;
— Propensity Scores;
— SUTVA;
— Causal Graphical Models;
— регрессионные методы;
— А/В-тесты на больших данных;
— диагностика «здоровья» А/В-систем;
— повышение чувствительности метрик.

• Главная мысль

Causality может эффективно применяться не только в академических исследованиях, но и в реальных задачах бизнеса на больших данных и высоконагруженных системах. Конспект дает базу про проектирование, запуск и интерпретацию экспериментов. Поэтому, если ещё остались вопросы, почему SRM — не баг, а симптом, или зачем в CUPED важно корректно задавать ковариты — то вам точно стоит прочитать статью.

• От себя

Это must-read для тех, кто строит эксперименты в проде, особенно если вы хотите верхнеуровнево понять, как устроены платформы уровня Bing, Airbnb или Booking. На мой взгляд, конспект не покрывает важные advanced-топики, как в Causal Inference, так и в A/B — Uplift Modelling, Mixed Models, нестандартные дизайны по типу свичбэка. Всему этому уделено неприлично мало внимания — видимо, автор решил сфокусироваться на базовых понятиях.

🔵Прочитать материал можно тут 🔵