В прошлом посте я познакомила вас с методом diff-in-diff — когда мы можем сравнить разницу изменений показателей в 2 группах. Если подзабыли, что за метод — перечитайте пост.

Вы в комментариях спрашивали про нюансы метода, раскрою тут подробнее.

Одно из главных требований к использованию diff-in-diff — параллельные тренды метрик. То есть надо, чтобы у одной группы метрики изменялись параллельно метрикам второй группы ещё до выкатки фичи.

Тогда мы можем предположить, что без фичи эти метрики и дальше шли бы параллельно. Как это проверить на своих данных?
1️⃣ Предположить логически: на словах доказать, что 2 группы без воздействия развивались бы параллельно. «Ты мне веришь? — Верю»

2️⃣ Построить графики: да, мы с вами взрослые аналитики, просто графикам не верим, но начать можно и с них.

3️⃣ Event study регрессия с дамми на каждый период до воздействия. Если коэффициенты до релиза статистически не отличаются от нуля, то параллельность правдоподобна. Это академический стандарт последних лет.

Скажу по секрету, когда Card & Krueger (1994) впервые применили этот метод, они никаких event-study регрессий не делали, просто предположили, что 2 региона достаточно схожи, чтобы развиваться одинаковыми темпами. Простим исследователям такую уверенность, поскольку это было более 30 лет назад. Да и вообще, они основоположники метода, а кто мы такие, чтобы их осуждать 😆

Помимо параллельности трендов, стоит в принципе посмотреть, адекватно ли сработает DiD на ваших данных:

🖇 Если будете использовать этот метод, проверьте его на плацебо: возьмите периоды в ваших группах, когда не было никакого изменения и посмотрите на результат. Будет странно, если разница в изменениях метрик найдётся там, где нового воздействия не было 🖇

Продолжу в следующем посте ⬇️

#Вика