Как узнать аплифт без рандомизации

Недавно я рассказывала, как исследователи превращают случайные пороги в эксперименты — regression discontinuity design.

💗 Сегодня покажу ещё один эконометрический метод, который, кстати, используется и в продуктовой аналитике: difference in difference (diff-in-diff). Его применяют, когда рандомизации нет, но какое-то событие или изменение коснулось одной группы людей, филиалов или продавцов и не коснулось другой.

Что за метод. Если (не) по-русски, то это оценка разницы разниц. Очень понятно, да? 🤓

В общем, суть такая: вы сравниваете, как изменились показатели в группах А и Б. Разница изменений — потенциально ваш аплифт.

Пример. Представьте, менеджеры договорились с партнёрами в паре регионов и там выкатили новую фичу, например, быструю доставку или скидку. Никакой рег-АБ и в мыслях не было проводить: как говорится, «лишь бы зарелизиться» 🙃

Но запуск позади, а постанализ впереди. Просто сравнить метрику до и после не выйдет — у нас постоянно растут показатели со временем (мы крутые, ага🤟), и непонятно, то ли фича сработала, то ли просто органический прирост. Diff-in-diff выясняет именно это.

Как всё работает. Берём регионы с фичей и без. У них изначально будут разные метрики, поскольку специально регионы для релиза не подбирали. И это нормально. Важно, чтобы метрики параллельно менялись во времени в этих группах регионов. А дальше смотрим, как изменилась разница между метриками до и после релиза. Вот это изменение разницы и есть эффект от фичи 🚀

➡️ Сравниваем изменения разницы между средними чеками в группах А и Б ⬅️

Подчеркну, что метод работает, если до релиза регионы развивались параллельно и с одинаковым трендом. Значения метрик при этом могут быть разными.

Если Казань росла быстрее Екатеринбурга ещё до нововведений, разделить эффект фичи и разрыв не получится. Поэтому первое, что нужно сделать перед анализом — проверить параллельность метрик по группам.

Наверное, кто-то из вас уже использовал этот метод на практике — поделитесь примерами в комментариях. А в следующем посте я покажу примеры применения этого метода, и как его модифицировали под разные кейсы, в том числе под непараллельные тренды метрик 🧙

🔥 — крууууутоооо, diff-in-diff
🏆 — уже юзаем метод
👀 — что-то новенькое
🤓 — снова сложна, я не понял. Но очень интересно