Использование решающих деревьев для оценки гетерогенных эффектов в разрывном дизайне

🧑‍🎓 Agoston Reguly (Central European University), Heterogeneous Treatment Effects in Regression Discontinuity Design
👉 https://arxiv.org/pdf/2106.11640.pdf (опубликовано 23 июня 2021 года)

Применение квазиэкспериментальных методов оценки обычно приводит к получению одного числа, отражающего некоторый усредненный эффект. Однако исследователей и политиков может интересовать не только оценка эффекта для целевой аудитории в общем. Меры или программы неодинаково влияют на разные группы бенефициаров (т.е. их эффект гетерогенен). В условиях ограниченного финансирования полезно понимать, для каких групп эффект от участия в программе выше, а для каких он отсутствует.

Одним из самых популярных методов квазиэкспериментальной оценки в последние годы является разрывный дизайн (Regression Discontinuity Design). Он использует тот факт, что существует некоторая переменная, значение которой полностью или частично определяет участие в программе. Например, для того чтобы поступить в ведущие университеты, необходимо набрать сумму баллов, которая превышает некоторое пороговое значение. При этом абитуриенты, немного недотянувшие до порогового значения, в среднем не отличаются от тех, кто этот порог преодолел. Тогда разница в значениях интересующей исследователя целевой переменной для этих двух групп может быть приписана именно факту поступления в ведущий университет.

Обычно для оценки гетерогенных эффектов в разрывном дизайне исследователь вручную делит выборку на несколько частей по одной из переменных, которая, предположительно определяет гетерогенность. Например, очень часто в статьях оценки эффектов приводятся отдельно для мужчин и женщин. То, какие подвыборки будут рассмотрены, полностью остается на совести исследователя. При этом более сложные сочетания атрибутов довольно легко упустить.

Agoston Reguly из CEU предлагает использовать решающие деревья для автоматического деления выборки на части с разными оценками эффекта воздействия. Автор применяет т.н. «честный алгоритм» Athey, Imbens (2016). Он заключается в том, что построение дерева и оценка эффектов осуществляется на двух независимых подвыборках, на которые случайным образом делятся исходные наблюдения. Число листов в полученном дереве отражает компромисс между разнообразием оценок для разных групп и минимизацией дисперсии полученных оценок (разнообразные, но незначимые оценки не имеют большого прикладного смысла). Симуляции и тестирование на реальных данных показывают, что классический ML-метод эффективно дополняет популярный квазиэкспериментальный дизайн: полученные оценки хорошо ловят гетерогенность и позволяют увидеть закономерности, пропущенные исследователями при ручном отборе групп.