доказательный ⎵ пробел

Есть два способа интерпретации разрывного дизайна. Из них вытекают разные предположения, на основе которых мы оцениваем эффекты. Первый — фреймворк непрерывности: средние потенциальные исходы являются непрерывными функциями от переменной участия в точке разрыва. Второй — фреймворк локальной рандомизации: вблизи точки разрыва наблюдения распределяются практически случайно.

Подробнее — в материале по ссылке.

https://telegra.ph/Dva-vzglyada-na-razryvnyj-dizajn-10-26

КУРС ДМИТРИЯ АРХАНГЕЛЬСКОГО ПО ЭКСПЕРИМЕНТАЛЬНОМУ АНАЛИЗУ

На лендинге Центра перспективных управленческих решений по доказательной политике размещен курс лекций Дмитрия Архангельского (CEMFI) по экспериментальному анализу, который он прочитал летом на экономическом факультете МГУ.

🔹 В первой лекции (A/B тесты) разобрана базовая модель эксперимента, а также рассмотрены решения проблемы несбалансированности контрольной и экспериментальной групп.

🔹 Во второй лекции (Внешние эффекты) разобраны дизайны экспериментов, в которых не соблюдается ключевое предположение о стабильности воздействия (SUTVA), и на группы участников влияют различные внешние эффекты.

🔹 В третьей лекции (Адаптивные эксперименты) рассматриваются эксперименты, в которых дизайн эксперимента адаптируется к наблюдаемым данным.

🔹В четвертой лекции (Динамические эксперименты) разобраны эксперименты, результат которых может зависеть не только от недавнего воздействия, но и от предыдущих.

Ссылки на презентации лекций размещены в описаниях к видео. Силлабус курса доступен по ссылке.

ВОРКШОПЫ ОТ СКОТТА КАННИНГЕМА И CHAMBERLAIN SEMINAR С ДМИТРИЕМ АРХАНГЕЛЬСКИМ

🔸 Отличные новости для всех поклонников учебника по методам выявления причинно-следственных эффектов от Скотта Каннингема: пару дней назад он анонсировал, что с 2022 года будет проводить платные, но не очень дорогие семинары по Causal Inference и современным методам Difference in Differences и Syntetic Control. Чтобы не пропустить воркшопы, можно подписаться на рассылку, заполнив гугл-форму.

🔸 А в ближайшую пятницу (22 октября) в 19:00 МСК выпускник МГУ и РЭШ Дмитрий Архангельский (сейчас работает в CEMFI) на очередном Chamberlain Online Seminar in Econometrics расскажет про работу «On Policy Evaluation with Aggregate Time-Series Shocks» (в соавторстве с еще одним русскоязычным исследователем Василием Коровкиным). Зарегистрироваться и получить ссылку на zoom можно по ссылке.

Что сделать экономисту, чтобы ему поверили?

Чтобы решить проблему, например, повысить занятость, надо понять, какие факторы мешают людям успешно трудоустроиться. До так называемой революции достоверности в экономике специалисты искали решения с помощью интуиции и грубых предположений. Однако этот подход не всегда позволял верно взглянуть на ситуацию, найти её реальные причины и, соответственно, предложить эффективное решение.

Эконометристы Дэвид Кард, Хидо Имбенс и Джошуа Энгрист придумали, как сделать экономические исследования более достоверными, и получили за это Нобелевскую премию. Подробнее об их заслугах и революции достоверности в экономике рассказывают преподаватель экономического факультета МГУ Георгий Калашнов и руководитель проектного направления «‎Данные для исследований» ЦПУР Витовт Копыток в новой колонке.

Опять про нобелевскую премию, но в этот раз с картинками 🌁

Константин Сонин на N+1
Максим Ананьев на Тайга.инфо

Экономический твиттер всерьез:
Arthur Netto рассказывает про свою диссертацию "Experiments in the Armchair: A History of Microeconometrics and Program Evaluation at Princeton", посвященную Ашенфельтеру и его студентам (среди которых как раз Кард и Ангрист).

Arin Dube сразу с двумя тредами
- о вкладе Карда и Крюгера в экономику труда
- о критике статьи Карда и Крюгера о МРОТ

Тред про разницу между двумя сторонами (эмпирической и методологической) приза

Социолог отвечает на вопрос о влиянии революции достоверности на роль экономики (особенно "мейнстримной") в экономической политике
А другой социолог - Kieran Healy отмечает, что теперь экономисты совсем зазнаются

Еще любопытная история от Криса Блаттмана (очень в духе Криса Блаттмана):
Оказавшись с Дэвидом Кардом в лифте они разговорились о диссертации Криса, он сказал что "делает статью в стиле Ангриста о влиянии призыва на человеческий капитал, но на данных о детях-солдатах в Уганде". Кард удивленно спросил, а кто ему предоставил такие данные и Крис ошарашил его ответом что просто сам Крис во время войны провёл этот опрос.

И не очень всерьез:
Аустан Гулсби вспомнил историю про Ангриста - для одной своей статьи Ангрист решил подработать водителем в "Убере" и задавал пассажирам столько вопросов что ему за это снижали рейтинг.

Также обсуждают довольно эпатажную цитату из статьи Ангриста (он вообще колоритный, то в парике лекцию сядет читать, то видео по эконометрике превратит в вечер фанатов кун-фу Дэвида Кэррадайна)
А в одном эконометрическом журнале пришлось угнать твиттер-аккаунт, чтобы поздравить редактора

Два значимых экономических журналиста:
Noah Smith начинает за здравие (и местами очень подробно про вещи, которые другие не так подробно описывают), а заканчивает как всегда, в одном предложении говорит про "An alternative technique is the randomized controlled trial, where economists actually use the real world as a sort of policy laboratory" а в следующим обзывает их "квази-экспериментами".
А Tim Harford хорошо замечает, что фраза про "корреляция не равно причинность", хотя и верна, сама по себе не помогает находить ответы на важные общественные вопросы, а вклад лауреатов именно в попытке конструктивного ответа

И прочие источники:
National Public Radio (у них очень хороший популярный подкаст про экономику - Planet Money)
Council of Economic Advisers (экономические советники Белого Дома) тоже поздравляет (а в комментах Колин Камерер замечает, что хотя все трое лауреатов US-based, один родился в Канаде, другой в Нидерландах, а третий, родившись в США, служил парашютистом в Армии Израиля)
Кругман в NYTimes примерно с тем же тезисом про политическую пользу, что и в твиттере до того
Scott Kominers в Блумберге
Andrew Gelman в своем блоге

Ещё несколько материалов про нобелевку по экономике.

Как в экономике произошла революция достоверности

Как найти причину явления – это ключевой вопрос экономических исследований. Поэтому не случайно Нобелевскую премию уже не первый раз получают экономисты за поиск ответа на этот вопрос.

О том, как экономисты постепенно учились отделять корреляции от причинно-следственных связей, в колонке для VPost пишут Георгий Калашнов, преподаватель экономического факультета МГУ, и Витовт Копыток, который возглавляет направление «‎Данные для исследований» в Центре перспективных управленческих решений. Долгий путь привел экономическую мысль к выводу, что чем проще проверить гипотезу, тем она надежнее. Именно в проверке предположений – доступной и понятной – скрывается достоверность. Прочитайте колонку и многое узнаете про современную доказательную экономику.

Знакомьтесь, Джошуа Ангрист — нобелевский лауреат

⚡️Премию по экономике памяти Нобеля 2021 года получают Дэвид Кард «за эмпирический вклад в экономику труда», и Джошуа Ангрист и Гвидо Имбенс «за методологический вклад в анализ причинно-следственных связей»

Данные рассудят: как оценить реальный экономический результат

Все чаще можно услышать термин «доказательная политика», который обозначает процесс принятия политических решений на основании результатов научных исследований. Часто этим занимаются именно экономисты-эмпирики: они, используя доступные данные, проверяют теоретические модели и оценивают эффекты политических инициатив. Подробнее о том, как экономисты анализируют политические меры, а также о том, какие выводы уже удалось сделать об эффекте программы материнского капитала или миграционной политики, вы можете узнать из лекции Евгения Яковлева, профессора РЭШ, именного профессора Благотворительного фонда «САФМАР». Мы публикуем основные тезисы.

Отличная лекция Евгения Яковлева про доказательную политику и causal inference. Видеозапись и презентация — по ссылке.

СЕМИНАРЫ И КУРСЫ ПО CAUSAL INFERENCE

🔸 6 октября (среда) — на семинаре The Center for Statistics and the Social Sciences Виктор Черножуков (MIT) презентует статью Generic Machine Learning Inference on Heterogenous Treatment Effects in RCTs. Среди соавторов — Эстер Дюфло. В практической части статьи анализируются результаты рандомизированного полевого эксперимента в Индии, посвященного оценке различных наджей, направленных на стимулирование вакцинации. 🕥 Начнется семинар в 22:30 по московскому времени, для участия организаторы просят зарегистрироваться.

🔶 14-16 октября (четверг-суббота) — трехдневный учебный семинар от Pedro H. C. Sant’Anna (Vanderbilt University, Microsoft) по классическим и современным методам Difference in Differences. Курс платный и стоит довольно дорого ($895), но при серьезном подходе может оказаться очень полезным. Тем более, Pedro H. C. Sant’Anna — один из соучастников новой волны теоретических и прикладных работ, развивающих Difference in Differences.

🔶 28-30 октября (четверг-суббота) — еще один трехдневный учебный семинар, но теперь по разрывному дизайну от Rocío Titiunik (Princeton University). Каждый, кто хоть раз приближался к разрывному дизайну, точно знаком с теоретическими работами и мануалами Rocío и ее сооавторов. Семинар тоже платный ($895), будут рассмотрены стандартные и продвинутые методы RDD.

🔶 7, 9, 14, 16, 21 декабря — интенсив по A/B-экспериментам и тестированию от одного из лидеров консалтинга на российском рынке проведения онлайн- и оффлайн-экспериментов — компании EXPF. В базовой версии курс стоит 25 тыс. рублей, с домашками и доступом к закрытым микросервисам — 32 000 тыс. рублей.

#causalinference #rdd #did #abtesting

Открытость данных – основа развития доказательной политики в госсекторе. Качественно иным измерением является не просто открытие данных, но и доступ к инструментам, которые формируют из данных информацию для принятия решений и / или для оценки действий правительства «неэкспертами», а именно – большинством граждан.

Когда мы слышим о планах введения льгот, социальных выплат, налоговых преференций для граждан, ответ на вопрос, какие группы населения выиграют от новой бюджетной политики, а какие могут проиграть, не всегда является очевидным. Однако на него могут ответить модели микромоделирования (microsimulation models), позволяющие на основе микроданных формировать будущие параметры распределения доходов, налогов, субсидий с учетом изменений входных параметров.

Есть два серьезных сдерживающих фактора для использования микромоделирования в принятии решений на уровне госсектора:

1. Качество данных, необходимых для микромоделирования
2. Недоступность микросимуляционных моделей вне академических сообществ

Если первый пункт делает в принципе невозможным использование микромоделирования, то второй пункт – снижает полезную отдачу от имеющихся микроданных.

Показательным кейсом извлечения максимальной пользы из микроданных является проект UKMOD, реализованный на предобработанных данных ежегодного опроса домохозяйств Великобритании о доходах и условиях жизни - The Family Resources Survey (один из аналогов Выборочного наблюдения доходов населения (ВНДН) Росстата). UKMOD – общедоступная микросимуляционная модель, которая позволяет создавать сценарии реформ, изменяя - через интуитивно понятный веб-интерфейс - ключевые параметры налоговой системы. UKMOD имеет режима доступа:

1. UKMOD Explore - веб-приложение в свободном доступе, не предполагает доступа к базовым данным.
2. UKMOD Light - десктоп версия UKMOD Explore, которая позволяет получить доступ к базовым (тестовым) микроданным.
3. Полная версия UKMOD, которая позволяет пользователям изменять любой параметр модели налоговой системы и моделировать совершенно новые политики. Получить доступ к полной версии можно, подтвердив цели своего проекта на портале управления долгосрочным доступом к экономическим, социальным и демографическим данным UK Data Service.

Разработанная Университетом Эссекса (University of Essex) при поддержке Фонда Наффилда (Nuffield Foundation) UKMOD фактически удовлетворяет спрос на возможности моделирования эффектов от изменения налоговой политики за пределами академических кругов (среди различных организаций и граждан, не обладающих соответствующей экспертизой) и способствует развитию доказательной базы при принятии решений о реализации мер госполитики.

#evidencespace #microsimulation #microdata

Policy Simulation Library - проект, развивающий библиотеки микросимуляционных моделей с открытым кодом на python. Модели позволяют прогнозировать будущие эффекты от изменения налоговой политики (корректировки налоговых ставок, изменения объектов, попадающих в налогооблагаемую базу и пр.). Каждая библиотека включает репозиторий с открытым кодом и пользовательскую документацию с примерами использования моделей. В частности одна из библиотек Cost-of-Capital-Calculator позволяет, меняя параметры налогового администрирования, оценить ожидаемые изменения в инвестиционной активности со стороны коммерческого сектора.

Проект позиционируется как инструмент быстрой оценки (путем моделирования) планируемых реформ, поддерживающий решения в госсекторе.

Иллюстрация подхода: исходная выборка поделена на пять групп по значениям двух переменных. Для каждой из групп эффект воздействия оценивается отдельно.

Использование решающих деревьев для оценки гетерогенных эффектов в разрывном дизайне

🧑‍🎓 Agoston Reguly (Central European University), Heterogeneous Treatment Effects in Regression Discontinuity Design
👉 https://arxiv.org/pdf/2106.11640.pdf (опубликовано 23 июня 2021 года)

Применение квазиэкспериментальных методов оценки обычно приводит к получению одного числа, отражающего некоторый усредненный эффект. Однако исследователей и политиков может интересовать не только оценка эффекта для целевой аудитории в общем. Меры или программы неодинаково влияют на разные группы бенефициаров (т.е. их эффект гетерогенен). В условиях ограниченного финансирования полезно понимать, для каких групп эффект от участия в программе выше, а для каких он отсутствует.

Одним из самых популярных методов квазиэкспериментальной оценки в последние годы является разрывный дизайн (Regression Discontinuity Design). Он использует тот факт, что существует некоторая переменная, значение которой полностью или частично определяет участие в программе. Например, для того чтобы поступить в ведущие университеты, необходимо набрать сумму баллов, которая превышает некоторое пороговое значение. При этом абитуриенты, немного недотянувшие до порогового значения, в среднем не отличаются от тех, кто этот порог преодолел. Тогда разница в значениях интересующей исследователя целевой переменной для этих двух групп может быть приписана именно факту поступления в ведущий университет.

Обычно для оценки гетерогенных эффектов в разрывном дизайне исследователь вручную делит выборку на несколько частей по одной из переменных, которая, предположительно определяет гетерогенность. Например, очень часто в статьях оценки эффектов приводятся отдельно для мужчин и женщин. То, какие подвыборки будут рассмотрены, полностью остается на совести исследователя. При этом более сложные сочетания атрибутов довольно легко упустить.

Agoston Reguly из CEU предлагает использовать решающие деревья для автоматического деления выборки на части с разными оценками эффекта воздействия. Автор применяет т.н. «честный алгоритм» Athey, Imbens (2016). Он заключается в том, что построение дерева и оценка эффектов осуществляется на двух независимых подвыборках, на которые случайным образом делятся исходные наблюдения. Число листов в полученном дереве отражает компромисс между разнообразием оценок для разных групп и минимизацией дисперсии полученных оценок (разнообразные, но незначимые оценки не имеют большого прикладного смысла). Симуляции и тестирование на реальных данных показывают, что классический ML-метод эффективно дополняет популярный квазиэкспериментальный дизайн: полученные оценки хорошо ловят гетерогенность и позволяют увидеть закономерности, пропущенные исследователями при ручном отборе групп.