доказательный ⎵ пробел

Семинары по causal inference

🔸 12 апреля (вторник) в 18:30 МСК — на Online Causal Inference Seminar выступит 🗣 Neil Davies (University of Bristol). Тема — «Average causal effect estimation via instrumental variables: the no simultaneous heterogeneity assumption?». Подключиться можно по ссылке.

🔸 15 апреля (пятница) в 9:00 МСК — на семинаре по эконометрике Департамента экономики Университета Торонто 🗣 Дмитрий Архангельский (CEMFI) расскажет про совместную с 🗣 Василием Коровкиным (CERGE-EI) статью «On Policy Evaluation with Aggregate Time-Series Shocks».

🔸 15 апреля (пятница) в 19:00 МСК — на Chamberlain Seminar 🗣 Хидо Имбенс (Stanford) презентует свою совместную с 🗣 Дмитрием Архангельским (CEMFI) статью «The Role of the Propensity Score in Fixed Effect Models». Зарегистрироваться на семинар можно по ссылке.

Ad meliora tempora / Cedant arma togae

«‎Тотальные» административные данные для анализа трудоустройства выпускников высшего образования

Вчера на Ясинской (Апрельской) конференции исследователи из ЛИРТ представили доклад 📒 «Выпускники высшего образования на российском рынке труда: тренды и вызовы». Главная новация доклада — использование связанных административных микроданных Рособрнадзора и ПФР, которые охватывают всех выпускников школ, колледжей, вузов. Это один из первых проектов в России такого рода:

«Основой доклада стали административные данные Мониторинга трудоустройства выпускников Роструда — ключевого российского проекта в области доказательной политики. Доказательная политика предполагает принятие решений на базе исследований и анализа данных, что повышает прозрачность и эффективность государственного управления. Мониторинг базируется на индивидуальных обезличенных данных о выданных дипломах и трудоустройстве из государственных реестров Рособрнадзора и Пенсионного фонда России, которые позволяют воссоздавать, анализировать и оценивать карьерные и образовательные траектории выпускников образовательных организаций».

📌 Посмотреть регламент, в соответствии с которым формируются эти данные, можно по ссылке. Схема сбора данных и основные ограничения описаны на первых страницах доклада Вышки.

В ходе обсуждения заместитель руководителя Роструда 🗣 Денис Васильев отметил, что в ближайшее время планируется определить, какие образом исследователи вне зависимости от их институциональной принадлежности смогут получать доступ к данным для проведения исследований.

👉 Подписаться на доказательный ⎵ пробел: https://t.me/evidencespace

Обзорная статья про разность разностей

Ключевые слова: методы оценки причинности, разность разностей
Сложность: ⭐️⭐️

Несмотря на то, что метод «разность разностей» (DID) успешно используется прикладными исследователями уже несколько десятилетий, в 2020 году начался новый этап его методологического развития. Был опубликован ряд статей, которые рассматривают серьезные недостатки применения моделей с фиксированными эффектами (two-way fixed effects, TWFE) для оценки эффектов (а это очень распространенная практика). *Модель TWFE это обычная регрессия, в которую дополнительно включены фиксированные временные и индивидуальные эффекты.

Основные проблемы c TWFE возникают, когда:

• Временных периода не два, как в классической модели разности разностей, а больше

• Наблюдения из экспериментальной группы подвергаются воздействию не одновременно, а в разные моменты времени (variation in treatment timing). Например, регионы могут вводить какую-то политику в разные годы.

• Оцениваемый эффект не гомогенен, а отличается для разных наблюдений (treatment effect heterogeneity)

Сложности возникают из-за того, что неявно в такой модели подвергшиеся воздействию наблюдения сравниваются не только с теми наблюдениями, которые еще не подверглись воздействию, но и с теми, которые подверглись воздействию в более ранние периоды. В результате, попытка свести оцениваемый эффект к единственному параметру α из регрессии оказывается несостоятельной.

Чтобы познакомиться с новыми подходами к оценке эффектов с помощью разности разностей, можно прочитать хорошую обзорную статью Difference-in-Differences for Policy Evaluation профессора Университета Джорджии Brantly Callaway, которую он написал для своего нового учебника Statistical Tools for Causal Inference (в учебнике еще много ненаписанных глав). На русском языке прочитать про разность разностей можно в переводной статье Джеффри Вулриджа, опубликованной в журнале Квантиль.

👉 Подписаться на доказательный ⎵ пробел: https://t.me/evidencespace

Дорогие подписчики, 50 дней мы ничего не писали в этом канале. Нужен был перерыв, чтобы все осмыслить и пережить. Многие вещи, о которых мы рассказывали, после 24 февраля потеряли смысл. Но мы решили, что хотим продолжить рассказывать про методы выявления причинности и исследования на российских данных. Пусть это будет заделом на будущее.

Войну нужно немедленно остановить.

Онлайн-научные семинары на этой неделе:

📌Среда 16 февраля 18:00 (МСК)— семинар ЦБ и журнала «Деньги и кредит»:
Андрей Полбин (Инстиут Гайдара, РАНХиГС)
«Can today’s and tomorrow’s world uniformly gain from carbon taxation?»
Регистрация: https://rjmf.econs.online/news/seminar-16022022/?bx_sender_conversion_id=1208101&utm_source=newsletter&utm_medium=mail&utm_campaign=onlayn_seminar_po_ekonomicheskim_issledovaniyam

📌Пятница 18 февраля 14:00 (МСК) - семинар CEBA talks, Центр эконометрики и бизнес-аналитики СПбГУ
Дмитрий Архангельский (профессор CEMFI, Мадрид)
"On Policy Evaluation with Aggregate Time-Series Shocks" (в соавторстве с Василием Коровкиным, CERGE-EI, Прага)
https://ceba-lab.org/tpost/ro9alamkc1-on-policy-evaluation-with-aggregate-time

📌Пятница 18 февраля 20:00 (МСК) - Chamberlain seminar
Alexei Onatskiy (Cambridge)
"Uniform asymptotics for strong and weak factors"
https://www.chamberlainseminar.org/

🔶 Про содержательный аудит: «В США есть большие институты, которые занимаются оценкой. В частности, у Urban Institute есть много проектов, которые заказывают министерства и ведомства для того, чтобы понять, сработало или не сработало, для каких групп работает, а для каких — нет. Интересно, как выстроена эта система: можно обязать заказать оценку, но будет колоссальное сопротивление, если результаты оценки будут использоваться для того, чтобы оценить людей, которые отвечают за эту программу. Нужно исходить из того, что чиновник имеет право на ошибку. Это нормально. Если мотивация устроена так, что если что-то не работает, то это ты виноват, то чиновник вообще не будет пробовать, не проверять».

Иллюстрация: Camille Pissarro, Apple Picking at Eragny-sur-Epte (1888)

🔶 Про данные: «Есть принципиально сложные вещи, которые очень тяжело померить. А есть, к сожалению, в России ситуации, когда померить можно, но это не измеряется. У организаций, которые собирают данные часто нет ресурса и мандата на раскрытие данных. Данные для них — это побочный результат деятельности. Эта информация, которая бы могла принести много пользы, но она недоиспользуется.

Но в последнее время происходят изменения, это очень радует. Неожиданным мотиватором стал национальный проект «Цифровизация». Его побочным положительным результатом для нас является появление в доступе пусть пока для ограниченного круга аналитиков данных, которые раньше никто и не мечтал использовать. В частности, я имею ввиду данные Пенсионного фонда. Например, сейчас с помощью этих данных пытаются понять, насколько та часть мигрантов, которая находится в формальном секторе, вытесняет россиян с рынка труда, и как это влияет на зарплаты. Данные ПФР не идеальные, но они очень неплохие».

🔶 Про инфраструктуру принятия обоснованных решений: «Иногда создается впечатление, что не очень важно, что там в реальности, поскольку мы и так знаем, что хотим сделать. Это, к сожалению есть, и тут у меня есть вопросы, к тому, как проводилась перепись, потому что есть ощущение, что было неинтересно. Но это изменяется. Случаев, когда есть спрос на понимание того, что происходит, со стороны людей, принимающих решения, становится больше. Да, у нас не очень хорошо организована система сбора и представления данных. Не всегда достаточно ресурса аналитиков, которые способны это сделать. Отдельный вопрос — как совместить независимые организации, которые занимаются аналитикой, и людей, которые принимают решения. Необходимо развивать эту инфраструктуру».

🔶 Про горизонт планирования: «Несмотря на то, что у нас политическая структура очень устойчива в течение долгого периода времени, горизонт планирования продолжает быть не очень длинным. Это можно видеть и в структуре заказов на аналитические работы: максимум — это год, три года — исключение. Длинных проектов, которые заказывает государство, очень мало. Иногда создается впечатление, что хочется не столько узнать, каково реальное положение дел в зоне ответственности людей, принимающих решения, сколько получить подтверждение своему собственному понимаю. Это естественное желание. Но картина, которая может открыться в результате продолжительного исследования, может изменить направления и элементы тех решений, которые они принимают».

🔶 Про мотивацию: «Есть другая проблема, которая связана с системой мотивации людей, которые принимают решения. У нас был проект, в котором предполагалась оценка программы переобучения. Мы получили вывод, что на коротком горизонте люди проигрывают по сравнению с теми, кто не пошел на эту программу, потому что пока другие развивали карьеру, они учились. В нашем заключении мы писали, что сейчас эти люди проигрывают, но нужно последить, что с ними будет через пять лет. Тогда с большой вероятностью их карьера продвинется. Но это не понравилось людям, которые отвечают за эту программу, потому что они хотят показать эффект прямо сейчас. У нас убрали этот лист из отчета. Я связываю это с тем, что мотивация управленцев состоит в том, чтобы не выяснить, где эта программа работает, а где не работает, и что-то улучшить. А с опаской, если пришлось, заказать оценку, и дальше надеяться, что она покажет, что, действительно, работает».

В ПОИСКЕ НИЗКО ВИСЯЩИХ ПЛОДОВ

Ирина Денисова в подкасте «Экономическая политика» (apple podcast, spotify, yandex.music, castbox) Экономического факультета МГУ про дизайн политики и доказательный подход, раскрытие данных и мотивацию чиновников. Выбрали несколько важных цитат:

Научные семинары по эконометрике в пятницу 4 февраля:

📌Chamberlain Seminar
20:00 МСК (5 pm London), Zoom
Whitney Newey (MIT) "Automatic Debiased Machine Learning via Neural Nets for Generalized Linear Regression" (with Victor Chernozhukov, Victor Quintas-Martinez, and Vasilis Syrgkanis)
https://www.chamberlainseminar.org/home

📌CEBA talks (Центр эконометрики и бизнес-аналитики)
14:00 МСК, Zoom
Evgenii Vladimirov "Estimating Option Pricing Models Using a Characteristic Function-Based Linear State Space Representation"
https://ceba-lab.org/tpost/oxx325i5o1-estimating-option-pricing-models-using-a

По следам вчерашнего обсуждения А/Б тестов публикуем еще немного материалов про анализ причинно-следственных связей (и снова спасибо Наталье Тогановой @nataliatoganova за подборку!).

Книги он-лайн
📚 Causal Inference: The Mixtape от Scott Cunningham - есть примеры кода на R и Python.
📚 Causal Inference for The Brave and True By Matheus Facure Alves. Название говорит само за себя. Еще там прекрасные мемасики и код на Python.
📚 Causal Inference: What If by Hernán MA, Robins JM. Книга без кода, но очень доступно написана.

Курсы
💻 Scott Cunningham, про чью книжку упоминали, читает курсы, на которые можно записаться. Читает очень хорошо, очень интересно - но очень поздно по Москве, начинается в пять-шесть вечера, а заканчивается ближе к двум-трем ночи.
💻 Causal Diagrams: Draw Your Assumptions Before Your Conclusions - этот курс записан отчасти по книге Causal Inference: What If и читает его один из авторов - МА Hernán. Основывается он также на работах Джуда Перла. Чем хорош курс: во-первых, объясняет на простых примерах как использовать даги в анализе; во-вторых, там рассказывается о прекрасных медицинских кейсах, когда совершались ошибки в анализе.
💻 Трек Causal Inference in ML на ODS. На русском довольно мало материалов, поэтому маст-вотч!
💻 Курс Архангельского Д. Intro into Panel Data Methods, прочитанный в МГУ в 2020 году. Ссылка на первую лекцию.

На закуску
🙈🙈🙈 Статья с подробными рекомендациями, как завалить любого потенциального аналитика на собеседовании вопросами про АБ тесты Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations . В ней 25 расхожих утверждений об А/Б тестах, с объяснениями почему они не верны.

Мы обновили датасет по муниципальным образованиям России!

Теперь в наборе все доступные показатели по всем типам муниципальных образований за 2006—2020 годы.
200+ млн наблюдений!

+ добавили рубрикатор: данные разбиты на 26 таблиц (рубрик). Одна таблица — одна группа показателей.

Это бета-версия, и мы очень хотим получить обратную связь. Присылайте ваши комментарии про удобство пользования и корректность данных сюда: ask@data-in.ru

🎉 В каталоге платформы ИНИД появился обновлённый датасет с муниципальной статистикой за 2006 — 2020 годы. Его можно использовать отдельно или, например, совмещать с выборочными обследованиями, как в исследовании, о котором мы писали раньше.

🏺 Для тех, кто хочет начать разбираться в анализе причинно-следственных связей: в открытом репозитории github доступны материалы вводного курса Скотта Каннингема по Causal Inference. Курс пока что идет, поэтому сейчас есть материалы по трем темам: основы анализа причинно-следственных связей, разрывный дизайн, инструментальные переменные.

Байесовские методы широко используются в современной статистике, эконометрике и машинном обучении. Многие подходы в теории принятия решений тоже основаны на байесовской логике. Кстати, советуем познакомиться со статьей Альберто Абади про статистическую значимость в прикладной экономике («Statistical Nonsignificance in Empirical Economics»). В ней он, опираясь на байесовскую аргументацию, объясняет, почему статистическая значимость оценок (те самые звездочки ***) для управленцев, принимающих решения, не должна играть слишком большую роль.

А если хотите разобраться в байесовской статистике, рекомендуем отличный учебник Computer Age Statistical Inference от Брэдли Эфрона и Тревора Хасти.

Отгремели новогодние праздники и ИПП возвращается в рабочий режим. И сразу с отличными новостями. В журнале Applied Economics Letters на днях вышла публикация наших сотрудников Дмитрия Скугаревского и Руслана Кучакова. В ней анализируются меры господдержки малых и средних предприятий в условиях пандемии COVID-19 в России. Авторы сопоставили данные о доходах/расходах и численности сотрудников организаций с реестром предприятий, получивших поддержку в 2020 году. В итоге они не смогли обнаружить значимого позитивного эффекта от проводимой политики ни для сохранения рабочих мест, ни для доходов организаций. Наиболее вероятным объяснением является ошибочная стратегия выбора целей государственной поддержки.


Мы уже в свое время писали аналитическую записку об ограничениях подхода к выбору организаций, пострадавших от пандемии и имеющих право на поддержку. Краткая история вопроса. В апреле 2020 года правительство утвердило перечень из наиболее пострадавших отраслей экономики. Базой для поиска пострадавших стали основные коды ОКВЭД, указываемые при регистрации организаций. Только организация с кодом ОКВЭД, включенным в перечень, получила право на участие в программах господдержки. Но это оказался не самый удачный вариант решения сложной задачи сохранения рабочих мест. Как результат, только за 2020 год правительству пришлось 7 раз расширять перечень пострадавших отраслей.

Почему так получилось – читайте подробнее на английском статью и на русском аналитическую записку по ссылкам выше.

Появился новый telegram-канал (https://t.me/reliable_ml) про машинное обучение и выявление причинно-следственных связей для русскоязычной аудитории, чему мы очень рады.

Итоги года в Causal Inference за 2021 г.

Сначала поговорим обобщенно, а затем детальнее раскроем наиболее интересные пункты. В начале года на youtube канале ods.ai будет опубликовано видео с Data Елки 2021 с подробным рассказом об итогах года. Пока видео вместе с другими итогами года можно найти в полном видео трансляции с Data Елки.

В целом, итоги года в CI можно представить в двух больших разделах - теоретическом и прикладном.

Теория

- Закрепление высокой актуальности темы в ML. Нобелевская премия по экономике была выдана за развитие методов CI, крупнейшие конференции по ML провели воркшопы (NeurIPS, ICML) по вопросам CI для ML. Causal Data Science Meeting, направленный на коллаборацию экспертов-теоретиков в области CI с практиками из бизнеса, экспериментально проведенный в 2020 г., стал крупным движением с ежегодной конференцией.

- Знаковая статья Judea Pearl о роли CI для ML. Radical empiricism and machine learning research, опубликованная в Journal of Causal Inference, где автор определяет data science как объединение дисциплины машинного обучения как школы радикального эмпиризма (когда только данные генерируют модель реальности) и эконометрики как школы интерпретации данных (когда модель процессов/реальности генерирует данные). Методы CI в данном случае выступают ключом к балансу эмпиризма и интерпретируемости в DS.

- Interpretable & Causal ML Track – Data Fest Online 2021. На ежегодном Data Fest провели уже в третий раз трек по вопросам Reliable ML.

- Появление качественных общедоступных материалов по CI, включая как открытые русскоязычные курсы по теории CI, так и материалы по применению методов на Python. Напишем позже отдельный пост.

- Развитие концепции Reliable ML как объединения концепций интерпретируемости моделей и методов причинно-следственного анализа для целей усиления применимости ML моделей. Для этого создали данный tg канал + все еще надеемся сделать курс в 2022 г. (при помощи сообщества).

Практика

- Больше практических кейсов в России. Все больще практических примеров применения CI методов в бизнес-задачах разных компаний в РФ. Позже будет отдельный пост.

- Рост запроса бизнеса на управление рисками в ML проектах, где основа – causal inference методы. АБ-тестирование и контрфактический анализ - основа для корректной оценки эффективности пилотов по инвестиционным инициативам в бизнесе, а значит, и ключ к оптимизации управления инвестициями. Этот взгляд в 2021 г. (по наблюдениям авторов и по содержанию докладов конференций) стало разделять заметно больше компаний, чем ранее.

ЧТО ПОСЛУШАТЬ НА ASSA

Ультракороткие описания секций по доказательной политике, доступности данных и оценке причинно-следственных связей

Каждый год в начале января (в этот раз с шестого по девятое) Американская экономическая ассоциация проводит конференцию ASSA (Allied Social Sciences Associations — Объединенные ассоциации социальных наук). В программе — невозможное количество секций (почти шестьсот) по разным предметным направлениям. Мы выбрали секции, посвященные раскрытию данных, доказательной политике и causal inference:

7 января

🔶 Economists Can Influence Policy Decision Makers: Extracting More Meaning from Your Research: академические экономисты про собственный опыт влияния на решения, которые принимают политики

🔶 Machine Learning Methods for Heterogeneous Treatment Effects: машинное обучение для оценки гетерогенных эффектов воздействия (среди спикеров — Виктор Черножуков)

🔶 Using Matched Data to Address Policy Questions: связанные административные данные позволяют отвечать на важные вопросы исследователям по всему миру. Об этом и пойдет речь на секции с примерами на конкретных кейсах.

🔶 Increased Access to Administrative Data for Policy Research: Its Value and How We Get There: в январе 2019 года в США был подписан «Закон об основах доказательной политики» и создан Консультативный комитет по данным для сбора доказательств. В дискуссии с участием членов Комитета и академических исследователей будут обсуждаться необходимые шаги по повышению доступности административных данных, а также вызовы, с которыми сталкиваются ведомства, раскрывающие данные.

9 января

🔶 Econometrics and Data in the 21st Century: Reproducibility and Transparency versus Privacy and Confidentiality: про воспроизводимость и прозрачность результатов исследований на фоне необходимости защиты приватности и конфиденциальности. Среди спикеров — Радж Четти и Джон Фридман из Opportunity Insights, будет затронута тема модной дифференциальной приватности.

🔶 Advances in Difference-in-Differences: три статьи про последние достижения в классическом методе оценки. Особенно внимание — докладу Clement de Chaisemartin и Xavier D'Haultfoeuille (не рискуем переводить имена). Авторы, по сути, расскажут обо всем, что было написано и сделано за последние пару лет в части оценок гетерогенных эффектов воздействия с помощью моделей с фиксированными эффектами.

🔶 From Micro Data to Public Policy: четыре прикладных исследования, которые используют микроданные, чтобы отвечать на важные вопросы государственной политики в разных областях: от поддержки безработных до мобильности.

Главная и наиболее обсуждаемая мера гос. политики минувшего года — кампания вакцинации от коронавируса. Публичные комментаторы в основном сходятся во мнении, что она была неудачной. Почему люди отказываются вакцинироваться и какие факторы это определяют? Сегодня на SSRN был опубликован препринт исследования Яны Рощиной, Сергея Рощина и Ксении Рожковой из Высшей школы экономики, которые на данных РМЭЗ пытаются ответить на эти вопросы. Колонка авторов на русском языке доступна по ссылке.

Данные

В 2020 году в вопросник панельного обследования домохозяйств РМЭЗ (вопросы 194-211 взрослого опросника) был добавлен специальный блок вопросов про коронавирус. Само обследование проводилось с октября 2020 года по январь 2021 года —до старта кампании по вакцинации, поэтому исследование рассматривает намерение респондента вакцинироваться, а не реализацию этого намерения. Кстати, с учетом панельной структуры РМЭЗ, появление данных 30 волны (за 2021 год) позволит проверить еще больше важных гипотез про коронавирус и реакцию государства на него 🧐.

Методы

Вопрос о готовности вакцинироваться («Собираетесь ли Вы пройти вакцинацию от коронавируса, когда она появится?») предполагал пять вариантов ответа («Да, в любом случае», «Да, только если будете уверены в ее безопасности и надежности», «Нет», «Уже переболели коронавирусом и считаете, что вакцинация Вам не нужна», «Уже вакцинировались»). Это определило выбор метода оценки — мультиномиальной логистической регрессии.

Основные результаты

Риск отказа от вакцинации (по сравнению с условным принятием вакцины) ниже для тех, кто живет с пожилыми людьми, имеет высшее или среднее профессионально образование, и не живет в Москве и Санкт-Петербурге. Активное использование социальных сетей повышает риск отказа от вакцинации. Люди с очень плохим или очень хорошим здоровьем (по самооценке) характеризуются более высоким риском отказа от вакцинации. При этом собственный опыт заболевания COVID-19 повышает риск отказа от вакцинации, тогда как аналогичный опыт друзей снижает этот риск. Наконец, люди с высоким общим уровнем доверия и высоким уровнем доверия к государственным институтам более склонны вакцинироваться.

Важность доверия к институтам и государству часто обсуждается в контексте результативности мер гос. политики, принимаемых в период пандемии. Например, летом дискуссию «Public trust and evidence-based policymaking: Lessons from the COVID-19 response» проводил European Policy Centre.

Выборки с микроданными переписей по индивидам и частным домохозяйствам — к новому году для исследователей.

🔶 10 процентов, 2002 год: можно скачать тут
🔶 10 процентов, 2010 год: можно скачать тут
🔷 20 процентов, 2002 год: можно получить доступ тут
🔷 20 процентов, 2010 год: можно получить доступ тут