Post #144
5.42K


Еще одно важное событие на этой неделе — 18-й семинар по экономическим исследованиям Банка России, РЭШ и НИУ ВШЭ, который в этом году был посвящен взаимодействию искусственного интеллекта и экономики.
Было интересно! Три моих личных хайлайта:
Во-первых, результат Александра Елисеева, который придумал, как проверить гипотезу о том, что ИИ жульничает при прохождении тестов на качество прогноза. Я уже писал о проблеме использованиея ИИ для прогнозирования. Она состоит в том, что для таких моделей не существует тестовых выборок:
Как мы обычно проверяем качество прогноза в машинном обучении или эконометрике? Мы делим данные на обучающую выборку (например, 2014–2024 годы) и тестовую выборку (например, 2025 год). Сначала оцениваем параметры модели на обучающей выборке, не «показывая» ей тестовые данные. Затем смотрим, насколько хорошо модель предсказывает, что будет в 2025 году. И сравниваем модельный прогноз с фактическими данными. По сути, это единственный честный способ проверить, способна ли модель предсказывать неизвестное ей будущее, а не просто хорошо описывать прошлое.
Проблема в том, что генеративные модели ИИ обучены на огромных массивах данных из интернета. Мы не можем гарантированно «скрыть» от них тестовую выборку. Даже если мы попросим ИИ не «подглядывать» в статистику 2024–2025 годов, он может нас обмануть.
Остроумный тест с подменой дат, который предложил Александр, довольно убедительно показывает: да, ИИ жульничает. Например, если вы попробуете попросить его построить прогноз экономического роста на 2020 год, используя исключительно макроэкономические данные до 2018 года, ИИ удивительным образом «угадает», что в 2020 году случится пандемия и соответствующим образом скорректирует своё предсказание.
Во-вторых, работа Анны Гусевой и Алины Евстигнеевой о том, как использовать ИИ-агентов для предварительной проверки коммуникации центральных банков. Ошибки в формулировках могут стоить регулятору больших потерь. При этом проверять качество коммуникации на фокус-группах из реальных людей долго и дорого. Вы не можете заранее проверить реакцию аудитории на финальную версию пресс-релиза по ключевой ставке. Потому что эта финальная версия появляется в последний момент, да и вообще является секретной до наступления «часа икс».
Анна и Алина показывают, как можно использовать для решения проблемы специально обученных ИИ-агентов. Я выступал на семинаре рецензентом этой работы, и, конечно, нашел, что покритиковать в текущей версии (такая уж роль у рецензентов). Но если довести дело до конца и разработать такой инструмент должным образом, то он может быть очень полезен.
В-третьих, работа Анны Ивановой (победителя Конкурса исследовательских работ Банка России и журнала «Деньги и кредит»). В работе Анны проводится количественная оценка систематических ошибок в прогнозах по ключевой ставке, формируемых профессиональными аналитиками и участниками денежного рынка.
Главный результат исследования состоит в том, что участники денежного рынка склонны чрезмерно реагировать на новые данные. После выхода важных новостей или изменения ожиданий участники рынка оказываются склонны делать слишком сильный пересмотр прогнозов. Иначе говоря, рынок не просто учитывает новые данные — он зачастую придает им слишком большое значение. Интересно, что для профессиональных аналитиков подобные эффекты выражены заметно слабее.
Анна показывает, как можно учитывать выявленные поведенческие эффекты для улучшения качества прогнозов. Мы будем рады опубликовать подробности в «Деньгах и кредите», так что следите за новыми выпусками журнала!
Было интересно! Три моих личных хайлайта:
Во-первых, результат Александра Елисеева, который придумал, как проверить гипотезу о том, что ИИ жульничает при прохождении тестов на качество прогноза. Я уже писал о проблеме использованиея ИИ для прогнозирования. Она состоит в том, что для таких моделей не существует тестовых выборок:
Как мы обычно проверяем качество прогноза в машинном обучении или эконометрике? Мы делим данные на обучающую выборку (например, 2014–2024 годы) и тестовую выборку (например, 2025 год). Сначала оцениваем параметры модели на обучающей выборке, не «показывая» ей тестовые данные. Затем смотрим, насколько хорошо модель предсказывает, что будет в 2025 году. И сравниваем модельный прогноз с фактическими данными. По сути, это единственный честный способ проверить, способна ли модель предсказывать неизвестное ей будущее, а не просто хорошо описывать прошлое.
Проблема в том, что генеративные модели ИИ обучены на огромных массивах данных из интернета. Мы не можем гарантированно «скрыть» от них тестовую выборку. Даже если мы попросим ИИ не «подглядывать» в статистику 2024–2025 годов, он может нас обмануть.
Остроумный тест с подменой дат, который предложил Александр, довольно убедительно показывает: да, ИИ жульничает. Например, если вы попробуете попросить его построить прогноз экономического роста на 2020 год, используя исключительно макроэкономические данные до 2018 года, ИИ удивительным образом «угадает», что в 2020 году случится пандемия и соответствующим образом скорректирует своё предсказание.
Во-вторых, работа Анны Гусевой и Алины Евстигнеевой о том, как использовать ИИ-агентов для предварительной проверки коммуникации центральных банков. Ошибки в формулировках могут стоить регулятору больших потерь. При этом проверять качество коммуникации на фокус-группах из реальных людей долго и дорого. Вы не можете заранее проверить реакцию аудитории на финальную версию пресс-релиза по ключевой ставке. Потому что эта финальная версия появляется в последний момент, да и вообще является секретной до наступления «часа икс».
Анна и Алина показывают, как можно использовать для решения проблемы специально обученных ИИ-агентов. Я выступал на семинаре рецензентом этой работы, и, конечно, нашел, что покритиковать в текущей версии (такая уж роль у рецензентов). Но если довести дело до конца и разработать такой инструмент должным образом, то он может быть очень полезен.
В-третьих, работа Анны Ивановой (победителя Конкурса исследовательских работ Банка России и журнала «Деньги и кредит»). В работе Анны проводится количественная оценка систематических ошибок в прогнозах по ключевой ставке, формируемых профессиональными аналитиками и участниками денежного рынка.
Главный результат исследования состоит в том, что участники денежного рынка склонны чрезмерно реагировать на новые данные. После выхода важных новостей или изменения ожиданий участники рынка оказываются склонны делать слишком сильный пересмотр прогнозов. Иначе говоря, рынок не просто учитывает новые данные — он зачастую придает им слишком большое значение. Интересно, что для профессиональных аналитиков подобные эффекты выражены заметно слабее.
Анна показывает, как можно учитывать выявленные поведенческие эффекты для улучшения качества прогнозов. Мы будем рады опубликовать подробности в «Деньгах и кредите», так что следите за новыми выпусками журнала!
- ❤ 47
- 🔥 15
- 🤝 4
- 💅 4
- 🤔 3
- 👍 2
- 😐 2
- 🆒 1














