Два спора о прогнозах

Одним из сюжетов в обсуждении макроэкономических моделей на недавнем семинаре ЦМАКП (напомню, что запись доступна здесь) был спор о прогнозах как о критерии качества. Должны ли мы требовать от моделей точного прогноза? Олег Шибанов (РЭШ) настаивал на том, что это критически важно для прикладного экономиста. А Александр Исаков (ЦМИ Сбербанка) возражал, что этот критерий важен не всегда.

Мой взгляд на эту историю компромиссный:

— С одной стороны, я думаю, мы должны требовать хороших вневыборочных краткосрочных прогнозов. Например, на квартал вперед. Потому что это одна из немногих объективных метрик качества, по которым мы можем сравнивать модели очень разной природы.

— С другой стороны, требовать точных (в статистическом смысле) долгосрочных прогнозов от моделей бессмысленно. Они все равно не умеют их давать. Особенно в России с её частыми структурными изменениями.

На длинном горизонте хорошие модели могут быть скорее инструментами сценарного анализа и содержательного исследования взаимосвязей.

Вот, например, одна из самых цитируемых обзорных работ на эту тему:
Carriero, Clark, Marcellino — “A comprehensive evaluation of macroeconomic forecasting methods” (International Journal of Forecasting, 2019)
Авторы собирают тысячи сравнений точности из большого набора моделей/горизонтов и проводят мета-регрессии по факторам, влияющим на относительную точность (класс модели, размер информационного набора, горизонт и т.п.). Они как раз рассматривают горизонты от квартала до двух лет.

Общие выводы по поводу способности моделей качественно прогнозировать:

На квартал вперед: скорее да. Многие современные модели (BVAR/DFM/смешанные MIDAS-подходы, DSGE в некоторых конфигурациях) конкурентоспособны. В мета-регрессионной оценке по литературе горизонт 1 квартал — типично среди наиболее предсказуемых.

На два года вперед: скорее нет, если под «качественно» понимать стабильно низкие ошибки и надежное распознавание режимных сдвигов. Именно на горизонтах порядка 1–2 лет резко проявляется роль непредсказуемых шоков, пересмотров статистики и ошибок в сценарных допущениях.

***
Второй спор про прогнозы возник у нас Владимиром Вертоградовым. Владимир полагает, что в отраслевом анализе, в отличие от макро, долгосрочные прогнозы возможны. А я считаю, что и там экономисты на два года вперед тоже прогнозировать не умеют.

В связи с этим у меня просьба к читателям: развейте мой пессимизм. Покажите мне работу про долгосрочное прогнозирование спроса — например, на автомобильные марки/бренды — в авторитетном международном журнале. Если это работа демонстрирует хорошее (в статистическом смысле) качество долгосрочного прогноза, то с меня приз и благодарность. Да и Владимир, вероятно, в долгу не останется;)