Об агрегации "человеческих" и "машинных" прогнозов

#лонгрид
#статьи

И снова лонгрид об экспертных прогнозах (вот тут была статья про разброс прогнозов разных экспертов, вот тут – про агрегацию), на этот раз про то, как оптимально комбинировать прогнозы, полученные при помощи статистических/ML моделей, и прогнозы человеческие.

Постановка задачи статьи следующая:

- Есть две достаточно крупные компании (ретейлер и строительная, конкретные названия в статье, понятное дело, не раскрываются), в которых сидит достаточно большой штат специалистов, прогнозирующих спрос на их товары/услуги. Горизонт прогноза – от 0 до 6 месяцев вперёд. Для получения прогнозов используется комплекс моделей, но прогнозы моделей в дальнейшем корректируются экспертами на основании своего понимания рыночной ситуации.
- Есть несколько забавных эффектов, обнаруженных в литературе, изучающей экспертные прогнозы:
1) Эксперты в таких ситуациях обычно корректируют прогнозы моделей в правильном направлении
2) Эксперты в таких ситуациях обычно хорошо предсказывают величину корректировки, когда они понижают прогноз
3) И плохо определяют величину корректировки, когда прогноз надо повысить

Вопрос: как оптимально смешивать знания моделей и экспертов?

Предложенную в качестве ответа схему авторы назвали Light-touch forecasting. Она предполагает такую последовательность действий:
1) Модель генерирует прогноз
2) Эксперт решает, нужно ли его принять или скорректировать
3) Если прогноз корректируется вверх (повышается), то величину повышения определяет алгоритм
4) Если прогноз корректируется вниз (понижается), то величину понижения определяет эксперт

Алгоритм же для корректировки вверх просто смотрит на исторические данные (когда эксперт предлагал повысить) и рассчитывает среднюю оптимальную величину повышения.

В процессе экспериментального применения такого подхода, результирующие прогнозы оказались точнее и модельных, и чисто экспертных, и "стандартной" комбинации (модель предсказывает, эксперт корректирует). При этом по сравнению со "стандартной" комбинацией человека и машины предложенный подход требует меньше времени от экспертов, что повышает общую эффективность процедуры.

Вся эта область субъективного/экспертного прогнозирования звучит конечно довольно примитивно, но штука довольно интересная и очень актуальная на практике. И, что поразительно, передний край науки тут сейчас сидит на каких-то супер базовых историях и эвристиках. При этом (если кому актуально) – эти результаты можно брать и внедрять прямо как есть. Или предлагать что-то своё и вливаться в общий поток исследований

Статья – из свежего выпуска IJF (более того, это спецвыпуск про экспертные прогнозы, так что ждите новых лонгридов на ту же тематику!)