ИИ против прогнозистов: машина впервые выиграла Metaculus Cup

В сентябре впервые в истории сезонного Metaculus Cup первое место занял ИИ-прогнозист. Причём победил бот, созданный независимым разработчиком из Техаса. По его оценке, на разработку ушло менее 150 часов и несколько тысяч долларов на вычисления и данные. Его система обошла четыре стартапа, которые вместе привлекли более $15 млн инвестиций, а сейчас лидирует ещё и в отдельном ИИ-турнире Metaculus с призовым фондом $50 тыс. ИИ занял также второе и пятое места, тогда как третье и четвёртое достались людям.

ИИ уже впереди?

Ранее мы уже писали об ИИ прогнозировании в контексте синтетических респондентов и цифровых двойников, которые достаточно точно могут в некоторых случаях моделировать поведение людей и групп, например в опросах или на выборах.

Но в Metaculus логика иная: ИИ выступает как аналитик-прогнозист и напрямую оценивает вероятность будущих событий: введут ли отдельные штаты США или страны ЕС ограничения на строительство дата-центров, распространится ли вспышка хантавируса за пределы пассажиров судна MV Hondius, сколько будет стоить нефть Brent и др. Чем точнее и устойчивее был прогноз, тем больше баллов получал участник.

Интересно, что в основе моделей ИИ-конкурсантов лежали обычные большие языковые модели (БЯМ), которые искали новости, сопоставляли источники и анализировали данные, но делали это быстрее и в большем объеме, чем человек-прогнозист.

Конечно, результат Metaculus не означает, что ИИ уже превосходит лучших человеческих прогнозистов вообще. Всё-таки кубок длился четыре месяца и в основном проверял сравнительно короткий горизонт, тогда как для бизнеса и государства часто важны прогнозы на годы вперёд. Да и участники турнира не обязательно представляют мировую элиту прогнозистов. Тем не менее ИИ всё ближе к паритету с прогнозистами, что фиксирует и Forecasting Research Institute с помощью ForecastBench — бенчмарка, который сравнивает точность прогнозов языковых моделей и людей. Некоторые ИИ-системы уже статистически неотличимы от уровня суперпрогнозистов.

За счёт чего ИИ становится точнее в прогнозах (некоторые факторы)

Fusion-подход. Несколько моделей или агентов независимо исследуют разные стороны вопроса, проверяют и дополняют друг друга, после чего их оценки объединяются в итоговый прогноз.

Данные и качество источников. По мере того как сильные БЯМ становятся общедоступными, преимущество смещается к специализированным данным и умению оценивать их надёжность.

ИИ можно «вернуть в прошлое». Моделям дают только ту информацию, которая была доступна на определённую дату, и смотрят, какой прогноз они сделали бы. Затем меняют инструкции, источники или архитектуру и повторяют эксперимент. Такой backtesting позволяет системно учиться на прошлых ошибках без эффекта знания задним числом.

Пока эффективным способом взаимодействия с ИИ, как правило, остается гибридная модель: например, ИИ используется как участник команды, с которым можно сверять собственные оценки. В дальнейшем развитие ИИ-прогнозирования может не только помочь нам лучше видеть будущее, но и показать границу между тем, чего мы пока не знаем, и тем, что в принципе невозможно надёжно предсказать. И это, возможно, окажется не менее важным результатом, чем сами прогнозы.

👋 Подписаться на Max
🌐Ваш O2Consulting