ForecastBench-Sim о рисках и слепых зонах ии агентов

Одно из свежих исследований посвященных симуляциям процессов принятия решений. Авторы как обычно, пытаются решить главную проблему реальных бенчмарков вроде Numinous, в реальном мире события происходят медленно, а «контрфактические» (альтернативные) сценарии сложно объективно измерить. Чтобы обойти это, они создали симулируемый мир на базе стратегической игры Freeciv. Ничего нового для тех кто в теме, но пусть будет в архиве. Бенчмарки это как и «рисование статы» своеобразный «маркетинг для умных».

https://arxiv.org/pdf/2606.18686

Сначала недостатки: в реальных задачах прогнозирования (как в Numinous) 80% успеха зависит от умения модели отсеивать шум из неструктурированных OSINT-данных (новостей, соцсетей, отчётов). В ForecastBench-Sim эта ключевая сложность фактически устранена, так как данные подаются в уже отфильтрованном виде. Хотя бенчмарк позволяет «форкать» состояние игры и проверять альтернативные сценарии (Intervention Worlds), в играх симуляция развивается по алгоритмическим траекториям. Изменение одной переменной приводит к просчитываемому ответу симулятора, в то время как в реальном мире присутствуют нелинейные «эффекты бабочки».

Основная цель проекта — дополнить существующие прогностические наборы данных контролируемой средой для изучения вероятностных рассуждений моделей в динамических условиях. В рамках бенчмарка модели получают «отчет о мире» на 60-м ходу игры и должны сделать прогнозы на семь временных горизонтов (H1–H7), охватывающих период до 270-го хода. Оценка проводится на основе 4655 бинарных и 2310 непрерывных вопросов, а также включает тесты на понимание текущего состояния.

Исследование подтверждает, что сложность прогнозирования растет вместе с временным горизонтом: средняя ошибка (Brier score) увеличивается с 0.205 (H1) до 0.264 (H7), а ошибка в непрерывных величинах (CRPS) возрастает в 4.8 раза. Выявлено расхождение между типами задач: навыки бинарного прогнозирования (да/нет) и прогнозирования непрерывных величин (конкретные значения) могут различаться: модель, успешная в одном типе задач, не обязательно будет лучшей в другом.

Для анализа «хвостовых рисков» в бенчмарке используются непрерывные вопросы, где модели должны указать пять квантилей, включая p10. Квантиль p10 представляет собой значение, ниже которого, по мнению модели, реальный исход упадет лишь в 10% случаев. Одним из главных провалов моделей является недооценка рисков например, в прогнозах «казны» (управление ресурсами игры) реальные исходы оказывались ниже предсказанного моделью 10-го процентиля в 50% случаев на дальних горизонтах. Пилотное исследование на людях пока не выявило их явного превосходства над моделями в этой специфической симуляции.

Вообщем виртуальный конь в виртуальном вакууме тоже не всегда хорош. Как говорится «А сегодня в завтрашний день не все ИИагенты могут смотреть. Вернее смотреть могут не только лишь все, мало кто может это делать.»