Представлен Prophet Arena — новый публичный бенчмарк для оценки способности ИИ к предсказанию будущего (general predictive intelligence).
Разработкой занималась исследовательская группа под руководством Хайфэна Сюя (Haifeng Xu) в сотрудничестве с научной лабораторией Университета Чикаго (UChicago Data Science Institute). Официальный запуск платформы и первых тестов намечен на август 2025 года.
В чем уникальность Prophet Arena?
➡️ Прогнозирование в реальном времени. ИИ работает с событиями, исход которых ещё не известен — от политических выборов до спортивных матчей и изменений на финансовых рынках.
➡️ Двойная система оценки. Точность прогнозов измеряется по метрике Brier score, а их практическая польза — по финансовому возврату, который можно было бы получить, делая ставки на основе этих предсказаний (Average Return metrics).
➡️ Объективность. Для оценки используются события с prediction-маркетов (например, Kalshi), которые имеют прозрачные критерии исхода.
В результате тестирования на платформе высокие результаты показали нейросети от OpenAI: o3-mini, GPT-4.1, GPT-4o, GPT-5. В лидербордах также отмечаются DeepSeek R1 и Llama 4 Scout.
Prophet Arena напрямую сравнивает точность прогнозов ИИ с результатами классических prediction-маркетов, которые, по сути, отражают агрегированное мнение людей. Результаты впечатляют: для большинства событий ведущие языковые модели и гибридные агенты показывают сопоставимые или даже лучшие результаты, чем рыночные прогнозы экспертов.
💬 Тест Тьюринга. События в сфере ИИ. Подписаться