🧮 Epoch AI представила FrontierMath Tier 4 — новый бенчмарк для оценки границ математических способностей ИИ

Tier 4 — это расширение серии FrontierMath, включающее 50 задач исследовательского уровня, разработанных постдоками и профессорами математики. Все задания тщательно проверены экспертами и считаются исключительно сложными: они требуют не только глубокой математической подготовки, но и нестандартного мышления и продвинутых навыков рассуждения.

📉 Результаты:
Лишь 3 из 50 задач были решены хоть одной из протестированных ИИ-моделей. И даже эти решения были получены за счёт упрощений и неаргументированных допущений.

🧠 Задачи были сконструированы так, чтобы исключить возможность угадывания или использования обходных приёмов. Epoch AI продолжит совместную работу с математиками, чтобы отслеживать, *как именно* ИИ-модели справляются с этими задачами.

📊 Tier 4 был заказан OpenAI. Компания получила доступ к условиям и решениям 30 задач, тогда как решения к оставшимся 20 были специально скрыты — для контроля переобучения и утечек.

Epoch AI планирует продолжить регулярные тестирования топовых моделей на задачах FrontierMath Tier 1–4.

🔗 Подробнее о бенчмарке и результатах: https://epoch.ai/frontiermath