Учёные уличили ИИ в неспособности строить математические доказательства на олимпиадных задачах USAMO 2025 года

Новое исследование, проведённое ETH Zurich и INSAIT, показало, что современные ИИ-модели, уверенно решающие стандартные математические задачи, почти не способны формулировать полные математические доказательства уровня USAMO.

В рамках исследования оценивались шесть задач, и было установлено, что средняя результативность ИИ составила менее 5% от максимально возможных баллов. Лишь Gemini 2.5 Pro от Google достигла 10,1 балла из 42, остальные модели значительно отставали (например, DeepSeek R1 и Grok 3 — по 2,0 балла). Все 200 сгенерированных решений не получили максимального балла.

Исследование подчеркивает важное различие между решением задач и построением доказательств, что требует глубже понимания логики. Ошибки ИИ-систем связаны с недостаточной поддержкой логических связей, а также с отсутствием механизмов самопроверки.

Результаты указывают на необходимость дальнейшей работы над улучшением глубоких математических рассуждений в ИИ.

Источник изображения: Imkara Visual / Unsplash

Дополнительные подробности можно найти в оригинальном исследовании: Proof or Bluff? Evaluating LLMs on 2025 USA Math Olympiad.