ИИ решил 9 из 10 исследовательских задач по математике, но потратил почти $1900

В независимом тесте First Proof пяти ИИ-системам дали десять задач из настоящей исследовательской математики: геометрия, топология, статистика и другие области. Решения проверяли 30 экспертов.

Результат двух систем на базе GPT-6 Astra:
— ProofCouncil: 9 правильных решений из 10 за $1888
— GPT-6 Astra напрямую: 7 из 10 за $36

ProofCouncil использует ту же модель, но окружает её системой, которая разбивает задачи на шаги и проверяет ответы. Дополнительные два решения обошлись более чем в 50-кратную стоимость всего теста.

Систему на открытой Kimi K3 тоже проверили: ни одного правильного решения, затраты около $2000.

Не всё идеально и у лидеров. Даже ProofCouncil получил отрицательные оценки за качество изложения в трети ответов, а у Astra лишь четыре решения содержали достаточно ссылок на предыдущие работы.

Зато все десять задач хотя бы одна из протестированных систем решила правильно. Ещё недавно такой результат казался бы очень серьёзной заявкой на математические способности ИИ.

RAGNAROK | ИИ и технологии