Физики из нескольких институтов собрали бенчмарк из 50 неопубликованных задач по теоретической физике

Astra решила их все, кроме одной. Авторы отмечают, что в этой задаче формулировка была неоднозначной, и ни одна из других моделей тоже не справилась с ней.

Задачи придумывали сами эксперты, а отобраны они были так, что профильный специалист тратит на такую задачу примерно день-два.

Opus 5.5 решил 46 задач из 50. GLM-5.3 — 21. А с Astra вышла вообще довольно забавная история.

Все ответы свели к числам и проверяли автоматически. После запуска тестов выяснилось, что модель неверно решила несколько задач, но Astra продолжала настаивать, что ее расчеты правильные.

Исследователи решили перепроверить собственные решения и действительно нашли в них ошибки, а ответы модели оказались верными.

Вывода не будет

https://arxiv.org/abs/2610.16733

INCUBE.AI | ПОДПИСАТЬСЯ