Физики из нескольких институтов сделали бенчмарк из 50 неопубликованных задач по теоретической физике

Astra решила их все, за исключением одной. Авторы признаются, что в этой задаче формулировка была двусмысленной (ни одна из других моделей ее также не решила).

Задачи составляли сами эксперты, подобраны они были так, что профильный специалист решает такую задачу примерно за день-два.

Opus 5.5 справился с 46 задачами из 50. GLM-5.3 – с 21. А с Astra история вообще получилась довольно забавной.

Все ответы были сведены к числам и проверялись автоматически. После прогона тесты показали, что модель неправильно решила несколько задач, однако Astra настаивала, что ее расчеты верны.

Исследователи решили проверить собственные решения и действительно нашли в них ошибки, а решения модели оказались верными.

Вывода не будет

https://arxiv.org/abs/2610.16733