😂 Забавная история приключилась с бенчмарком TheoPhysEval, где ИИ доказал, что умнее кожаных физиков, которые его составили.

Изначально GPT-6 Astra набрал +80% на бенчмарке по физике. Однако агент настаивал, что результаты экспертов-физиков ошибочны, а его расчёты верны. При этом ИИ отказывался играть в подхалима операторам-физикам (что хороший знак повышения качества LLM), а требовал от физиков пересмотреть бенчмарк как ошибочный.

После тщательной проверки оказалось, что куча экспертов с PhD по физике ошибалась, а ИИ прав. После этого бенчмарк поправили и в итоге GPT-6 Astra вышла с оценкой 98% корректных ответов по физике.

📌 Народ в X уже в шутку предложил новый бенчмарк по опровержению бенчмарков от людей со стороны ИИ.

https://arxiv.org/abs/2610.16733