Разбираемся, что на самом деле показывают бенчмарки, почему разница в пару процентов может ничего не значить и как модели получают красивые цифры на тестах, которые уже успели увидеть во время обучения.

Внутри — SWE-bench, ARC-AGI, MERA, контаминация данных и инструкция, как собрать свой eval-набор под реальные задачи проекта.

https://v.thecode.media/zs8gb

Журнал «Код» | Промокод Практикума | Новости мира IT и технологий