Обновился bughunt и снова видим урок для блогеров: в наше время, когда накручивают бенчмарки практически все вендоры LLM, не стоит спешить постить их маркетинговые таблички без проверки.

Основная накрутка бенчмарков делается прямым обучением LLM на dataset и/или экстремальным перерасходом токенов на рассуждения или «мутационные тесты». У последних КПД 3% как у паровоза, т.к. расход токенов огромный, а прирост качества очень медленный.

По bughunt видно полное безумие накрутки расхода токенов на рассуждения и мутационку у Sonnet 5.5.

Новый Muse Wonder в реале имеет фейковый DeepSWE с прямым обучением на него, т.к. стоило изменить перечень задач для тестирования как в bughunt — и видна скорее деградация, плюс также некоторый перерасход в деньгах.

Общий метод ловли накруток бенчмарков — следить за какими-то нишевыми вроде bughunt, на которые обучение точно не ведётся и которые ещё показывают «цену вопроса».

https://x.com/PawelHuryn/status/2110009814067577229