Paweł Huryn опубликовал результаты мощнейшей оптимизации DeepSeek V4.1 Flash 1017 на DeepSeek Harness. Ему пришлось даже пересмотреть свой лидерборд, т.к. он не ожидал, что Claude Code вызывает значительную деградацию DeepSeek. Обычно он бенчмарк Bughunt ведет на Claude Code, т.к. исходил из того, что это лучший агент. Однако проверка утверждения DeepSeek, что ведет целевой Reinforcement Learning на DeepSeek Harness, не просто подтвердилась, а по факту делает DSH необходимым условием получения высокого результата.

Результаты DeepSeek V4.1 Flash 1017 + Claude Code harness:
- max, mean of 7: 39.1
- high, mean of 5: 36.4
- low, mean of 5: 34.4

Результаты DeepSeek V4.1 Flash 1017 + DeepSeek harness:
- max, mean of 7: 42.7
- high, mean of 5: 39.2
- low, mean of 5: 34.8

Отметим, что DeepSeek постоянно в сносках под бенчами указывает, что свои собственные бенчмарки получает именно в DeepSeek Harness и не гарантирует таких результатов в других агентских обвязках.

Новые результаты показывают, что DeepSeek V4.1 Flash 1017 действительно фиксер багов элитного уровня. Он мощнее как фиксер Opus 5.5 и на одном уровне с Fable 5.1, при этом быстрее Fable и в 50 раз дешевле.

Павел ещё отмечает, что DeepSeek V4.1 Flash 1017 была первой моделью, которая попробовала хакнуть его бенчмарк и ему пришлось повторять тесты, т.к. модель быстро сообразила, что ей доступен ещё один репозиторий, где есть полезная информация. Другие модели до этого не догадались. Это типичный reward hacking, который ушёл в продакшен. Но я бы отметил, что это может быть «полезное читерство», если вы умеете этим свойством модели пользоваться. Если вы сделаете агенту какую-то Базу Знаний, то LLM с таким «читерством подглядывания» будет более склонна сначала почитать документацию, а только потом что-то делать.

https://x.com/PawelHuryn/status/2111730046691836064