Bughunt обновился, видно что новая версия DeepSeek значительно поднялась. К слову, Павел комментировал эксперименты Kun Chen, где отключение всех тестов в DeepSWE не изменило способность ИИ фиксить баги. Ещё раз, отключены были все тесты в реальных крупных приложениях, сделанных профессионалами.

Павел отмечает, что это действительно так в рамках DeepSWE. Если агенту нужно сделать именно небольшую правку в итоге, то ценность тестов для него совсем низка после изучения логов и кода.

Однако в тестах Павла агенты часто как раз используют массивное мутационное тестирование и с этим связан огромный перерасход Sonnet 5.5. Просто его задачи не такие разнообразные как DeepSWE, но многие из них сложнее и требуют значительной переработки кода, а не просто фиксов. Правда важный момент, что тесты в его контексте агенты часто делают "на выброс", т.е. они нужны им одноразово для понимания проблемы, потом их даже не применить к новой версии кода.