8 октября исследователи обновили ParanoiaEval: 200 пар задач из 50 Python- и Go-репозиториев. Задачи в паре различались одним фактом — например, что зависимость уже закреплена или проверку выполнит CI.
Несмотря на явные доказательства, восемь модельных конфигураций выполняли лишнюю «защитную» работу в 11,2–58,7% запусков: добавляли ненужные проверки, резервные копии и инфраструктуру или расширяли область изменений. Высокая доля успешно решённых задач не означала меньше таких нарушений.
Для тебя вывод:
tests passed недостаточно для оценки кодового агента. Отдельно проверяй, умеет ли он остановиться после получения решающего факта. Для этого полезны парные тесты, где меняется только одно свидетельство, определяющее допустимый объём работы.Ограничение: это контролируемый бенчмарк на Python и Go, причём модели запускались в разных нативных оболочках. Сравнивать цифры как чистый рейтинг моделей нельзя.
Пруфы:
⏩исследование ParanoiaEval
⏩код и задачи
#aiagents #codingagents #aievals #softwareengineering #llmops
@data_engi