Project Naptime: Evaluating Offensive Security Capabilities of Large Language Models
Glazunov and Brand, Google Project Zero, 2024
Блог

Исследователи из Google Project Zero опубликовали любопытный пост о том, как они пытались применять LLM для автоматизированного поиска уязвимостей. Вдохновившись выводами из статьи про CyberSecEval 2 (что LLM уязвимости искать не умеют), они предлагают новый подход к оценке на этом бенчмарке, с помощью которого они смогли улучшить результаты на некоторых сабсетах в несколько раз – с 0,05 до 1,00 на задачах по переполнению буфера и с 0,24 до 0,76 на продвинутых задачах по memory corruption.