🧠 ИИ и оценка уязвимостей: революция или скам?

Исследователи проверили, могут ли современные большие языковые модели независимо оценивать уязвимости, то есть определять их критичность по описанию.

📊 Как тестировали?

Команда прогнала 31 000+ CVE-описаний через шесть крупных LLM:
• GPT-4o
• GPT-5
• Llama 3.3
• Gemini 2.5 Flash
• DeepSeek R1
• Grok 3

❗️Модели оценивали исключительно текст описания уязвимости. Им не давали:
✔ названия продуктов,
✔ версий ПО,
✔ идентификаторы CVE,
✔ данные поставщиков

Это было сделано специально, чтобы исключить «поиск по шаблону» и заставить ИИ логически рассуждать на основе текста.

То есть задача была не просто прочитать описание, а воссоздать ключевые метрики CVSS, которые определяют приоритет реагирования на уязвимость.

🧩 Где ИИ эффективен?

Модели показали лучшие результаты там, где язык описания был прямолинейным и содержал явные сигналы:
🔹 Attack Vector (находится ли уязвимость в сети или локально). Примерно 89% точности у Gemini и GPT-5.
🔹 User Interaction (нужен ли пользовательский ввод/клик для эксплуатации). Схожие результаты.

Такие аспекты часто прямо указаны в описаниях CVE.

Кроме того:
🔸 Confidentiality Impact (угроза утечки данных) и
🔸 Integrity Impact (изменение данных)
тоже были оценены достаточно успешно. GPT-5 показывал 70+ % точности здесь.
👉 То есть когда модель видит явные сигналы в тексте, она может прилично предсказывать, что именно представляет собой уязвимость. Это может помочь аналитикам быстро отсеивать тривиальные случаи.

😬 Где ИИ слаб

Явные ограничения:
❗ Availability Impact (влияние на доступность системы). Результаты чуть ниже (≈68 % у GPT-5), потому что описания редко точно объясняют, насколько нарушение службы критично.
❗ Privileges Required (необходимые привилегии). Модели путают «отсутствие» и «низкий уровень», потому что тексты часто не содержат чётких указаний.
❗ Attack Complexity  предугадывается плохо, в основном из-за перекоса данных в сторону «низкой сложности».
📌 Анализ ошибок также показал:
29 % CVE были неправильно оценены всеми моделями одновременно по Availability Impact.

В других метриках 4 из 6 моделей согласовывались в неправильных ответах до 36 % случаев, что говорит о систематической ошибке, а не случайности.

🤝 Ансамбли моделей

Исследователи попробовали объединить предсказания всех шести моделей в meta classifier. Это дало небольшие улучшения, но не решило фундаментальной проблемы:
отсутствие информации в описании всё ещё мешает точному пониманию угрозы.

🧠 Контекст наше всё

Самый важный вывод исследования:
👉 LLM могут быть полезны для предварительной оценки, но на текущий момент они не заменят человека или полноценные системы анализа контекста и метаданных.

🔗 Оригинал исследования: LLMs can assist with vulnerability scoring, but context still matters.

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #AIsecurity #LLMs #CVE #VulnerabilityAssessment #CyberSecurity #Infosec #AIinSec #ThreatIntel #ContextMatters #AutomationLimits #CyberResearch