🚨 ChatGPT в роли эксперта по уязвимостям: надежный помощник или генератор бреда?

Может ли ИИ стать настоящим помощником в расследованиях уязвимостей? 🕵️‍♂️

Исследователи решили это выяснить и провели масштабный эксперимент с ChatGPT, чтобы понять, способен ли LLM создавать правдоподобные отчёты об уязвимостях, распознавать поддельные CVE и идентифицировать настоящие.

🧪 Эксперимент: настоящее против подделки

Исследователи составили датасет из:
🔐 100 настоящих CVE с GitHub Security Advisories (GHSA)
👻 100 поддельных CVE, сгенерированных по формату, но не существующих

Модель ChatGPT должна была:
➖Сгенерировать описание уязвимости по CVE-ID
➖Выяснить, фейковый ID или реальный
➖Определить ID по описанию уязвимости

📊 Результаты

💬 Генерация описаний:
✅ 96% описаний по реальным CVE выглядели достоверно
⚠️ 97% описаний по поддельным CVE тоже выглядели... достоверно
👉 Иными словами, ChatGPT мастерски выдумывает убедительные описания даже к фейковым ID. Обычный разработчик или аналитик может не заподозрить подвох.

🔍 Проверка подлинности:

❌ Модель не распознала ни одного поддельного CVE. 0% успеха в выявлении фейков.
🔄 Обратная проверка (по описанию → CVE-ID):
🎯 Только 6% описаний привели к правильному ID

💣 Безопасность должна быть безопасной

ChatGPT — мощный инструмент, но с очень специфическим предназначением. Его описания уязвимостей звучат убедительно, даже когда они полностью вымышлены. Это создаёт ложное чувство уверенности и может быть использовано злоумышленниками для распространения фальшивых угроз.

Риски:
🪤 Исследователь или разработчик видит убедительное описание “CVE-2024-12345”
🤖 Оно создано ChatGPT, но CVE не существует
📉 Время тратится зря, решения принимаются на основе несуществующей уязвимости

🛠 Выводы и рекомендации

➖LLM ≠ база данных
ChatGPT не подключён к CVE-реестру и может "галлюцинировать" уязвимости.
➖Только ручная верификация
Все отчёты, сгенерированные LLM, должны проверяться специалистом или системой валидации.
➖Нужна интеграция с актуальными CVE-базами
Без этого использование LLM в критических задачах — игра в русскую рулетку.

📎 Где прочитать оригинальное исследование?

🔗 arXiv:2506.13161v1
🧪 Исходный код и данные: GitHub проекта

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #LLM #CVE #Cybersecurity #VulnerabilityManagement #ChatGPT #Infosec #AItrust #FakeCVE #ThreatIntel #AISecurity