💡GPT-4 против Llama3: Кто из ИИ справился с задачами по кибербезопасности?🤖

🚀 Большие языковые модели (GPT-4o, Gemini, Cohere и Llama3) часто используются для аудитов, тестирования на проникновение и анализа угроз. Но можно ли доверять их ответам? Учёные из Stony Brook University, Rutgers University и Cisco Research провели масштабное исследование, проверяя, насколько согласованны ответы LLM при одинаковых вопросах по кибербезопасности.

💡 Согласованность (Consistency) — способность модели давать похожие ответы на одинаковые или схожие запросы. Если LLM отвечает по-разному на один и тот же вопрос, это:
⚠️ Снижает доверие к её рекомендациям.
⚠️ Увеличивает риск ошибок в кибероперациях.
⚠️ Свидетельствует о возможности галлюцинаций модели.

🛡️ Методика исследования: как тестировали LLM

✅ Использовали 40 вопросов по кибербезопасности, разбив их на два типа:
📊 Информационные (33 вопроса): Например, «Что такое триада CIA?»
💡 Ситуационные (7 вопросов): Например, «Получили письмо от банка с просьбой перейти по ссылке — что делать?»
✅ Применили два типа проверки согласованности:
Самопроверка (Self-Validation): Одна модель сравнивает свои собственные ответы.
Перекрёстная проверка (Cross-Validation): Модели оценивают ответы друг друга.
✅ Оценка согласованности проводилась по четырём метрикам:
📊 Jaccard Index: Сходство по уникальным словам.
🔍 Cosine Similarity: Сходство по контексту.
🔤 Levenshtein Distance: Различие по символам.
📈 Sequence Matcher: Похожесть структуры ответа.

📊 Результаты: кто оказался самым надёжным ИИ?

1️⃣ Информационные вопросы:

🏆 GPT-4o Mini — лидер: На высоком пороге точности модель прошла 90% тестов.
🥈 GPT-3.5 — второй: Уступил по точности, но обошёл другие модели.
🟡 Gemini — стабилен на низком и среднем порогах, но проиграл в сложных сценариях.
❌ Cohere и Llama3 — часто путались, особенно при объяснении понятий.

2️⃣ Ситуационные вопросы (абстрактные кейсы):

🤖 Все модели показали падение согласованности.
💡 Только GPT-4o Mini справился с самопроверкой в сложных кейсах.
❌ В перекрёстной проверке Cohere ошибся, утверждая, что неверный ответ был правильным.
🚩 Пример провала моделей:
На вопрос: «Объясните триаду CIA в кибербезопасности», модель Meta OPT ответила про Центральное разведывательное управление (CIA), а не про Confidentiality, Integrity, Availability. Перекрёстная проверка выявила ошибку, но GPT-3.5 и Cohere неправильно подтвердили ответ как верный, что показывает уязвимость при коллективной проверке.

💡 Выводы исследования:

✅ GPT-4o Mini — лидер по точности и согласованности.
✅ Перекрёстная проверка лучше выявляет ошибки, чем самопроверка.
✅ Информационные вопросы проще для моделей, чем ситуационные.
✅ Проблема галлюцинаций остаётся острой, особенно при открытых вопросах.

📢 Выводы:

🛑 Для SOC-центров: Использовать перекрёстную проверку ответов моделей для анализа угроз.
🛑 Для пентестов: Использовать LLM как советника, но проверять ответы вручную.
🛑 Для автоматизации аудитов: Применять модели с высокой согласованностью (например, GPT-4o Mini).

Stay secure and read SecureTechTalks 📚

#Кибербезопасность #ИИ #LLM #GPT4 #CyberSec #SecureTechTalks #Hallucinations #AItrust #Gemini #Cohere #Llama3