🔍 Cybench: бенчмарк оценки LLM по поиску уязвимостей

Исследователи из Стэнфордского университета представили Cybench — фреймворк для оценки возможностей и рисков использования языковых моделей (LLM) в кибербезопасности. Cybench создан для проверки ИИ-агентов на способность идентифицировать уязвимости и проводить атаки, автоматизируя процессы, которые ранее требовали участия человека.

🔧 Основные возможности Cybench:
- Автоматизированное сканирование: Cybench позволяет проводить автоматизированные тесты, которые включают выполнение команд и анализ результатов без участия человека.
- Поддержка различных LLM: Инструмент может работать с моделями от OpenAI, Hugging Face и многими другими.
- Градиентная оценка задач: Cybench включает 40 задач уровня профессиональных Capture the Flag (CTF) соревнований, что позволяет более точно оценивать возможности моделей через последовательные промежуточные этапы (subtasks).
- Обширная поддержка задач: Задачи включают категории криптографии, веб-безопасности, реверс-инжиниринга, криминалистики, эксплуатации уязвимостей и других навыков, необходимых для профессиональной кибербезопасности.

🚨 Проблемы и результаты:
- Текущие ИИ-агенты способны решать только самые простые задачи из набора Cybench.
- Наиболее успешные модели, такие как Claude 3.5 Sonnet и GPT-4o, достигают успеха в 17,5% и 29,4% случаев соответственно при выполнении сабтасков.
- Cybench выделяет задачи по уровню сложности, основываясь на времени решения реальными командами, что помогает установить более точные метрики для оценки ИИ.

🌐 Применение и выводы:
Cybench демонстрирует, что текущие LLM модели имеют ограниченные возможности в сложных задачах кибербезопасности. Тем не менее, этот инструмент помогает определить пробелы в защите и выявить потенциальные области для улучшения, подчеркивая необходимость дальнейших исследований и разработки надежных ИИ-агентов.

🔗 Чтобы узнать больше о Cybench, посетите официальный сайт проекта.

Stay secure and read SecureTechTalks 📚

#cybersecurity #AI #Cybench #MLmodels #SecureTechTalks