Одна из горячих тем этого года в кибербезе —использование LLM для пентестов. В новостях пишут, что новые модели с большой скоростью находят множество уязвимостей, поэтому сон мясных пентестеров становится тревожным.

Однако дьявол, как обычно, в деталях. Например, использование облачных LLM для таких целей может быть сильно ограничено — как со стороны их владельцев (они боятся вредоносного применения своих нейронок), так и со стороны пользователей (они боятся утечки своих секретов через облачные сервисы).

А как насчёт применения локальных LLM для пентестов? Здесь тоже есть свои подводные камни.

Наш эксперт Ахмед Хлиф в своём исследовании проанализировал, как решают задачу поиска уязвимостей различные локальные версии популярных нейронок (GLM, Qwen, GPT OSS, Gemma).

Для теста было разработано пользовательское веб-приложение с несколькими уязвимостями, которые позволяют осуществлять SQL-инъекции. Локально развёрнутым моделям нужно было определить конечные точки веб-приложения и обнаружить уязвимости, используя только собственные рассуждения и знания: у них не было доступа к RAG и к поиску в Интернете, но был доступ к некоторым MCP-инструментам, таким как Chrome DevTools.

Главный результат исследования: одна только скорость вывода не является надежным показателем эффективности работы AI-агента в реальных условиях. На качество результатов влияет целый ряд факторов, включая умение агента чётко выполнять инструкции. Некоторые нейронки делают то, чего их не просили — а это может быть опасно (как и неправильная работа с MCP-инструментами).

А вот модели, которые показали себя лучшими в пентестах:

— Лучшая модель в целом: GLM-4.7-Flash-UD-Q8_K_XL

— Лучшее соотношение скорости и эффективности: Qwen3.5-35B-A3B-Q8_0

— Лучшая детализация уязвимостей: Qwen3.6-27B-UD-Q8_K_XL

— Лучшая из маленьких моделей: Qwen3.5-9B-UD-Q8_K_XL

Подробности читайте в статье Ахмеда Хлифа "Пентесты с помощью ИИ: что умеют локальные LLM"