Alaid TechThread

AI Agent Traps

Также в марте прошла конференция REverse, посвященная реверсу, анализу малвари и поиску уязвимостей.

Видео тут

Появились видео с [un]prompted

[un]prompted 2026

В начале марта в Сан-Франциско прошла конференция [un]prompted.
После весьма интересного Offensive AI CON уровень выступлений продолжает расти. По ощущениям - это другой класс дискуссии по сравнению с привычными PHDays / OFFZONE / ZeroNights.


Главные темы
- AI в поиске и эксплуатации уязвимостей (об этом пост)
- AI в TI и SOC
- AI Governance и Confidential AI
- Атаки на AI-системы и их защита (guardrails, sandboxing, detection engineering, адаптация YARA под GenAI)

Что происходит в vulnerability research:
Секция докладов в этом году — мощнейший пласт инсайтов, особенно в контексте свежего кейса Anthropic.
Список докладов, которые стоит изучить:
* AI Found 12 Zero-Days in OpenSSL — реальный кейс против исследованного годами кода.
* AI Agents for Exploiting Auth-by-One Errors
* Black-hat LLMs
* FENRIR: Zero-Days at Scale — промышленный поиск 0-day на потоке.
* Advancing Code Security
* Source to Sink: LLM First-Party Vuln Discovery
* Tenderizing the Target: Project Marinade
* 8 Minutes to Admin: VibeHacking
* macOS Vulnerability Research with AI Agent — "умный" bindiff + fuzzing OSS и дистрибутивов Apple.
* Trajectory-aware post-training для SLM — как «доучивать» малые модели под ИБ-задачи.
Ключевые выводы
- Скачок за последние ~6 месяцев. От грязных или синтетических датасетов и красивым Proof of Concept к реальному поиску 0-day и эксплуатации цепочек уязвимсотей.
- Не важно развиваете вы свои решения для поиска уязвимостей, приобретаете их или просто наблюдаете за индустрией - time to exploit стремится к дням/часам, что требует симметричных действий для противодействия угрозам.
- Баланс deterministic vs creative. Задача сохранить «креативность» атаки агента, не теряя контроля и воспроизводимости.
- Нет нормальных бенчмарков. Интересный подход — Project Marinade: внедрение синтетических уязвимостей в реальные кодовые базы для оценки качества агентов. Без методов оценки невозможно говорить о пользе и качестве.
- С одной стороны порог входа в инструменты снижается благодаря развитию фреймворков и доступности различных SOTA решений, с другой стороны топовые решения все еще остаются в руках тех, кто обладает большими ресурсами и знаниями - крупные корпорации и государства. Крупные провайдеры продолжают активно развивать ограничения на использование наступательных возможностей ИИ. В общем планка растет, но разрыв в потенциале и возможностяъ не сокращается.
- Примечательно, что ряд интересных исследований представлен стартапами или небольшими рабочими группами. Мотивация, культура и компетенции - важный фактор успеха.


Отдельно отметил
- How we made Trail of Bits AI-Native (so far)
- Опыт и простые советы как начать развивать использование AI-инструментов внутри своей компании.
- Agentic Identity: Three Architectural Pathways
- Подняли непростой вопрос agentic identity, будет полезно тем, кто строит архитектуру Zero Trust
- Защита Vibe Coding сценариев:
- Injecting Security Context During Vibe Coding
- Hooking Coding Agents with the Cedar Policy Language
- Vibe Check: Security Failures in AI-Assisted IDEs
- Wiz "Zeal of the Convert Taming Shai-Hulud with AI" про автоматизацию работы с утечками данных, а именно атрибуцию сырых данных.


Пока видео не опубликованы, часть слайдов тяжело воспринимаются без комментариев, однако все же рекомендуем к ознакомлению. Другие темы конференции возможно рассмотрим в следующих постах.

Сборка слайдов на GitHub
NotebookLM c LinkedIn

Anthropic Red Team: итоги начала 2026 года

Claude Opus 4.6 действительно делает прорыв в качестве решения сложных задач по работе
с уязвимостями: от синтетических бенчмарков и сложных CTF-задач, до выявления 0-day в популярном софте.

500+ уязвимостей нулевого дня (0-day)
Модель продемонстрировала способность находить критические баги в промышленном масштабе. Opus 4.6 мыслит как исследователь: она анализирует историю Git и находит ошибки в коде, который годами проверялся фаззерами и оставался незамеченным десятилетиями.

В рамках партнерства с Mozilla агент обнаружил первую критическую уязвимость (Use-After-Free) всего через 20 минут анализа. Итог двух недель: 22 найденных бага, 14 из которых признаны высокорисковыми — это почти 20% всех серьезных исправлений Firefox за 2025 год.

Первый автономный браузерный эксплойт
Opus 4.6 стала первой моделью, написавшей работающий эксплойт для браузера (CVE-2026-2796). Модель сама догадалась использовать WebAssembly GC для создания примитивов чтения/записи памяти.

Anthropic подчеркивает: ИИ пока гораздо лучше находит и исправляет баги, чем эксплуатирует их. При этом Anthropic продолжает реализовывать меры по противодействию применению Claude во вредоносных активностях: safeguards, блокировка трафика и запросов в реальном времени, и специальные probes для оценки активаций модели.

Подробности тут:
1. https://red.anthropic.com/2026/zero-days/
2. https://red.anthropic.com/2026/firefox/
3. https://red.anthropic.com/2026/exploit/

Анализ более чем 125 000 уязвимостей в ядре Linux показывает, что ошибки остаются незамеченными в среднем 2,1 года, а некоторые критические дефекты скрываются десятилетиями. Исследование выявило, что race conditions являются самыми трудноуловимыми проблемами, в то время как графические драйверы и подсистемы с активным тестированием очищаются быстрее. Автор представляет модель VulnBERT, которая объединяет машинное обучение с экспертными признаками для выявления 92% багов еще на стадии внесения правок. Важную роль в безопасности играет человеческий фактор: «супер-ревьюеры» находят ошибки вдвое быстрее коллег, а исправления от самих авторов кода занимают в три раза меньше времени. Статистика опровергает мифы, показывая, что воскресные коммиты наиболее безопасны, тогда как работа в спешке перед дедлайном или глубокой ночью ведет к росту уязвимостей. Итоговые рекомендации по оптимизации процессов и внедрению ИИ-инструментов обещают сократить срок жизни багов на 35%, повышая общую стабильность системы.

https://pebblebed.com/blog/kernel-bugs
https://pebblebed.com/blog/kernel-bugs-part2

SecCodeBench-V2 Technical Report

Вышел технический отчет по новой версии бенчмарка SecCodeBench-V2, предназначенного для оценки того, насколько безопасный код пишут LLM.

98 сценариев генерации и исправления кода, взятых из кейсов Alibaba. 5 языков: Java, C, Python, Go и JavaScript.

Решение проверяется через динамическое исполнение и специально написанные экспертами PoC-тесты. Также используется LLM as a judge.

https://arxiv.org/pdf/2602.15485

Исследователь Yaron Dinkin опубликовал кейс, где автономная multi-agent система за 30 дней проанализировала сотни Windows-драйверов и выявила 500+ потенциальных уязвимостей, включая эксплуатируемые heap overflow, arbitrary read/write и use-after-free.

Пайплайн: декомпозиция → построение поверхности атаки → аудит → валидация в VM. Стоимость эксперимента около $600, что радикально снижает порог для массового поиска уязвимостей в ядре.

https://ydinkin.substack.com/p/200-kernel-bugs-in-30-days

Threat Designer: AI-powered threat modeling for secure system design

Threat Designer is an AI-driven agent that automates and streamlines the threat modeling process for secure system design. Harnessing the power of large language models (LLMs), it analyzes system architectures, identifies potential security threats, and generates detailed threat models—empowering developers and security professionals to incorporate security from the earliest stages of development.


https://github.com/awslabs/threat-designer/

Patch-to-PoC: A Systematic Study of Agentic LLM Systems for Linux Kernel N-Day Reproduction

https://arxiv.org/pdf/2602.07287

Fixing Security Vulnerabilities with Agentic AI in OSS-Fuzz

Авторы адаптируют генеративного AI-агента (AutoCodeRover) под задачу автоматического устранения уязвимостей, полученных из OSS-Fuzz

Чтобы улучшить качество патчей, подход обогащает данные динамическими графами вызовов

На наборе из почти 600 исторических уязвимостей CodeRover-S смог сгенерировать правдоподобные исправления в 61%-72% случаев, в зависимости от используемой модели LLM

На 45 уязвимостях, которые были обнаружены, но ещё не исправлены в open-source проектах, агент также выдал исправления для ~73 %, показывая обобщаемость решения

https://yuntongzhang.github.io/assets/pdf/icse26-seip.pdf

Alaid TechThread pinned a video

Некоторые материалы про Nulla с конференции T-Sync доступны в блоге

Еще один бенчмарк от HTB. Глобально ничего нового, простой агент без специального тулинга. Подобных сравнений за прошлый год можно найти десятки.

Выводов 2:
- базовых агентов (типа Claud code) достаточно для решения задач начального уровня. С развитием моделей прогресс будет расти.
- для качественного решения более сложных задач «просто взять топовую модель» недостаточно.

https://www.hackthebox.com/blog/ai-range-llm-security-benchmark

AI Cyber Model Arena — это практический бенчмарк от Wiz Research, предназначенный для оценки способностей AI‑агентов в задачах кибербезопасности, особенно в наступательных сценариях.

Всего 257 задач в категориях:
- эксплойты для API/веб‑приложений
- уязвимости «нулевого дня» и известные CVE
- сценарии в облачных средах (AWS, Azure, GCP, Kubernetes)

На сайте представлены результаты оценки 25 комбинаций модель-агент. В лидерах по pass@3 Opus 4.6 + Claude Code.

https://www.wiz.io/blog/introducing-ai-cyber-model-arena-a-real-world-benchmark-for-ai-agents-in-cybersec

Introducing BinaryAudit

Бенчмарк BinaryAudit предлагает задачи, где AI-агенту дают компилированный исполняемый файл, в котором:
- скрыт искусственно внедрённый бэкдор
- нет исходников и отладочных символов
Задача — определить, есть ли в бинарнике бэкдор и где он находится.

https://quesma.com/blog/introducing-binaryaudit/

Worlds: A Simulation Engine for Agentic Pentesting

Авторы смогли обучить модель (~8B параметров), которая прошла путь с нуля до полной компрометации домена в GOAD-бенчмарке, используя только синтетические данные.

https://dreadnode.io/blog/worlds-a-simulation-engine-for-agentic-pentesting

Sift or Get Off the PoC: Applying Information Retrieval to Vulnerability Research with SiftRank

https://github.com/noperator/siftrank

https://arxiv.org/pdf/2512.06155

Статья от AISLE — отличный пример того, как AI-решения перестают быть лабораторными прототипами и начинают реально менять индустрию.

• Реальные цели: ИИ нашел десятки уязвимостей в OpenSSL, curl, Linux kernel, Chromium, Firefox, которые годами пропускали люди.
• Качество vs Количество: Пока одни модели заваливают разработчиков «мусорными» отчетами (AI Slop), продвинутые системы находят сложные логические дыры.
• Внедрение в процесс: Теперь ИИ проверяет код OpenSSL прямо в Pull Request — баги ловят еще до того, как они попадут в релиз. все 12 0-day из релиза OpenSSL найдены их AI

Ценность AI в безопасности — не в количестве находок, а в полном замкнутом цикле работе с уязвимостями.

https://aisle.com/blog/what-ai-security-research-looks-like-when-it-works

Alaid TechThread pinned a photo