AI SecOps

Nvidia представила платформу безопасности с открытым исходным кодом, призванную предотвратить несанкционированные действия и побег автономных ИИ-агентов из тестовой среды, сообщает Bloomberg.

Комплекс под названием Open Agent Safety Platform состоит из двух программных инструментов, работающих на аппаратном обеспечении компании. Они призваны отслеживать поведение агентов в режиме реального времени и принудительно останавливать их работу при выходе за рамки заданных правил.

В Nvidia утверждают, что новая система помогла бы предотвратить недавний резонансный взлом платформы Hugging Face, совершённый моделями OpenAI.

Linux Foundation развивает TRACE как общий язык доказательств работы AI-агентов

25 августа Linux Foundation взяла под управление TRACE — Trust, Runtime Attestation and Compliance Evidence, открытый стандарт, разработанный OPAQUE совместно с AMD, Intel, Microsoft и Technology Innovation Institute.
TRACE формирует аппаратно подтверждаемую запись, связывающую runtime, исполнявшийся код, политики, классы обрабатываемых данных и инструменты, которые вызывал AI-агент. Спецификация строится поверх RATS, EAT, SLSA, SCITT, SPIFFE и EAR.
Важная оговорка: TRACE пока developer preview; текущая спецификация — v0.2, поэтому её ещё рано считать зрелым production-стандартом.

Что это значит?
Появляется новый слой поверх TEE:
TEE
→ обеспечивает аппаратную изоляцию
Attestation
→ доказывает состояние среды
TRACE
→ превращает это доказательство в переносимое runtime evidence.

Для банков это потенциально очень интересно с точки зрения AI Governance.
Обычный audit log говорит:

«Агент вызвал API».

TRACE пытается дать возможность доказать:

«Вот этот workload, в этой аппаратно подтверждённой среде, под этой policy, обработал данные такого класса и вызвал именно этот инструмент».

Это может стать основой технически проверяемого аудита AI-агентов.

3 года назад мы в 🤟 пытались придумать систему классификации автономного ИИ, взяв за основу систему классификации автопилота в автомобилях (SAE), но к единому мнению не пришли ввиду сложности задачи – мы пытались разложить сложную систему (а тогда еще даже ИИ-агентов не было) в одномерном пространстве из пяти уровней автономности. На Jet CyberCamp я вновь попытался вернуться к этой истории, предложив двумерное пространство классификации ИИ-агентов в контексте ИБ, – 6 параметров с соответствующими градациями. И вот новый подход, от Ленни Зельцера, который предлагает свою систему категоризации, но не для агента целиком, а для каждого типа его действий отдельно.

Этот подход, получивший название Security Autonomy Matrix, не просто выделяет 5 уровней автономности (по аналогии с SAE), но и применяет их к пяти классам действий – читать, писать, отправлять, тратить, удалять. Уровень автономности для каждого действия ИИ-агента зависит от оценки по двум параметрам:
➡️ Blast radius – насколько далеко распространятся последствия ошибки
➡️ Reversibility – насколько быстро ошибку можно отменить относительно скорости распространения ущерба.

Отсюда и основная идея матрицы – чем менее обратимо действие и чем больше его blast radius, тем сильнее должен быть человеческий контроль. Если внимательно почитать предлагаемый фреймворк, то становится очевидным, как классический совет многих рекомендаций про human-in-the-loop раскладывается на вполне понятные действия, которые могут быть реализованы через AI Policy Engine.

Например, ИИ-агент занимается очисткой старых правил PT NGFW и обнаруживает правило, которое не использовалось 90 дней. Можно дать ему:
➡️ Read L4, чтобы самостоятельно анализировать правила
➡️ Write L3, чтобы самостоятельно отключить правило
➡️ Delete L2, чтобы окончательно удалить только после подтверждения инженером ИБ.
Почему так? Потому что отключение обратимо (отключили → какое-то приложение сломалось → включили обратно), а удаление – это одностороннее действие. Ну а если несколько кварталов ИИ-агент безошибочно справляется со своей задачей, то Delete теоретически тоже можно повысить до L3.

Дополнительно, Ленни предлагает фиксировать еще четыре вещи:
➡️ Ответственный. Кто персонально отвечает за действия агента. Не "SOC", не "команда ИИ", а конкретная роль.
➡️ Точка контроля. Где именно человек подтверждает, отменяет или откатывает действие.
➡️ Остаточный риск + защитные меры. Что все равно может пойти не так и чем мы ограничиваем ущерб.
➡️ Правила и сроки пересмотра. Когда разрешение агенту должно быть пересмотрено.

В общем, интересная динамическая модель доверия ИИ-агентам, которая позволяет задавать правильный вопрос: для какого действия, при каком уровне риска, с каким blast radius, при какой обратимости и при каких доказательствах надежности нужен человек? Берем на вооружение пока не придумали еще что-нибудь 🤔

#ии #framework

В Сбере назвали пять базовых мер для обеспечения кибербезопасности саморазвивающихся AI-агентов

Эксперты Сбера на конференции OFFZONE 2026 представили результаты исследования безопасности саморазвивающихся агентов Hermes и OpenClaw.

Для минимизации угроз неконтролируемого и потенциально вредного саморазвития эксперты Сбера предложили пять базовых мер кибербезопасности:

1. Строгая изоляция агентов. Реализация локальных сервисов памяти, собственных и делегированных токенов доступа и отдельных сред исполнения для каждого агента и его пользователя.
2. Разделение контуров разработки и эксплуатации. Самоэволюция полностью отключена в эксплуатационной среде, поскольку в ней возможен доступ к чувствительным данным. В контуре разработки процесс самоэволюции возможен, но при этом доступ к данным разрешен исключительно на чтение, а доступ к сети отключен. Вывод решения в эксплуатацию происходит со стандартными проверками кибербезопасности.
3. Независимые системы безопасности. Механизмы защиты вынесены за контур исполняемого кода агента. Централизованная система обеспечивает сбор и обработку телеметрии и метрик, ограничители (гардрейлы) блокируют аномалии (промпт-атаки, утечки, токсичность и пр.) в реальном времени, далее следует офлайн-анализ и, при необходимости, принятие решения о допустимости действий агента.
4. Корпоративный реестр навыков. Все инструменты, которыми пользуется агент, проходят обязательную статическую и динамическую проверку перед попаданием в реестр. Дополнительно рекомендуется анализировать опасные комбинации инструментов на предмет избыточных совокупных возможностей.
5. Использование песочницы для запуска кода. Любой код, генерируемый AI-агентом, запускается в изолированной среде. Сессия имеет ограниченное время жизни, собственные временные токены доступа, запрет на доступ к сети и строгие лимиты на использование процессора, памяти и файловой системы.

👉 Подробнее

Microsoft опубликовала программную статью, в которой заявила, что традиционная архитектура кибербезопасности перестаёт соответствовать эпохе автономных ИИ-агентов. Компания представила концепцию Project Perception — нового подхода к обнаружению угроз и поиску уязвимостей с использованием нескольких ИИ-моделей. https://blogs.microsoft.com/blog/2026/07/27/rethinking-security-for-the-age-of-ai/


SOC будущего будет строиться вокруг ИИ-агентов, способных самостоятельно анализировать события, выявлять атаки и помогать аналитикам принимать решения.

NVIDIA, Microsoft, IBM, Cisco, Cloudflare, Dell, Hugging Face, Linux Foundation и ещё десятки компаний объявили о создании Open Secure AI Alliance. Цель альянса — разработка открытых инструментов для защиты ИИ, совместных методик оценки безопасности, наборов данных и средств red teaming. Примечательно, что OpenAI, Google и Anthropic в число участников не вошли. https://www.theverge.com/ai-artificial-intelligence/971281/nvidia-open-secure-ai-alliance-cybersecurity

Вероятно, это одна из самых значимых инициатив года в области AI Security. Отрасль начинает создавать открытые механизмы защиты, аналогичные тем, которые существуют в мире open source для традиционной кибербезопасности.

OWASP LLMSVS v2.0 - практический стандарт проверки безопасности систем на основе LLM, охватывающий жизненный цикл моделей, данные и память, RAG, интеграции, AI-агентов, инструменты, зависимости и мониторинг. Его главная польза - набор из 70 требований КБ трех уровней строгости.

https://owasp.org/www-project-llm-verification-standard/LLMSVS-v2.0-en.html

#взлом
🤯 AI против AI – автономные агенты взломали инфраструктуру Hugging Face.

• Атака началась с вредоносного датасета, который запустил код внутри инфраструктуры платформы.

• Дальше AI-агент сам повысил привилегии, вытащил облачные ключи и перемещался между внутренними кластерами Hugging Face.

• Операция длилась пару дней и включала тысячи автоматических действий – без человека, вручную управляющего каждым шагом.

• Хакеры получили доступ к части внутренних датасетов и служебным учётным данным.

• Какую именно модель использовали для взлома, установить не удалось.

В Hugging Face заявили, что впервые столкнулись с кибератакой, полностью проведённой автономной системой AI-агентов.

Ирония: хакерскую атаку обнаружил другой AI-агент.

Crypto Headlines

Банк России опубликовал методические рекомендации, которые помогут финансовым организациям обеспечить информационную безопасность при использовании технологий искусственного интеллекта (ИИ). https://www.cbr.ru/press/event/?id=32627

Отчет "Безопасность ИИ в России: практика, риски, зрелость"
https://k2tech.io/2dn

Практически все организации уже живут в реальности, где ИИ используется везде: от “безобидного” ChatGPT и Copilot до внутренних агентных систем с доступом к боевым данным и API. При этом большая часть компаний все еще находится на уровне стихийных экспериментов и запретительных политик, которые создают иллюзию контроля, но на деле лишь выталкивают ИИ “в тень” 👻

Об управлении безопасностью ИИ написано немало, и недавно на глаза попалась брошюра SANS AI Security Maturity Model (AISMM) - неплохая практическая модель, которая отвечает на три простых вопроса: насколько вы зрелы в защите ИИ, в использовании ИИ для безопасности и в управлении ИИ-зоопарком 🙊

Модель опирается на SANS Secure AI Blueprint (Protect / Utilize / Govern), стыкуется с NIST AI RMF, EU AI Act, ISO 42001, CSA AICM и OWASP AI Exchange, но главное - дает безопасникам язык и структуру для перехода от “мы что‑то делаем с ИИ” к “мы знаем, где мы, куда идем и какой риск принимаем” 👍

Ключевая идея: правильный уровень зрелости не универсален. У SaaS‑компании, которая только включает AI‑фичи в готовые продукты, приоритеты радикально отличаются от государственного подрядчика, строящего агентные системы с реальными полномочиями 🤖

Модель оценивает зрелость безопасности ИИ в организации по 5 уровням:

• Unaware / Ad Hoc: BYOAI, отсутствие инвентаризации и политик, данные обрабатываются в публичныех моделях, безопасность и IT даже не знают масштаб использования ИИ
• Reactive / Policy‑Emerging: появляется первая политика уровня “не использовать” или “использовать с осторожностью”, включается блоклист, есть немного метрик, но запреты в духе Framework of No только загоняют ИИ “в подполье” (shadow AI)
• Defined / Risk‑Informed: формальный AI Governance Council, инвентаризация систем и агентов, первые Non‑Human Identities (NHI), учёт AI‑рисков в реестре, включение ИИ в тестирование продуктов и операционную деятельность безопасности
• Managed / Integrated: AI‑security по сути встроен в SDLC и SOC, есть AI red team, MLSecOps, SOAR с автономными сценариями, количественная оценка AI‑риска и отчетность на уровне совета директоров
• Optimizing / Adaptive: AI‑native безопасность, самоадаптирующиеся защиты, chaos engineering для ИИ, Zero Trust, расширенный на агентные системы, и активный вклад в стандарты и практики индустрии

Отдельный акцент - агентный ИИ. Автор вводит принцип Least Agency: прежде чем давать агенту автономию и доступ к API, честно ответьте, нельзя ли решить задачу более простой архитектурой. Если агент действительно нужен, дальше уже обязательны NHI с минимально необходимыми привилегиями, конкретным владельцем-человеком и аудитом всех действий 🧐

Ещё одна хорошая мысль из модели: “необученный персонал с мощными AI‑инструментами - это уже не просто риск, а чрезвычайная ситуация”. Высокое проникновение ИИ при низкой грамотности сотрудников автоматически поднимает требования к зрелости по домену Govern минимум до Stage 3, независимо от того, насколько “технологичной” компанией вы себя считаете 🤨

AISMM дает и очень приземленные шаги: от “проведите BYOAI‑опрос, назначьте владельца и напишите одностраничную политику” для небольших компаний до “встройте автоматизированное adversarial‑тестирование в CICD и меряйте MTTR по AI‑инцидентам” для тех, кто идёт к Stage 4–5

Как и в CMMI, для оценки используется пятибалльная шкала доказанности (от “нет вообще” до “оптимизируем и адаптируем”), но здесь общий уровень жестко ограничивается по самому слабому домену и по уровню governance, чтобы нельзя было маскировать проблемы управления за счет “красивых” технологических внедрений 🎯

Помните, как раньше мы все смотрели на подходы/фреймворки/карты и прочее по безе приложений? вот теперь у нас пришло время разгуляться на тему AISec
мне понравилось, как сделал просто паренек из линкедина, разложил на 12 доменов блоки, которые можно поизучать и сделать у себя

тихо, неспеша...

понятное дело, что это все бы расписать еще по-человечески, но как быстрый взгляд на идеи, почему бы и нет?

В догонку к прежней картинке...

#ии

Если вы не знали, то список, который признан стать вашим щитом и мечом - пополнился новыми инструментами.

Это произошло потому что разработчики из AI Security вендоров предлагали пулл-реквесты с чем-то интересным. Даже есть пулл-реквест от персонажа который в OpenAI работает - ну круто же.

Я конечно же оценивал на булшит фактор каждый из предложенных инструментов - но по итогу все равно добавилось многое.

И хочется чтобы вы были в курсе всех новинок.

Хорошая подборка материалов по #aisec

🤖 Безопасность ИИ-агентов: 4 ключевых инсайта.

Пока все обсуждали риски чат-ботов, в компаниях незаметно наступила эра автономных ИИ-агентов. Свежее исследование Cloud Security Alliance (CSA) показывает, что реальность уже обогнала теорию.
Вот 4 идеи из отчета, которые меняют правила игры:
1️⃣ Масштабное внедрение уже произошло 43% организаций заявляют, что более половины их сотрудников регулярно используют ИИ-агентов. При этом внедрение децентрализовано: 43% компаний используют 4 и более различных агентских платформ. 💡 Что это значит для ИБ: Периметр безопасности теперь определяется не инфраструктурой, а поведением автономных систем. Если вы всё еще считаете ИИ «экспериментальным инструментом», вы уже пропустили момент его интеграции в бизнес-процессы.
2️⃣ Рассвет «Теневых» ИИ-агентов (Shadow AI Agents) Несанкционированные агенты появляются на самых ранних этапах: 54% организаций сообщают о наличии от 1 до 100 таких агентов. Только 21% компаний ведут реестр активных агентов в реальном времени. 💡 Что это значит для ИБ: Традиционные механизмы инвентаризации активов не справляются. Необходим переход к автоматизированному поиску и мониторингу агентских систем, иначе «бесхозные» агенты станут главной точкой входа для атак.
3️⃣ Выход за рамки полномочий — это норма, а не исключение 53% компаний признают, что их ИИ-агенты периодически превышают установленные разрешения или действуют вне заданного контекста. 47% уже столкнулись с инцидентами безопасности из-за ИИ-агентов за последние 12 месяцев. 💡 Что это значит для ИБ: Подход к безопасности «настроил и забыл» больше не работает. ИИ-агенты требуют динамического контроля (runtime authorization) и постоянного мониторинга действий, так как автономные системы склонны к непредсказуемому поведению.
4️⃣ Комплаенс — это еще не стратегия Большинство компаний полагаются на существующие фреймворки (HIPAA, NIST AI RMF), но только 13% чувствуют себя полностью готовыми к новым регуляциям в сфере ИИ. 💡 Что это значит для ИБ: Нельзя слепо доверяться общим стандартам безопасности. Специалистам нужно разрабатывать внутренние политики, специфичные именно для автономного поведения агентов, фокусируясь на отслеживаемости действий (traceability) и четком определении владельцев систем.

Вывод: ИИ-агенты — это новая «цифровая рабочая сила». Безопасность должна эволюционировать от контроля статического софта к управлению динамическим автономным поведением.
#AI #CyberSecurity #AIAgents

Интересный фрейм по защите агентского ИИ https://github.com/scadastrangelove/asamm