AI SecOps

Гайд по AI-агентам с мерами митигации угроз кибербезопасности
#иб_для_ml

↗️ https://cdn-app.giga.chat/misc/0.0.0/assets/giga-landing/c02386dc_WP.pdf

✅Команда Сбера представила новый документ - гайд по практикам разработки AI-агентов. В документе масса кода и архитектурных схем, разбираться можно долго. И я однозначно рекомендую его к ознакомлению.

Но мне, конечно интересна в первую очередь кибербезопасность. И да, такой раздел в этом документе имеется. Внимание на страницы 65-69.

📝Раскрываемые темы и понятия в разделе
▪️описание ключевых с точки зрения ИБ элементов AI-агента
▪️схема этих элементов, изображающая AI-агента как объект защиты, приведен список поверхностей атаки
▪️несколько сценариев реализации угроз (например, каскадное распространение промпт-атаки)
▪️меры обеспечения кибербезопасности AI-агентов - самое интересное, на чем остановимся подробнее

🔒 Как защитить AI-агентов
На странице 69 расписано 12 различных мер.
Начинаем, конечно, с мониторинга. AI-агенты, как мы помним, сами по себе моделями не являются, соответственно ответы пользователям генерить не могут. Поэтому существуют обращения агентов к LLM, при чем как минимум - два. Первое с исходным входным текстом, чтобы сгенерировать запрос на выполнение действия (-й), второе - с результатом выполнения для генерации финального ответа. И это, по-хорошему, все надо логировать. Начиная от id потребителя и, в случае большой корпоративной системы, id фронтальной поверхности, заканчивая id сессии и id актуального коммита в памяти AI-агента на момент совершения события аудита.

Другой хорошей практикой (мерой), особенно в критичных системах, является ограничение формата вывода агентов со свободного естественного языка до набора детерминированных значений. Поможет и утечек избежать, и распространения промпт-атак, и других нежелательных последствий.

Собраны и некоторые общеизвестные, по-моему, вещи, но все-таки стоящие упоминания: проводить redteam-тестирование, ввести максимально жесткий контроль доступа, применять SAST/SCA к генерируемому агентами исполняемому коду, организовать рейтлимиты и прочие контроли надежности против спонж-атак, и несколько других пунктов.

И еще отдельно отмечу простое и при этом мне показавшееся, когда я увидел, неочевидным, правило: отслеживайте наличие в системном промпте любых секретов. Это могут быть ключи, токены, имена баз данных или учеток, словом - всего, что не нужно знать потребителю AI-агента. Потому что нельзя забывать - системный промпт модель обязательно расскажет (ее хлебом не корми - дай системник рассказать), а значит, его инфу можно считать заведомо утекшей.

👀 Итого
Берегите честь безопасность AI-агентов смолоду с ранних этапов проектирования - эта прописная истина работает и тут. И авторы дают конкретные предложения, как именно это делать. Документ отлично дополняет показанную в апреле модель угроз, покрывая агентную ее часть.


🔫 Предлагаю челлендж - будет больше 50 реакций под постом, сделаю свою версию маппинга угроз из МУ Сбера на митигации из данного гайда.

Сбер представил гайд по созданию ИИ-агентов для бизнеса.

На конференции ЦИПР старший вице-президент, руководитель блока «Технологическое развитие» Сбербанка Андрей Белевцев представил практический гайд по созданию ИИ-агентов — автономных систем, которые самостоятельно выполняют различные задачи с помощью генеративного искусственного интеллекта, пишет Лента.ру.

Сообщается, что данное руководство будет полезно ИТ-специалистам, архитекторам, участникам команды разработки, которые хотят разобраться в ключевых аспектах построения и внедрения мультиагентных систем в условиях реальной корпоративной среды.

Жизненный цикл, данные и АНБ. Новый американский стандарт описывает лучшие практики по защите данных для AI. И, наверное, все мы понимаем базовое вроде «не должно быть перекоса в данных», «должен быть контроль доступа и очистка». Но как видит это АНБ? Тут всё не так уж и однозначно.

Это не фреймворк, в классическом понимании. Но что-то схожего тут есть – например рассматривают меры для жизненного цикла данных, раскладывают его по полочкам.

Как отмечается в документе, успешные стратегии управления данными должны гарантировать, что данные не были подвергнуты несанкционированному изменению на любом этапе жизненного цикла ИИ, не содержат вредоносного, а также не имеют непреднамеренной дублирующей или информации, которая может быть аномалией.

NSA определяет следующие риски:

1.Цепочка поставок. Тут кристально понятно. Они, кстати, приводят в пример кейс с отравлением википедии, когда злоумышленник вносит вредоносные правки непосредственно перед тем, как сайты с краудсорсинговым контентом делают снимок своих данных. Также уделили внимание на своей аналитике – отравление датасета LAION-2B – для злоумышленника может стоить от 60$ до 1000, а эффект будет большой.

2. Предвзятость, состязательные примеры, искажающие процесс обучения, проблемные метаданные и некачественный датасет – всё это относят ко второму типу угроз,

3. Дрейф данных. Хотя документ упоминает дрейф данных как один из рисков безопасности данных на некоторых этапах жизненного цикла, подробное описание этого риска и стратегий его снижения в документе отсутствует.

Между этим как мне кажется можно было бы определить угрозы, связанные с синтетикой, а может и нет … всё-таки ж речь про безопасность. К этим рискам они отнесли рекомендации:

NSA дают общие рекомендации:
1.Использование надежных источников данных и отслеживание происхождения
2.Проверка и поддержание целостности данных
3. Использование цифровых подписей
4. Использование доверенной инфраструктуры
5. Классификация данных и контроль доступа
6. Шифрование данных (AES-256)
7. Безопасное хранение данных (должны храниться на устройствах, соответствующих NIST FIPS 140–3)
8. Методы сохранения конфиденциальности (Дифференциальная приватность, федеративное обучение)
9. Безопасное удаление данных (в соответствии с NIST SP 800-88)
10. Проводить регулярную оценку безопасности данных (также в соответствии с NIST SP 800-3r2 и NIST AI 100-1)

По их мнению, да и по лучшим стандартам сейчас для цепочки поставок можно реализовывать хеширование данных, регулярно смотреть целостность.

ну а ссылка вот.

https://www.forbes.ru/tekhnologii/537676-brazdy-ispravlenia-ii-ot-t-banka-pomozet-razrabotcikam-ustranat-uazvimosti

Т-Банк выводит на рынок ассистента по информационной безопасности (ИБ) Safeliner на основе искусственного интеллекта, узнал Forbes. Его задача — снизить нагрузку на продуктовые команды разработки в компании, быстрее реагировать на угрозы и ликвидировать уязвимости. В компании рассчитывают на то, что Safeliner поможет экономить «Т-Технологиям» (материнской компании Т-Банка) более 1 млрд рублей в год. Крупный бизнес, которому банк будет предлагать этот инструмент, также сможет снижать свои расходы на суммы того же порядка, полагают в банке. Использование AI-ассистента может быть востребовано компаниями, активно ведущими собственную разработку ПО.

Итак, доклад по безопасности AI-агентов, MCP и A2A, который я прочитал с коллегой на Форуме "Технологии Доверенного ИИ"
#иб_для_ml

Файл вы найдете ниже под постом

Более того, я собираюсь сделать небольшую серию постов, согласно оглавлению доклада.

О чем же он был?
Во введении мы рассказали про понятие AI-агентов как таковых, немного раскрыли их отличие от просто чат-ботов или RAG. Привели определение мультиагентной системы и представили схему объектов защиты на основе модели угроз AI, представленной Сбербанком.
Далее раскрыли суть понятия MCP, конечно же со схемкой, и дали описание одной из возможных атак на этот протокол: Tool Poisoning Attack.
После чего - аналогично с A2A и атакой Privilege Escalation.

Главный интересный раздел - безопасность систем на стыке этих протоколов, пример атаки, эксплуатирующей их несогласованность, и главное - модель угроз для систем на протоколах MCP+A2A.

В качестве завершения - возможные меры защиты, мои выводы и пучок полезных ссылок по поводу)

Остаемся на связи, скоро расскажу про все подробнее.

Про безопасную разработку и тестирование технологий ИИ. (Концепция с Форума Доверенного ИИ)

Учитывайте все риски ИИ!

Большой коспект по LLM от нашей команды 👍

Мы долго трудились и наконец готовы представить вам наш большой авторский конспект по языковым моделям. Почти 50 страниц, 7 разделов и все, что нужно, чтобы понять, как работают современные LLM. Внутри:

➖ Краткая история LLM от перцептрона до ризонинг-моделей
➖ Необходимая математика: линал и матанализ на пальцах
➖ Все про механизм внимания и трансформеры от А до Я
➖ Дотошное объяснения процесса предобучения
➖ Практический гайд "Как самостоятельно затюнить модель"
➖ RL – с нуля до ризонинга

Все – в иллюстрациях, схемах и интуитивно понятных примерах.

Сохраняйте, делитесь с друзьями и ставьте ❤️

Друзья. Давно не виделись. Появился повод собраться и смоделировать угрозы на GenAI...😌

Приглашаю вас на воркшоп на PHDays 2025, 24 мая в 14:00.

Моделирование угроз для искуственного интеллекта.

С развитием генеративных моделей и ИИ, как мы с вами поняли из множества постов на канале - возрастает не только их функциональность, но и сложность🤠 потенциальных угроз.
ИИ-системы взаимодействуют с пользователями, принимают входные данные в виде запросов, адаптируются под контекст, а сейчас могут исследовать большое количество статьей, автоматически писать и запускать код, и быть полуавтономными.👻

В этом воркшопе участники погрузятся в практические подходы к моделированию угроз для генеративного ИИ, с особым вниманием к моделированию угроз для агентов — будь то пользователи, злоумышленники, внутренние сотрудники или сама модель в качестве активного элемента системы. Мы рассмотрим жизненный цикл генеративного ИИ — от сбора данных до эксплуатации — и исследуем типичные угрозы на каждом этапе.😮

Что от вас нужно ?🌿

Билет на PHDays

Регистрация на сайте мероприятия. Спешите, колличество мест ограничено.

https://phdays.com/ru/activities/?type=7&activity-id=115

Ноутбуки. Нужно будет ставить инструменты. Это будет воркшоп с практикой. Будем смотреть агентные системы. Материала по этой теме не так уж и много, а в рамках воркшопа заинтересованные могут не только познакомиться с инструментами, но и получить дозу позитивного живого общения, обмена опытом.

Всем рекомендую прийти к Артёму на воркшоп в рамках PHDays! Скучно не будет!

На днях пара выходцев из Amazon опубликовала заслуживающую внимания новую модель угроз для ИИ-агентов.

Для тех, кто прогуливал, “ИИ-агент” - автономная система, которая принимает решения самостоятельно, “модель угроз" - список действий, которые хакеры могут проделать с вашей автономной системой, чтобы вам всячески навредить.

Модель предлагает 9 угроз:
- T1: Подмена логики — злоумышленник незаметно меняет алгоритмы рассуждений агента, подталкивая к вредоносным выводам под видом «правильных» решений.
- T2: Сдвиг целей — скрытное изменение базовых установок агента, чтобы его поведение постепенно смещалось в нужную атакующему сторону.
- T3: Отравление данных — внедрение ложной информации в базу знаний (например, RAG), которая искажает решения агента и самовоспроизводится в будущем. 
- T4: Несанкционированные действия — принуждение агента к операциям, выходящим за рамки его полномочий (например, запуск запрещённых скриптов).
- T5: Перегрузка ресурсов — атака запросами, которые истощают вычислительные мощности (CPU, GPU), выводя агента из строя.
- T6: Подмена идентификатора — обход проверок подлинности для выполнения действий от имени доверенного пользователя или агента.
- T7: Эксплуатация доверия — манипуляция пользователями через их слепое доверие к ИИ-рекомендациям. 
- T8: Зашумление мониторинга — генерация массы ложных событий, чтобы скрыть в логах реальные атаки.
- T9: Скрытый вектор — медленные/сложные атаки, обходящие системы защиты за счёт неочевидных паттернов.

За последнее время помимо всяких атак, Ml/LLMSecops, и прочего полезного по безопасности ИИ - в сети появляется большой поток материалов по MCP(Model Context Protocol). Как в контексте применения инструментов с использованием этого протокола, так и по его безопасности.

Хотелось бы поделиться тем что сохранил для себя, и с чем уже удалось поработать. Полезный список по MCP.

Хотелось бы начать с ресурсов которые могут рассказать о том что это и как можно разработать инструмент с поддержкой MCP

Статья от Antropic, главного родителя MCP - тут мы можем дать себе ответ на вопрос - что вообще за MCP.

https://modelcontextprotocol.io/ - Буквально ресурс содержащий в себе энциклопедию решений, описания архитектуры и концепций. На него много где сейчас ссылаются, так как он всеобъемлющий.

@soxoj выпустил список инструментов для осинта, которые уже работают под протоколом.

AppSec решения также не отстают и могут быть использованы с MCP.


А в самом большом удивительном списке есть целый блок с MCP для безопасности.

Безопасность MCP

За последнюю неделю китайцы достаточно много выпустили об угрозах для данного протокола. Можно ознакомиться с классными статьями и выходящими исследованиями тут.

Или готовым чеклистом для защиты

Invariant-labs сделал инструмент для сканирования MCP, он анализирует конфигурации серверной части протокола.


Помимо MCP начинает набирать популярность a2a от гугла. Пока что не видел больших историй применения этого протокола. Однако буквально на днях Кен сделал модель угроз для a2a, в соответствии со своим фреймворком.

нужно ещё больше написать про MCP в посте про MCP

Американский NIST руководство по защите от атак на ИИ-системы, одновременно признав, что «атаки по количеству и мощности превосходят доступные методы их отражения»

Материалы с конференции "Цифровая устойчивость промышленных систем" https://tsups.ib-bank.ru/materials

В последнее время я часто пишу тут про агенты. Надеюсь кто-то уже попробовал что-то использовать или возможно реализовать своего агента. Иногда для своего понимания я трачу время на то чтобы дать себе ответ на вопрос "а кто есть сейчас на рынке" и вот если мы берём решения для защиты LLM, то я уже писал о том что есть большой рынок.

Однако что с агентами ? Хоть их уже и много - но как таковой карты решений я не видел раньше пока не наткнулся на пост в блоге Брендона Диксона из Microsoft. В нём он не рассматривает решения для защиты и тестирования агентов... таких компаний мало... Но он приводит обратную сторону - применение агентов в ИБ. И у него получилась очень насыщенная карта(вы можете видеть её в картинке к посту).

Он делает огласку:

Большая часть моего понимания компаний получена из их маркетинговых материалов, ориентированных на внешний рынок.

Карта представляет из собой набор решений. Структурирована она следующим образом. У нас есть задачи: Пентест(решения помечаются красным цветом), Риски(оранжевым) и т.д(вверху справа все цвета. Есть разделение карты:

Если смотреть слева направо то можно увидеть какие решения являются не-автономными, а какие полностью(никаких) или частично автономные ... А если смотреть снизу вверх, то можно понять мол решение будет ориентироваться на работу исходя из задачи или исходя из домена. Как-то так.

В посте он приводит несколько лидеров, которые он для себя отметил(ссылки в посте у автора):

Dropzone.AI и CommandZero - решения для сортировки инцидентов.

Pixee AI и Github Copilot - решения для анализа кода.

Лучшие co-pilot по его мнению - Microsoft Security Copilot и Purple AI.

Для себя я ещё отметил из его карты крутые решения на рынке - напрмер Splx - это решение с агентами для RedTeaming тестирования LLM. Есть ещё shift - они позиционируют себя как "Cursor for hackers", дополнялка для Caido(веб-пентестерам знакомо), чтобы упростить в процессе тестирования генерацию пейлоадов и т.д

KPIs for Cyber Security: A Journey Through Numbers That Tell Stories! by Hadess, 2025

Гомоморфное шифрование и ИИ. Интересный пример https://huggingface.co/spaces/zama-fhe/encrypted-anonymization