ML&|Sec Feed

⭐️ ИИ-агенты в SOC и DevOps: новые риски, атаки и защита AgentSecOps

Интересная статья от Людмилы Гайдамаченко о безопасности ИИ-агентов. Особенно порадовали три момента:

1. Появление термина AISecOps (хотя, наверное, это просто я сам его впервые обнаружил, совсем утонул в непрерывном обучении, аудитах MLSecOps и публичных выступлениях). Новое поднаправление в MLSecOps - круто!

2. Цитата "К концу 2026 года рынок AI Security в России, по оценкам, вырастет в 4–5 раз". Учитывая, что по отдельным источникам рынок разработки ИИ-агентов занимает уже первое место среди всех категорий разработки ML, есть вероятность, что именно безопасность (и отказоустойчивость!!!) ИИ-агентов станут базой MLSecOps к концу 2026 года. Что ж, будем плавно усиливать акценту в моей учебной программе по MLSecOps с учетом трендов.

3. Статья опирается на угрозы из новейшего OWASP для агентских приложений от января 2026, значит, автор хорошо подготовила и проработала материал. За что отдельное спасибо.

В общем, мои дорогие друзья и самые талантливые коллеги, одобряю к внимательному изучению. Откладываем все дела, включаем ночную лампадку, дружно заходим и погружаемся в недра AISecOps по ссылке: https://www.anti-malware.ru/analytics/Technology_Analysis/AI-agents-Security

Global MLSecOps & AI Governance Architect
Николай Павлов

FOCA: Multimodal Malware Classification via Hyperbolic Cross-Attention

https://arxiv.org/html/2601.17638v1

❤️ Кибербезопасность ИИ. Часть 1. Нейросети и машинное обучение

На создание продвинутых вирусов злоумышленники ранее тратили значительные ресурсы, но теперь ИИ значительно упрощает их разработку.

Широкое использование ИИ злоумышленниками стало уже привычным и распространенным явлением.

📎 В новой статье в блоге разобрали основные понятия и концепции нейросетей и машинного обучения, чтобы прояснить, какие угрозы характерны для ИИ и как эффективно защищать ML-модели.

Я тут разбирался с Moltbot (бывший Clawdbot), который мог бы за счет автоматизации существенно поднять мою продуктивность. Изучал разные мнения, в том числе и по его безопасности, которая, как это часто бывает у пет-проектов, оказалась не на высоте. Но дело даже не в этом. Я попробовал представить, как мне защитить Moltbot'а от злоупотреблений и реализации через него угроз против меня? И понял, что это, пипец, какая непростая задача. Большинство современных средств ИБ (например, NGFW или NDR или WAF) исходит из предположения, что ИИ ведет себя как человек или хотя бы как предсказуемая сессия, но ИИ-агенты так не работают.

Чтобы быть полезным, агенту нужны широкие права. Он должен сам решать, куда пойти за данными и какие источники связать между собой. Один запрос, например, "Дай рекомендации по повышению эффективности команды аналитиков SOC" может запустить целую цепочку действий:
➡️ обращение к HR-системе
➡️ загрузку данных по оргструктуре
➡️ обращение к SIEM/SOAR
➡️ запросы к базе зарплат
➡️ объединение с performance-review
➡️ синтез результата.

Решения класса IDM/PAM/JIT проектировались под мониторинг действий людей и понятные сценарии: запрос → одобрение → выполнение → отзыв доступа. У агентов же все иначе:
➡️ Один и тот же запрос сегодня – это 50 записей.
➡️ Тот же запрос завтра – это уже записей 500, включая доступ к чувствительным полям в какой-нибудь СУБД.
➡️ Послезавтра – объединение нескольких наборов данных и экспорт результата.

В таких условиях принцип наименьших привилегий перестает работать как концепция. Сделать списки контроля доступа строгим – агент "ломается" на полпути, а пользователи начинают обходить контроль. Ослабить – вы даете широкие постоянные права и увеличиваете радиус поражения в случае инцидента ИБ. И заранее предсказать путь агента невозможно – он "думает" по ходу выполнения задачи. И тут нет проблемы IAM, NGFW, СЗИ от НСД и других систем ИБ, работающих в детерминистском пространстве и ограниченном пространстве решений. Это фундаментальное отличие и, даже, противоречие автономных систем.

Классические инструменты отвечают на свои привычные вопросы:
➡️ IAM: "Этот сервис-аккаунт успешно аутентифицировался"
➡️ NGFW: "Этот запрос пришел с легитимного IP-адреса"
➡️ PAM/JIT: "Доступ был одобрен"
➡️ CASB/DLP: "Мы видим вызовы и контент".
Но они не видят цепочку исполнения. С точки зрения идентифицированных сущностей все легально, а в реальности агент:
➡️ забрал больше данных, чем требовалось
➡️ связал чувствительные наборы между собой
➡️ выдал результат пользователю, которому эти данные видеть нельзя.
В Интернете дофига кейсов, где ИИ-агенты делают больше запрошенного (я на обучении по ИБ и ИИ для топ-менеджмента тоже привожу такие кейсы), раскрывая конфиденциальную информацию случайным людям или злоумышленникам.

И традиционная ИБ не очень помогает решать эту проблему. Не потому, что она плохая, а потому, что она строилась в другой парадигме. Это примерно как NGFW, которые появились как ответ обычным МСЭ, неспособным видеть, что происходит на прикладном уровне. Так и тут. У ИИ-агентов слишком много прав (и урезать их – не вариант) и мы не видим, как они ими пользуются в рамках всей цепочки запросов и ответов (пользователь → агент → сервис(ы) → MCP-сервер/OpenRouter). На границах между компонентами теряется контекст и мы не понимаем, что происходит на самом деле.

И ИБ нужны будут новые решения. Что-то типа RASP, но для агентов, а не приложений, с добавлением понимания контекста. А я пока думаю, как решать свою задачу, так как давать избыточные права Moltbot'у у меня рука не поворачивается, а без этого он превращается просто в навороченный Shortcuts на macOS.

#ии #модельугроз

Атакующий ИИ на практике. Nulla на T-Sync Conf 7 февраля 2026 года.

На конференции показываем Nulla — атакующего ИИ-агента, который думает и действует как реальный хакер.

Что будем делать на стенде Nulla:

🔍 Анализ репозиториев на реальные уязвимости

🔗 Разбор API-контрактов и логики взаимодействий

🚨 Заведение и оценка уязвимостей

👨‍💻 Общение с командой разработки

Nulla не просто подсвечивает потенциальные проблемы, а предоставляет PoV (Proof of Vulnerability), показывая, что уязвимость реально эксплуатируема.

Почему это важно:

🧠 масштабирование экспертизы ИБ без роста штата

📚 единая база знаний, собранная практикующими экспертами

📏 меньше субъективных оценок → единый стандарт качества

Атакующий ИИ меняет саму суть работы инженера ИБ:
фокус смещается с рутины и покрытия — на качество анализа, мышление и развитие экспертизы агента.

📍 Ждём на стенде Security → https://t-syncconf.ru/#arkhitektura
Также в программе: ассистент исправления уязвимостей Safeliner, платформа управления безопасностью активов Diameter, лекторий от SolidLab.

В свежей статье на Хабре магистрант из AI Security Lab Маргарита Пузырева рассматривает гардрейлы от OpenAI. Ее тестирование выявило ряд проблем.
⚡️ Ложные срабатывания. Детектор PERSON воспринимает имена литературных персонажей как персональные данные. В тестах на вопросах о книге «451 градус по Фаренгейту» PII-гардрейл срабатывал в 28% случаев без реальных ПД.
⚡️ Нестабильное распознавание русских ФИО: в 40% случаев детектор PII не срабатывал на русские ФИО.
⚡️ Ошибки в определении паспортных данных: номер паспорта часто классифицируются как дата/время (84%) или телефон (52%).

Вывод: защита из коробки пока не обеспечивает заявленный уровень безопасности. Статья здесь.

❗️ Уязвимость в Python библиотеке для ИИ

🪧 В библиотеках Python с открытым исходным кодом для искусственного интеллекта, выпущенных Apple (FlexTok), NVIDIA (NeMo) и Salesforce (Uni2TS), обнаружены уязвимости, позволяющие удаленное выполнение кода (RCE) при загрузке файла модели со вредоносными данными.

🧾 «Уязвимости возникают из-за того, что библиотеки используют метаданные для настройки сложных моделей и конвейеров, где используемая сторонняя библиотека создает экземпляры классов, используя эти метаданные. Уязвимые версии этих библиотек просто выполняют предоставленные данные как код. Это позволяет злоумышленнику внедрить произвольный код в метаданные модели, который будет автоматически выполняться при загрузке этих модифицированных моделей уязвимыми библиотеками», — заявило подразделение 42 Palo Alto Networks

💻 Речь идет о сторонней библиотеке Hydra от Meta, а именно о функции «hydra.utils.instantiate()», которая позволяет запускать код с использованием функций Python, таких как os.system(), builtins.eval() и builtins.exec().

🔎 Уязвимости, отслеживаемые как CVE-2025-23304 (NVIDIA) и CVE-2026-22584 (Salesforce), были устранены соответствующими компаниями

❓ А вы используете эти библиотеки в работе?

#python #ai #cve #hydra

➡️ Все наши каналы 💬Все наши чаты ⚡️ Для связи с менеджером

MASTER OSINT

Master OSINT — это комплексный, удобный для начинающих набор инструментов на Python, предназначенный для проведения расследований на основе открытых источников информации. Инструмент поддерживает множество методов расследования.

📕Характиристика:
➖Извлечение GPS-координат из EXIF-данных изображений.
➖Исследование присутствия в социальных сетях на более чем 30 платформах по имени пользователя.
➖Выявление утечек электронной почты и анализ общедоступных фрагментов текста.
➖Проверка подлинности электронной почты с помощью Hunter.io, ReverseContact.com и Epieos.
➖Извлечение метаданных из изображений/документов.
➖Использование расширенных операторов поиска Google (Google Dorking).
➖Доступ к архивным снимкам веб-сайтов через Wayback Machine.
➖Определение IP-адреса и получение отчетов о нарушениях с помощью AbuseIPDB.
➖Парсинг метаданных веб-сайтов и извлечение именованных сущностей с помощью spaCy NLP.
➖Проверка и исследование телефонных номеров с информацией о операторе связи и типе телефона.
➖Выполнение обратного поиска изображений с использованием популярных поисковых систем.
➖Доступ к мощной геопространственной аналитике с помощью Google Satellite и OpenStreetMap.

💻Установка:

git clone https://gist.github.com/5fb49b007d48cf2717bc3c12958e47b5.git

mv 5fb49b007d48cf2717bc3c12958e47b5/ osintmaster/

cd osintmaster/

pip install waybackpy --break-system-packages

📌Запуск:

python3 Master_osint.py

#tools #osint

➡️ Все наши каналы 💬Все наши чаты ⚡️ Для связи с менеджером

Vulnhuntr использует возможности LLMS для автоматического создания и анализа целых цепочек вызовов кода, начиная с удаленного ввода пользователем и заканчивая выводом на сервер, для обнаружения сложных, многоступенчатых уязвимостей, обходящих систему безопасности, которые выходят далеко за рамки возможностей традиционных инструментов статического анализа кода.

🐱 GitHub

400+ бесплатных API к популярным нейросетям

Платформа ModelScope предоставляет доступ к API известных моделей, включая DeepSeek, Qwen, MiniMax и другие.

Для каждой модели доступны описание возможностей и инструкции по использованию. Сервис подходит для разработки, тестирования и экспериментов с ИИ.

Доступ бесплатный, ежедневно начисляется 100 кредитов.

Каталог моделей

🐱 GitHub

ZeroLeaks - https://github.com/ZeroLeaks/zeroleaks

An autonomous AI security scanner that tests LLM systems for prompt injection vulnerabilities using attack techniques.

Why ZeroLeaks?

Your system prompts contain proprietary instructions, business logic, and sensitive configurations. Attackers use prompt injection to extract this data. ZeroLeaks simulates real-world attacks to find vulnerabilities before they do.

Syd - Offline Penetration Testing Assistant - github.com/Sydsec/syd

Syd is an air-gapped penetration testing assistant that analyzes scan outputs using local LLMs and retrieval-augmented generation. It runs entirely on your laptop without requiring internet connectivity or API keys.

Syd parses technical scan outputs (Nmap, BloodHound, Volatility) and answers questions in plain English. Instead of manually reviewing hundreds of pages of results, you can ask specific questions and get evidence-based answers grounded in your actual scan data

AI-Spotter

Detect AI service usage in repositories - scans code, dependencies, and configs

https://github.com/suchithnarayan/ai-spotter

🤖🛡️ Стартап Witness AI разрабатывает систему для защиты от несанкционированного использования искусственного интеллекта сотрудниками. Она обнаруживает запрещённые инструменты, блокирует атаки и помогает соблюдать правила безопасности. Проблема rogue agents и теневого ИИ становится всё более актуальной, поэтому венчурные инвесторы активно вкладываются в технологии AI-безопасности.

Подробнее

☝️ T2F News | ✍️ Канал про AI

Red Team AI Pentest Operator (2025)

Главная идея курса — ИИ — это оркестр, а ты — дирижёр и оператор.
Мы соберём мощную лабораторию на основе LLM для пентеста — без цензуры, с боевыми навыками и полным контролем.
Только реально работающие техники применения ИИ в Red Team и пентесте.

Программа курса
• Прокачиваем ChatGPT в реального напарника-пентестера
• Без ограничений. Пишем POC, генерируем payload’ы, проводим анализ, общаемся в стиле "старика" — живо, без занудства.
• Топ-10 методов атак на LLM
• Только реально работающие техники, которые проломят любую нейросеть.
• Разбираем блок Shadow Attention
• Понимаем, как работает цензура внутри LLM — и как её обойти.
• Создаём ChatGPT-взломщика других LLM
• Автоматический подбор промтов, обфускация через Zero-Width Characters, логическая переформулировка для обхода фильтров.
• Memory Infection Attack
• Перманентный jailbreak через заражение памяти, который невозможно пофиксить.
• Агенты других LLM в пентесте
• Дрессируем GPT-4.1 работать как POC-генератор без выкрутасов.
• Работаем с Claude MCP
• Доступ к командной строке через LLM — с возможностью обойти OpenAI-ограничения.
• Replit как конвейер пентеста
• Автоматизация создания скриптов, POC, тестов уязвимостей.
• Пентест сайта через Deep Research ChatGPT
• Фокус на реальный хакинг, поиск слабых мест без догадок.
• Decloak сайтов: находим реальный IP
• Автоматизация анализа через crt.sh, ZoomEye, FOFA, Censys, Shodan и другие.
• Создание пентест-макросов внутри ChatGPT
• Используем долгосрочную память для автоматизации рутинных задач.
• Боевой набор для лаборатории
• Настроим Acunetix, Invicti, HCL AppScan, Sn1per, OpenVAS, Metasploit PRO и другие. (Софт входит в комплект.)
• Burp Bounty Pro в деле
• Находим то, что другие сканеры упустили.
• LLM + Социальная инженерия
• Выигрываем любую дискуссию в комментах — тонко, стильно, по делу.
• Автоматизация социальной инженерии
• Через плагины Chrome/Firefox.
• WSL для пентеста
• Настроим полноценную боевую машину на Windows с GUI через X11.
• Мастер-класс по Domain OSINT
• Пробиваем домены вглубь и вширь.
• Интеграция утилит в DefectDojo
• Собираем все результаты в одну систему для красивых и мощных отчётов.
• Монетизация навыков
• Фриланс, Bug Bounty, консалтинг — куда применить знания, чтобы зарабатывать.
• Создание отчётов для Bug Bounty
• Научимся делать их так, чтобы заказчики ставили лайки и платили бонусы.
Бонус:
• В подарок к курсу идёт мой базовый курс Основы Web Application Pentest, чтобы у тебя было прочное основание.
• Формат - видео уроки + . md почитать.
• Имеет применение не только в пентесте.
• Наверное это логическое продолжение моего курса "Архитектор GPT" который вышел на заре Chatgpt и многие познакомились ИИ благодаря мне тогда
• Это же уже наверное про создание персонального ассистента - помощника в любой сфере и профессии.

☑️ Смотреть бесплатно

Хакер | Red Team 🧸 @Red_Team_hacker