ML&|Sec Feed

Artificial Intelligence in Cybersecurity: Using AI for Port Scanning

Nmap has been the gold standard of network scanning for decades, and over this time, it has obtained hundreds of command-line options and NSE scripts. It’s great from one side, you can tailor the command for your needs, but on the other side, it requires expertise. What if you could simply tell an AI in plain English what you want to discover, and have it automatically select the right Nmap commands, parse the results, and identify security issues?

That’s exactly what the LLM-Tools-Nmap utility does. Basically, it bridges the gap between Large Language Models (LLMs) and Nmap.

https://hackers-arise.com/artificial-intelligence-in-cybersecurity-using-ai-for-port-scanning/

https://github.com/peter-hackertarget/llm-tools-nmap

A NIST AI RMF-Aligned Governance Platform for Agentic AI - https://arxiv.org/pdf/2510.25863 | https://youtu.be/nwnRluWKuFs

This paper introduces the Agentic AI Governance Assurance & Trust Engine (AAGATE), a Kubernetes-native control plane designed to address the unique security and governance challenges posed by autonomous, language-model-driven agents in production.

Recognizing the limitations of traditional Application Security (AppSec) tooling for improvisational, machine-speed systems, AAGATE operationalizes the NIST AI Risk Management Framework (AI RMF). It integrates specialized security frameworks for each RMF function: the Agentic AI Threat Modeling MAESTRO framework for Map, a hybrid of OWASP’s AIVSS and SEI’s SSVC for Measure, and the Cloud Security Alliance’s Agentic AI Red Teaming Guide for Manage.

By incorporating a zero-trust service mesh, an explainable policy engine, behavioral analytics, and decentralized accountability hooks, AAGATE provides a continuous, verifiable governance solution for agentic AI, enabling safe, accountable, and scalable deployment.

The framework is further extended with DIRF for digital identity rights, LPCI defenses for logic-layer injection, and QSAF monitors for cognitive degradation, ensuring governance spans systemic, adversarial, and ethical risks.

Agents Rule of Two: A Practical Approach to AI Agent Security

At a high level, the Agents Rule of Two states that until robustness research allows us to reliably detect and refuse prompt injection, agents must satisfy no more than two of the following three properties within a session to avoid the highest impact consequences of prompt injection.

[A] An agent can process untrustworthy inputs

[B] An agent can have access to sensitive systems or private data

[C] An agent can change state or communicate externally

https://ai.meta.com/blog/practical-ai-agent-security/

A Practical Guide for
Securely Using Third-Party
MCP Servers

Source: https://genai.owasp.org/resource/cheatsheet-a-practical-guide-for-securely-using-third-party-mcp-servers-1-0/

#AIOps
#MLSecOps
#Tech_book
"Machine Learning Systems:
Principles and Practices of Engineering Artificially Intelligent Systems",
School of Engineering and Applied Sciences Harvard University, Nov. 4, 2025.

// This book bridges the gap between theoretical foundations and practical engineering, emphasizing the systems perspective required to build effective AI solutions. Unlike resources that focus primarily on algorithms and model architectures, this book highlights the broader context in which ML systems operate, including data engineering, model optimization, hardware-aware training, and inference acceleration

Machine Learning Systems
Principles and Practices of Engineering Artificially Intelligent Systems https://www.mlsysbook.ai/

Интересное исследование из Австралии 🇦🇺, демонстрирующее новый тип дипфейковых атак – Face-to-Voice (FOICE). По одной фотографии жертвы синтезируется ее голос, который позволяет обходить такие системы аутентификации как WeChat Voiceprint и Microsoft Azure 🪞 И все это без каких-либо голосовых семплов жертвы. Интересные нас ждут времена – найти фото человека, под которого надо маскироваться мошенникам, гораздо проще, чем семплы его голоса или видео.

#дипфейк #аутентификация

Наконец-то кто-то может свайпать за вас: фреймворк, который позволяет управлять Android- и iOS-устройствами через LLM-агентов 💃

Пишешь команду на естественном языке — и агент сам кликает по экрану, анализирует интерфейс и выполняет задачу.

— Поддерживает OpenAI, Anthropic, Gemini, Ollama и DeepSeek;
— Умеет планировать сложные сценарии из нескольких шагов;
— Делает скриншоты и анализирует их содержимое;
— Имеет CLI с дебагом и Python API для кастомных автоматизаций;
— Можно использовать даже для UI-тестирования, поиска трендов или «сохранения streak-а» в Duolingo.

Теперь-то я пройду Tinder 😂

🍯 HuggingFace выложили бесплатную книгу на 200 страниц о том, как обучать нейросети с нуля — Smol Training Playbook. Это мастхев-учебник для всех, кто хочет создавать и тренировать LLM:

• Как правильно строить и оптимизировать инфраструктуру
• Как проходит обучение LLM: зачем, что и как обучать
• Как подбирать данные для предобучения
• Все современные подходы пост-тренинга
• Реальные кейсы, как строят SOTA-модели

Сохраняйте золото — тут.

P.S. По классике, кто первый сделает перевод книги на русский и пришлёт в комменты — отправлю редкий подарок за TON. Поддержим русскоязычное комьюнити вместе 💗

@notboring_tech

MCPGuard : Automatically Detecting Vulnerabilities in MCP Servers

https://arxiv.org/pdf/2510.23673

#AIOps
#MLSecOps
"Breaking Agent Backbones: Evaluating the Security of Backbone LLMs in AI Agents", Oct. 2025.

// AI agents powered by LLMs are being deployed at scale, yet we lack a systematic understanding of how the choice of backbone LLM affects agent security. The non-deterministic sequential nature of AI agents complicates security modeling, while the integration of traditional software with AI components entangles novel LLM vulnerabilities with conventional security risks. We introduce threat snapshots: a framework that isolates specific states in an agent’s execution flow where LLM vulnerabilities manifest, enabling the systematic identification and categorization of security risks that propagate from the LLM to the agent level

#DFIR
#AIOps
#MLSecOps
#RAG_Security
AI Incident Response Framework, V1.0
https://github.com/cosai-oasis/ws2-defenders/blob/main/incident-response/AI%20Incident%20Response.md

// This guides defenders on proactively minimizing the impact of AI system exploitation. It details how to maintain auditability, resiliency, and rapid recovery even when a system is compromised by advanced threat actors. Also explores the unique challenges of AI incident response, emphasizing the role of forensic investigation and the complications introduced by agentic architectures, while providing concrete steps to manage this new complexity

Ура, товарищи! Наконец-то первое видео на канале, и какое! Мастер-класс по взлому ИИ агентов Артёма Семёнова, с моим скромным участием.
Скоро на канале будет ещё много чего интересного от интервью с топами в ИИ и AISecOps до университетского курса по защите данных в ИИ, так что подписывайтесь и ставьте лайки😁
Приятного просмотра!

😳 🧠 Agentic AI и безопасность — кто контролирует твои данные?

Наткнулся на интересную статью в блоге Мартина Фаулера — Agentic AI Security.
Она разбирает безопасность в работе LLM и объясняет, почему использование агентов — это не просто “умные помощники”, а ещё и новые векторы уязвимостей.

Заглавный вопрос статьи: LLM не различает данные и инструкции.

Когда агент объединяет несколько итераций текста и вызовов инструментов (MCP, внешние API, CLI и т.п.) в один большой контекст, он может “съесть” вредоносную инструкцию прямо из данных.

💉 Так появляется prompt injection — когда данные превращаются в команды.

Korny Sietsma, автор статьи, приводит ссылки на смежные материалы и называет это "смертельной триадой" угроз:

- Sensitive Data is the core thing most attackers want - this can include things like browser cookies that open up access to other data.
- Неочевидность границ контекста — модель не знает, что безопасно, а что нет.

- Untrusted Content can include commands that the LLM might follow.
- Инъекция инструкций — злоумышленник подмешивает вредоносные команды в текст.

- External Communication allows the LLM application to send information back to the attacker.
- Автоматизация действий без контроля — агент сам выполняет то, что “кажется логичным”.

📊 В статье есть отличные диаграммы, показывающие, как LLM взаимодействует с внешним миром, инструментами и данными. Всё складывается в единую картину:
Агент — это цепочка промтов и tool-вызовов, которые не имеют встроенной защиты.

💬 Отдельно поднимается вопрос этики и порядочности поставщиков инструментов и MCP-серверов.
И рекомендуют применять все обычные проверки безопасности.

Публикация официального реестра MCP — это шаг вперёд.
Но он пока никак не администрируется на предмет безопасности или уязвимостей.

⚙️ Что можно сделать, чтобы уменьшить риски?
🔜 Контейнеризировать окружения агентов (Docker или Apple Containers)
🔜 Изолировать задачи и инструменты
🔜 Делать итерации с подтверждением человеком
🔜 Защищать/скрывать доступы и токены
🔜 Использовать безопасные dev-контейнеры (Claude Dev Containers)

🧩 Вся экосистема движется к тому, чтобы LLM могла действовать самостоятельно.
Но важно понять, что пока человек остаётся самым надёжным “firewall” между ИИ и злоумышленником.
А применение подходов описанных в статье снимает львиную долю человеческого фактора.

P.S.:💡 Отдельный инсайт для меня — это Apple Containers: Linux контейнеры в macOS от Apple.
Надо будет посмотреть.

#AgenticAI #Security #LLM #PromptInjection #MCP #Containers #Claude #Apple #AI

👏

Elastic Search Query Generator
A buddy and I work in a MSSP SOC that uses Elastic SIEM and notice that AI tools were lagging a bit in generating decent queries. We pulled together a query generator using an AI agent, LLM, and fed it some training docs. Would be interested to see what everyone thinks - we might add more training docs to support other tools if people are interested https://querylab.prediciv.com/

Discuss on Reddit: https://ift.tt/jUiqG4R

https://teletype.in/@aisecurilka/aRc7i9M6l8z

#ai #aisafety #cybersecurity #llm #lotl #lollm

Ссылка на оригинал статьи

ЭйАй Секур’илка⬅

#AIOps
#MLSecOps
"Beyond the Protocol: Unveiling Attack Vectors in the Model Context Protocol (MCP) Ecosystem", 2025.
]-> Repo (MCP-Artifact)

// In this paper, we present the first end-to-end empirical evaluation of attack vectors targeting the MCP ecosystem. We identify four categories of attacks, i.e., Tool Poisoning Attacks, Puppet Attacks, Rug Pull Attacks, and Exploitation via Malicious External Resources

See also:
]-> A comprehensive security scanner for MCP servers
]-> Securing AI Agent Execution (.pdf)

Собрали в статье всю базу по международному регулированию ИИ и российским инициативам. Если вам есть что добавить – пишите в комментариях.