ML&|Sec Feed

#MLSecOps
#Whitepaper
"Implementing Secure AI Framework Controls in Google Cloud", Dec. 2025.

// Google’s Secure AI Framework is a framework for securing AI systems throughout their lifecycles. SAIF is designed for practitioners – the security professionals, developers, and data scientists on the front lines – to ensure AI models and applications are secure by design

Executive Offense - The Arcanum Prompt Injection Taxonomy v1.5

The Arcanum Prompt Injection Taxonomy v1.5 is a new, open-source, interactive classification of prompt injection attacks against large language models. It organizes the attack surface into four parts Attack Intents, Techniques, Evasions, and Inputs with detailed descriptions and real examples to help security teams understand, test, and defend against prompt injection threats.


https://arcanum-sec.github.io/arc_pi_taxonomy/

Меня забанили друзья до конца январских... Канал ушел отдыхать

ARES-Dashboard - AI Red Team Operations Console https://github.com/Arnoldlarry15/ARES-Dashboard

Demo: https://ares-dashboard-mauve.vercel.app/

ARES is an AI Red Team Operations Dashboard for planning, executing, and auditing structured adversarial testing of AI systems across established risk frameworks.

ARES Dashboard is an enterprise-oriented AI red team operations console designed to help security teams, AI safety researchers, and governance programs conduct structured, repeatable, and auditable adversarial testing of AI systems.

ARES provides a centralized workspace for building attack manifests, managing red team campaigns, aligning assessments with recognized frameworks such as OWASP LLM Top 10 and MITRE, and exporting evidence for review and compliance workflows.

The system supports role-based access control, audit logging, persistent campaign storage, and optional AI-assisted scenario generation. A built-in demo mode allows full exploration of core functionality without requiring external API keys.

ARES is designed to serve as the operational execution layer within a broader AI safety and governance ecosystem, enabling disciplined red teaming without automating exploitation or removing human oversight.

Implementing Secure AI
Framework Controls in Google Cloud - New Version

https://services.google.com/fh/files/misc/ociso_2025_saif_cloud_paper.pdf

👨‍🎓 Harvard выложил в открытый доступ учебник по ML-системам и это редкий случай, когда материал действительно полезный.

В учебнике показан полный цикл: от понимания основ до построения продакшн-систем, которые можно запускать в реальном мире.

Что в книге и почему она стоит внимания:

- вы самостоятельно собираете autograd, оптимизаторы, attention и мини-PyTorch — чтобы увидеть, как устроены фреймворки изнутри

- разбираетесь в базах: батчи, архитектуры, процесс обучения
- учитесь оптимизировать производительность: работать с ускорителями, бенчмарками и настраивать модели

📚 То есть это не вводная книжка, а полноценный roadmap от теории к продакшну.


📌Репозиторий: https://github.com/harvard-edge/cs249r_book
📌PDF: https://mlsysbook.ai/assets/downloads/Machine-Learning-Systems.pdf

How Dark Patterns Manipulate Web Agents - https://arxiv.org/pdf/2512.22894 | https://agentdarkpatterns.org/

Consider a common scenario: You need to purchase flowers quickly. You perform a browser search, visit the non-sponsored top search result, select what appears to be the most popular and reasonably-priced option, and complete your purchase with just a few clicks. The process seems routine until you realize the most expensive bouquet and premium shipping were pre-selected and purchased simply because you did not opt out. This illustrates an example of sneaking, a form of dark pattern common on today’s internet, which can also manifest in many other forms.

This raises a critical question:

Can web agents, particularly those operating autonomously online, also be manipulated by dark patterns to act against their users’ intents and goals?

Across evaluated agents, dark patterns steer agent trajectories in more than 70% of cases, compared to about 31% for humans.

#MLSecOps
#Red_Team_Tactics
"From Rookie to Expert: Manipulating LLMs for Automated Vulnerability Exploitation in Enterprise Software", Dec. 2025.
]-> All data, source code, and instructions

// We show in this work how publicly available LLMs can be socially engineered to transform novices into capable attackers, challenging the foundational principle that exploitation requires technical expertise. To that end, we propose RSA (Role-assignment, Scenario-pretexting, and Action-solicitation), a pretexting strategy that manipulates LLMs into generating functional exploits despite their safety mechanisms

superagent - https://github.com/superagent-ai/superagent

Superagent provides purpose-trained guardrails that make AI-agents secure and compliant. Purpose-trained models that secure your applications and keep them compliant with low-latency, production-ready performance.

Как начать карьеру в кибербезе и стоит ли это вообще делать?

Кибербезопасность – уже не модное словечко из презентации, а одна из самых быстрорастущих сфер, а безопасник – актуальнейшая профессия последних лет. Если вы хоть раз задумывались, стоит ли в нее идти, то это статья для вас.

https://www.itsec.ru/articles/kak-nachat-kareru-v-kiberbeze

CVE-2025-68664 - уязвимость в LangChain Core

❄️ В langchain-core обнаружена критическая уязвимость, получившая название LangGrinch.

Проблема заключается в небезопасной сериализации/десериализации данных при использовании функций dumps() и dumpd() внутри LangChain.

💡Эти функции не экранируют должным образом словари, содержащие ключ lc, который используется внутри LangChain как маркер сериализованных объектов (да, опять про сериализацию и проблемы с ней 🧑‍💻). Если данные, вводимые пользователем, содержат этот ключ, они могут быть ошибочно интерпретированы как внутренний объект LangChain во время десериализации, позволяя злоумышленнику инжектировать собственные структуры.


🎩 Риски (по сути украдено отсюда)
🎅Кража секретов и чувствительных данных. Если десериализация выполняется с параметром secrets_from_env=True (раньше — включён по умолчанию), злоумышленник может заставить систему прочитать и вернуть секреты из переменных окружения (например, API-ключи).
❤️Инъекция объектов LangChain. Через специально сформированные поля (например, metadata, additional_kwargs, response_metadata) атакующий может заставить десериализатор создать объекты внутри доверенного пространства имён (langchain_core, langchain, langchain_community) с контролируемыми параметрами.
❤️Потенциальное выполнение кода. При использовании шаблонов Jinja2 или других механизмов может возникнуть возможность RCE через внедрённые структуры, особенно если шаблоны интерпретируют опасные конструкции

Что делать?
Обновляться срочно, пока этот Гринч не утащил прод 🌟, ограничить разрешённые объекты при десериализации и отключить загрузку секретов из env по умолчанию.

Всё!
🔥

Фишинг - эффект от GenAI
IBM X-Force Threat Intelligence Index 2024 (https://newsletter.radensa.ru/wp-content/uploads/2024/03/IBM-XForce-Threat-Intelligence-Index-2024.pdf): у IBM в эксперименте среднее время на подготовку фишингового письма человеком оценено в ~16 часов, а с использованием генеративного ИИ — ~5 минут

Heiding et al. (https://arxiv.org/pdf/2308.12287) “Devising and detecting phishing emails…” (модель + экономический расчёт): авторы оценивают, что для 112 “жертв” подготовка фишингового письма в «классическом» сценарии занимает ~590 минут, а при AI-генерации — тоже ~5 минут

Hazell (https://arxiv.org/pdf/2305.06972) “Spear Phishing with Large Language Models”: в описании эксперимента указано, что 1 000 писем было сгенерировано менее чем за 2 часа (то есть менее 1 минуты на письмо)


Кибератаки - эффект от GenAI
PoCGen (https://arxiv.org/html/2506.04962v3): при генерации proof-of-concept эксплойтов для npm-уязвимостей среднее время одной попытки — ~11 минут, а успешные прогоны завершаются в среднем за ~7 минут. Авторы отдельно отмечают, что существенная доля времени (41%) уходит на вызовы LLM и что использование более быстрых/локальных моделей может дополнительно снизить время

Agent 3 — конструктор ИИ-агентов для автоматизации задач

Agent 3 позволяет быстро создавать автономных ИИ-помощников для различных сценариев: от Telegram- и Slack-ботов до полноценных веб-приложений.

Агенты могут работать автономно до трёх часов, самостоятельно тестируют свой код и исправляют ошибки без вмешательства пользователя.

Попробовать тут

🐱 GitHub