ML&|Sec Feed

A2A Security Scanner

Всем привет!

Безопасность Agent-to-Agent взаимодействий становится все более и более актуальной задачей.

Если что-то «пойдет не так», то могут случиться разные последствия: кража ценной информации, повышение привилегий, подмена артефактов, prompt-injection атаки и многое другое.

Для анализа A2A можно воспользоваться open-source решением от Cisco – A2A Security Scanner.

Из основных функций можно выделить:
🍭 Множество специализированных анализаторов: YARA-правила, идентификация угроз с LLM, использование эвристики и не только
🍭 Покрытие множества A2A угроз
🍭 Наличие API и CLI для реализации интеграций и не только

Подробнее со сканером (в том числе с видами угроз, которые он может идентифицировать) можно ознакомиться в GitHub-репозитории и в статье от Cisco, где они его анонсировали.

🚀 Новый подход к условной памяти: Engram от DeepSeek 🧠

💡 DeepSeek представил новую работу, посвященную решению проблемы эффективного хранения и извлечения знаний в больших языковых моделях (LLM).

Проще говоря, это попытка дать модели «встроенную энциклопедию», к которой она может обращаться мгновенно, освобождая вычислительные ресурсы для сложных рассуждений.

🔍 В чём проблема современных LLM?
Современные большие модели вроде GPT-4 или Gemini используют смесь экспертов (MoE) для экономии вычислений. Это называется «условные вычисления»: для каждого запроса активируется только часть параметров модели.

Но у Transformers до сих пор нет эффективного встроенного механизма для быстрого поиска готовых знаний. Модели вынуждены «изображать» поиск по памяти через медленные последовательные вычисления.

💡 Решение от DeepSeek: Engram
Новый модуль Engram — это и есть та самая «условная память». Его задача — хранить статические знания (факты, шаблоны) отдельно от динамической логики рассуждений.

Как это работает (упрощённо):
1. Для текущего слова или фразы (N-gram) модель вычисляет уникальный хэш (цифровой отпечаток).
2. По этому хэшу из специальной таблицы (памяти Engram) мгновенно (O(1)) извлекается заранее сохранённый вектор знаний.
3. Этот вектор корректируется с учётом контекста и добавляется к основным вычислениям модели.

📈 Экспериментальные результаты:
- Engram-27B и Engram-40B показали значительное улучшение на различных бенчмарках, включая MMLU (+3.4), CMMLU (+4.0), BBH (+5.0), ARC-Challenge (+3.7) и другие.
- В задачах с длинными контекстами, Engram также демонстрирует превосходство, например, точность Multi-Query NIAH увеличилась с 84.2 до 97.0.

🚀 Что это значит?
Работа явно указывает на архитектуру DeepSeek v4. Это будет гибридная модель, сочетающая:
1. Условные вычисления через MoE (для эффективности).
2. Условную память через Engram (для знаний и скорости их извлечения).

GitHub

#КитайскийИИ #КитайAI #УсловнаяПамять #Engram

LoRA-as-an-Attack! Piercing LLM Safety Under The Share-and-Play Scenario
https://arxiv.org/html/2403.00108v1

LoRATK: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem
https://arxiv.org/html/2403.00108v2

Attack on LLMs: LoRA Once, Backdoor Everywhere in the Share-and-Play Ecosystem
https://openreview.net/forum?id=0owyEm6FAk

LoBAM: LoRA-Based Backdoor Attack on Model Merging
https://arxiv.org/html/2411.16746v4

Causal-Guided Detoxify Backdoor Attack of Open-Weight LoRA Models
https://arxiv.org/html/2512.19297v1

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
https://arxiv.org/html/2507.18302

TrojanStego: Your Language Model Can Secretly Be A Steganographic Privacy Leaking Agent
https://aclanthology.org/2025.emnlp-main.1386.pdf

This Is How Your LLM Gets Compromised
https://www.trendmicro.com/en_us/research/25/i/prevent-llm-compromise.html

How private are your chat adapters? Evaluating the privacy of LoRA fine-tuned large language models with membership inference attacks
https://www.spiedigitallibrary.org/conference-proceedings-of-spie/13476/1347608/How-private-are-your-chat-adapters-Evaluating-the-privacy-of/10.1117/12.3053265.short

ИИ помощники для изучения и анализа научных статей

В 2026 постараюсь больше уделять время и публиковать интересные исследования. А пока полезное — всем, кто тоже любит читать отчёты, попробуйте использовать ассистентов 👇🏼

✦ HuggingChat
На днях Hugging Face внедрили своего ассистента HuggingChat в раздел Papers. Теперь по научным публикациям можно получать выжимку, объяснения, искать нужные данные прямо на странице статьи ✍🏼

✦ ArXiv Research Agent
Research Agent даёт объяснения и краткие изложения к статьям, есть персональные рекомендации по интересам. Также находит публикации с arXiv, bioRxiv, medRxiv и Semantic Scholar, проводит обзор и предлагает инсайты 😎

#полезное@EF9MERA
EFEMERA

⚠️🤖🚨 В 2025 году будут актуальны 11 видов атак на ИИ в реальном времени, включая прямые и косвенные инъекции, скрытые атаки и мошенничество с подделкой личностей. Злоумышленники используют приемы, которые обходят традиционные средства защиты. Главная задача для ИТ-безопасности — автоматизировать обновления, отслеживать контекст диалогов и защищать данные на всех этапах взаимодействия с ИИ.

Подробнее

☝️ T2F News | ✍️ Канал про AI

Взгляд из 1983 года на возможные каналы утечки информации из автоматизированных систем. От разгадывания паролей до использования программ-лазеек.

(Из учебного пособия Московского энергетического института «Защита информации в автоматизированных системах обработки данных и управления» под авторством Владимира Герасименко и Владимира Мясникова.)

DevSecOps Assessment Framework для ML от "Инфосистемы Джет"

🔍 Что это и зачем это нужно?

Недавно команда "Инфосистемы Джет" выпустила DevSecOps Assessment Framework для ML. Это подробная модель зрелости процессов безопасной разработки систем искусственного интеллекта.

В ней структурированный чек-лист/дорожная карта, которая помогает понять, на каком уровне находится ваша организация в части MLSecOps: от базового контроля зависимостей до продвинутой защиты от специфических угроз ИИ.

🛡 Основные положения фреймворка

• Контроль зависимостей, артефактов и SBOM/ML-BOM
• Защита сред разработки, секретов, CI/CD и SCM
• Анализ и очистка обучающих/валидационных данных (отравление, PII, jailbreak в RAG)
• Динамическое тестирование LLM на jailbreak, prompt injection и другие атаки
• Мониторинг, аудит и реагирование в продакшене
• Обучение команд требованиями ИБ

В документе в качестве примеров полезных инструментов для поиска уязвимостей в LLM упоминаются HiveTrace Red и Llamator — приятный комплимент инструментам сообщества 🤝

Если тема AI Security вам близка, рекомендуем изучить и использовать как чек-лист или дорожную карту для улучшений.

Ссылка на релиз:
https://github.com/Jet-Security-Team/DevSecOps-Assessment-Framework/releases/tag/2025.12.26

#MLSecOps #AISecurity #DevSecOps #LLMsecurity

Разбор Никиты Беляевского, разработчика HiveTrace Red (https://hivetrace.ru/red)

OpenRT - An Open-Source Red Teaming Framework for Multimodal LLMs github.com/AI45Lab/OpenRT | https://arxiv.org/abs/2601.01592

Features:

🔧 Modular Architecture: Plugin-based component registry with flexible composition

🎯 35+ Attack Methods: Covering both black-box and white-box attacks

🖼️ Multi-modal Support: Text and image attack vectors

📊 Comprehensive Evaluation: Keyword matching and LLM Judge evaluation

⚙️ Configuration-Driven: YAML config files for experiment definition

Ловите идеальный учебный стенд для LLM: полноценная лаборатория с веб-интерфейсом для тренировки, отладки и вивисекции языковых моделей 😊

Загружаешь текст, настраиваешь архитектуру и в реальном времени смотришь, как нейронка учится.

Что внутри:
— Визуальный контроль: в UI видно всё — графики лосса, карты внимания (attention maps) и даже то, с какой вероятностью модель выбирает следующий токен;
— Настраиваем BPE, играемся с размером словаря и смотрим, как текст превращается в цифры;
— GPT-архитектура: под капотом честная реализация трансформера, параметры которого (слои, головы, размер блока) можно крутить как угодно;
— Пайплайн сам хеширует датасеты, бьет на train/val и кеширует токены, чтобы не греть процессор зря.

Выращиваем карманный Skynet 😁

Unblink

📚 Раздел: #CCTV

📄 Описание:
Система интеллектуального видеонаблюдения работающая с видеопотоками в реальном времени (в текущей версии понимает RTSP и MJPEG). В качестве ИИ используются D-FINE для обнаружения и отслеживания объектов, SmolVLM2 и Moondream 3 для понимания контекста.

Основной функционал:
- Понимание контекста. Unblink понимает и описывает все что происходит.
- Обнаружение объектов на видео.
- Интеллектуальный поиск по всем видео потокам. Достаточно описать то, что вы хотите найти.
- Система оповещения на события через вебхуки, email и мессенджеры (в будущем)

💻 Платформа: Docker/macOS/Linux/Win

💳 Стоимость: Бесплатно.

Наткнулся тут на исследование "Frontier AI Trends Report" от AI Security Institute (AISI), где проанализированы реальные результаты тестирования передовых моделей ИИ за последние ~2 года. Он охватывает несколько сфер, в том числе и кибербезопасность. Главный вывод: современные модели ИИ существенно улучшили свои способности в задачах, связанных с ИБ 🙂

Если в начале 2024 г. такие системы могли справляться только с простыми "ученическими" 👶 задачами в сфере ИБ где-то в 10% случаев, то к концу 2025 года они выполняют такие задачи примерно в 50% случаев без помощи человека. Более того, впервые в 2025-м тестируемая модель смогла выполнить задачу экспертного уровня, то есть ту, которая традиционно требует десятилетнего опыта специалиста-человека 👨🏼

Речь пока не идет о полностью автоматическом взломе сложной сети, но о конкретных измеряемых аспектах разных киберзадач, например:
➡️ распознавание уязвимостей в коде,
➡️ обход некоторых элементарных проверок,
➡️ выполнение этапов, которые раньше считались прерогативой опытного профессионала 🤖

AISI замеряет, как ИИ способен выполнять "тяжелые" задачи без помощи человека, оценивая их в эквиваленте времени, которое бы на них потратил человек-специалист 🕙 По наблюдениям института безопасности ИИ за ~8 месяцев ИИ-возможности примерно удваиваются, то есть модели все чаще и успешнее справляются с более сложными кибер-задачами. А развитие возможностей – это не только польза, но и риск, потому что такие ИИ-системы потенциально могут облегчить работу атакующих, снизив барьер входа в сложные техники 😔

Также отчет отмечает, что:
➡️ при попытках "обойти защиту" (jailbreak) современные модели стали намного труднее взламывать, чем раньше – среднее время нахождения универсальной лазейки выросло от минут до часов, то есть примерно в 40 раз.
➡️ тем не менее в каждом тестируемом случае исследователи находили уязвимости – ни одна система пока не идеальна.
Это говорит о том, что разработчики активно работают над все новыми и новыми барьерами безопасности, но одновременно с ростом возможностей моделей растет и сложность защиты 🤖

Не могу сказать, что отчет как-то по-новому открыл глаза на применение ИИ в ИБ; он интересен анализом текущего уровня возможностей ИИ в ИБ. И, что интересно с практической точки зрения, оценкой удваивания возможностей ИИ каждые 8 месяцев 🤔

#ии #тенденции

Чуть обновил свой дашборд для удобного мониторинга AI и IT новостей:
https://shir-man.com/homepage/

– Теперь ленту можно настроить под себя и сделать все 3 колонки с текстом, например

– В источниках появился "Hype Replicate", о котором я писал пару дней назад – где тоже куча полезных новостей

– Можно подписаться на почтовую рассылку раз в неделю – и если мне не будет лень доделать эту фичу, то емейлы начнут приходить с самым AI-важным за неделю

– Добавил закладки, они сохраняются в браузере, и показываются в конце списка

Из хорошего – я его сам мониторю чтобы посты сюда писать

SecureML — это библиотека Python с открытым исходным кодом, которая интегрируется с популярными платформами машинного обучения, такими как TensorFlow и PyTorch.

Она предоставляет разработчикам простые в использовании утилиты, которые позволяют агентам ИИ обрабатывать конфиденциальные данные в соответствии с правилами защиты данных.

🐱 GitHub