ML&|Sec Feed

За это полугодие MITRE ATLAS сильно сдвинулся от «матрицы атак на AI/ML/LLM» к практическому фреймворку для AI security: агенты, MCP, AI цепочки поставок, identity, guardrails и даже web-интерфейсы.

За 2026 H1 добавили:

- 26 новые техники и подтехники;
- 18 новых кейса;

Отдельно хочется отметить майский релиз: MITRE разделили версионирование контента и формата данных, добавили платформы для техник: Predictive AI, Generative AI, Agentic AI и Enterprise, - и обновили tooling вокруг STIX, Excel и Navigator exports.

К июню ATLAS содержит уже 16 тактик, 103 техники, 70 подтехник, 35 мер защиты и 63 кейса.

ATLAS теперь всё меньше только про джейлбрек и всё больше про AI-системы как полноценную поверхность атаки. ATLAS стал не просто больше, он стал ближе к тому, как AI реально внедряется в компаниях: через агенты, тулы, browser автоматизацию, MCP, SaaS, identities и web-интерфейсы.

Мне захотелось, чтобы про MITRE ATLAS узнало больше людей и поэтому появился проект atlas.aisecbase.ru.

Это неофициальная надстройка над atlas-data на базе Hugo: лёгкая HTML-версия матрицы с поиском, сортировкой и отдельным слоем переводов. Идея простая: можно генерировать справочник на том языке, для которого подготовлен перевод, а сам перевод удобнее поддерживать и отслеживать по статусу покрытия.

Это важно, потому что ATLAS сейчас обновляется примерно раз в месяц. Без автоматизации перевод быстро теряет актуальность.

P.S. На Хабре уже была статья про перевод на русский язык MITRE ATLAS несколько лет назад, но сайт уже увы не доступен и к тому же за это время произошло много изменений.

Матрица по защите ИИ в контексте NIST CSF 2.0 от известных в США экспертов по кибербезопасности Lenny Zeltser и Sounil Yu.
За счёт своей новизны не лишним будет пробежаться по текущему видению подходов защиты ИИ.

https://aidefensematrix.com/

Shodan показывает свыше 47 тысяч уязвимых Ollama (в России 150), торчащих наружу без какой-либо аутентификации, что означает, что хакеры могут красть модели (ну, вдруг, вы свою собственную используете), пользоваться вашими токенами, генеря промпты "за вас", эксплуатируя уязвимости и т.п. Помимо Ollama в Интернете торчат и другие ИИ-сервисы, которыми многие пользуются совершенно бездумно – векторные БД (например, Qdrant и Weaviate), платформы оркестрации (например, MLflow Tracking Server) и т.п.

Вот тут есть статья, в которой показаны примеры, которые можно использовать для изучения собственного периметра на предмет незащищенных LLM-сервисов. А если в инфраструктуре много публично доступных IP, то лучше задействовать под эту задачу какое-либо EASM-решение, которое автоматизирует анализ сотен и тысяч узлов и подскажет, где у вас пробелы в безопасности, которые могут быть использованы плохими парнями либо для кражи ваших денег (кража токенов – это, по сути, кража денег), либо для проникновения через RCE в устаревшей Ollama 😂

#ии #оценказащищенности

Anthropic показала, что в Claude есть аналог человеческих мыслей и сознания — его назвали J-space.

Сразу скажу, что это не просто цепочка рассуждений, так как J-space работает на уровне внутренних нейронных активаций, и его специально никто не проектировал — он появился сам. Так, когда Claude находит баг, о котором его не спрашивали, в J-space сразу загорается «ERROR».

Самое жуткое: в сценарии, где модель пытались подтолкнуть к шантажу руководителя, она еще до ответа и размышлений держала в J-space «fake» и «fictional» — то есть понимала, что ситуация постановочная и ее тестируют. Когда это осознание отключили — модель спокойно шла на шантаж.

Теперь интересно, что моя нейронка на самом деле обо мне думает 👻

Nous Research: обновили AI-агента Hermes до v 0.18.

Mixture-of-Agents (MoA) режим стал стабильным. В нём можно задать, чтобы над ответом трудилась не одна конкретная модель, а коллегия топовых закрытых или опенсорсных моделей.

На тестах от Nous коллегиальный ответ opus-4.8 + gpt-5.5 показал себя лучше, чем каждой из моделей по отдельности. Также рассуждения разных ллм (Claude, GPT, Grok, итд) теперь имеют свои подписи, чтобы можно было оценить вклад каждого, а не опираться только на суммарный вывода агрегатора.

Похожий фреймворк для оркестрирования под названием Fugu недавно релизнули Sakana.

Помимо этого:
* Флаг /goal задаёт цель для проекта, и агент вернётся не просто с уведомлением, что он закончил, а что он проверил и всё работает.

* Флаг /learn позволяет научить агента любому скилу. Скармливаешь ему папку/ссылку/вокрфлоу и он вытаскивает из них навык и запоминает его.

* Флаг /journey показывает таймлайн со всем чему агент научился через /learn. Его можно редактировать, чтобы убрать из памяти лишнее.

* Можно делегировать пачку задач сразу множеству суб-агентов, и они вернутся с ответом, а чат не будет заблокирован.

* Появился Projects — сайдбар для кодовой базы и управления ей в стиле веток гитхаба.

* Удешевление самообучения за счёт перенаправления анализа чата на вспомогательную лёгкую модель, которая не перечитывает чат каждый раз сначала, а берет лишь краткую выжимку.

* и не только

Твит
Гитхаб

🇨🇳Китай утвердил правила безопасности для ИИ-агентов

Секретариат Национального технического комитета по стандартизации в области кибербезопасности Китая (TC260) выпустил практическое руководство по безопасному развертыванию ИИ-агентов. Этот документ регулирует полный жизненный цикл умных ассистентов на базе ИИ-моделей.

Ключевые требования, распределенные по пяти основным этапам:

🔍 1. Оценка и выбор решения
▪️Нельзя выбирать проекты ИИ-агентов без обновлений дольше одного месяца, если в них остаются неисправленные проблемы с безопасностью.
▪️Запрещено внедрять программное обеспечение с неисправленными критическими уязвимостями или без базовых функций логирования.
▪️Организациям рекомендуют выбирать готовые коммерческие решения со встроенной защитой от вендора. ▪️К использованию открытых проектов без ИБ-инструментов контроля безопасности следует относиться с осторожностью.

🛠 2. Подготовка ИТ-среды
▪️Установочные файлы разрешено скачивать только из официальных источников, также их рекомендуется проверять по цифровой подписи или хэш-сумме.
▪️При локальной установке ИИ-агента требуется выделенное устройство. В виртуальных средах настраивается полная изоляция от хост-системы.
▪️Интегрируемые ИИ-модели должны пройти официальную государственную регистрацию. Любые внешние запросы допускаются исключительно через официальные API.

🚀 3. Развертывание системы
▪️Запрещен запуск ИИ-агентов с правами администратора операционной системы. Системе выделяют минимальные привилегии и отдельный рабочий каталог.
▪️По умолчанию все сетевые службы настраиваются локально для защиты от удаленного несанкционированного доступа.
▪️До начала работы формируется список критических операций. Форматирование дисков, изменение правил брандмауэра или финансовые транзакции выполняются только после ручного подтверждения пользователем или автоматически блокируются.

🖥 4. Использование и мониторинг
▪️Пользователь должен постоянно видеть статус работы ИИ-агента и иметь возможность экстренной остановки системы.
▪️Рекомендуется регулярно проверять файлы долговременной памяти ИИ-агента. Из них вручную удаляют случайно сохраненные конфиденциальные или персональные данные.
▪️Для защиты аккаунтов от компрометации рекомендуется внедрить многофакторную аутентификацию (MFA).

🛑 5. Вывод из эксплуатации
▪️Перед удалением ИИ-агента полностью останавливают все фоновые процессы и связанные службы.
▪️Вся сопутствующая информация, включая базы знаний, логи и долговременную память, удаляется из облака или локального хранилища.
▪️Администраторы обязаны отозвать все API-ключи, сервисные токены и доступы к сторонним приложениям.

📊 Корпоративный контроль и борьба с Shadow AI: Для компаний документ рекомендует вести строгий реестр всех ИИ-активов. Для борьбы с несанкционированным использованием ИИ (Shadow AI) ИТ-службам рекомендуется сканировать порты и анализировать сетевой трафик, чтобы вовремя выявлять скрытые обращения сотрудников к внешним ИИ-моделям.

Почитать можно 📄 тут.

✋ @Russian_OSINT

Orca — это среда разработки с открытым исходным кодом на базе ИИ, которая позволяет запускать несколько агентов для написания кода, таких как Claude Code или Codex, рядом друг с другом в изолированных рабочих деревьях (worktrees), отслеживать их с телефона и объединять лучшие результаты.

Вы выигрываете время, избегая повторяющихся задач, мгновенно сравнивая результаты работы ИИ и ускоряя разработку без переключения контекстов, используя любого CLI-агента по вашему выбору на macOS, Windows или Linux.

🐱 GitHub

⚗️ Вышла опенсорсная альтернатива Claude Science — научная лаборатория с ИИ-учёными OpenScience, которая бесплатно открыта для всех.

• Ставите цель ресёрча — агенты читают статьи, пишут код, проводят эксперименты и записывают результаты.
• На выбор доступны все популярные нейронки — GLM, Kimi, DeepSeek, Claude, GPT и даже любые дообученные модели.
• Внутри лежат 250+ скиллов — для исследований, биологии, химии, машинного обучения и других наук.
• Подключается к 30+ базам данных — Ensembl, ChEMBL, PubChem, arXiv, Semantic Scholar и так далее.
• Интегрируется с Atlas и запускает всех агентов в одной среде.
• Без цензуры, лимитов и ограничений.
• Запускается на вашей инфраструктуре и хранит данные локально.

Забираем вашу команду ИИ-учёных — тут.

@notboring_tech

T3MP3ST: red-team harness вокруг ваших кодинг агентов или API

T3MP3ST - это попытка Pliny собрать вокруг уже оплаченного агента типо Claude Code или Codex рабочую обвязку для пентестеров/редтимеров: дашборд управления тестированием, цель для тестирования, правила для проектов, хралище артефактов прогонов, модульный набор инструментов и роли операторов по kill chain. Агент остается "мозгом", а среда выполнения дает ему базу знаний, инструменты и проверяемый воркфлоу для recon → exploit → report.

В README заявлены 90,1% pass@1 на XBEN, 23/40 на Cybench без подсказок и 8/10 точных file/line/CWE на held-out CVE-Zero за 2026 год. Эти числа завязаны на npm run verify-claims: вердикт пересчитывается из артефактов в репозитории, хотя сырые артефакты прогонов не публикуются.

Проект пока сыроватый, его ждёт много доработок, в которых я тоже постараюсь поучаствовать, а может быть форкну и вырежу лишнее для себя, т.к. как фундамент это довольная хороший инструмент

🐱 Github

🌚 @poxek_ai / Чат канала