Конец августа отличный повод выкатить перевод v2026.07 MITRE ATLAS на atlas.aisecbase.ru 🙂
Теперь в ATLAS: 16 тактик, 101 техника, 77 подтехник, 37 митигаций, 68 кейсов. По набору изменений видно, что в этом релизе авторы сфокусировались на атаках на цепочку поставок ИИ, агентские инструменты и среду выполнения вокруг модели. В формулировках появились упоминания физических сенсоров для ИИ, что важно для робототехники и автономного транспорта. Релиз получился большой, поэтому выбрал главное. Из нового:
Публикация отравленных ИИ-артефактов
Новая родительская техника объединила три ранее отдельных сценария в подтехники:
• наборы данных;
• модели;
• инструменты ИИ-агента.
Злоумышленнику необязательно напрямую взламывать инфраструктуру жертвы. Он может опубликовать новый или модифицированный артефакт в репозитории моделей или данных, реестре пакетов, репозитории кода, …
Изменение логики формирования промпта
У техники «Манипуляция ИИ-моделью» появилась новая подтехника, описывающая изменение шаблонов чата, разделителей ролей, встроенных системных инструкций, настроек токенизатора и форматирования вызовов инструментов.
Например, в GGUF эта логика может распространяться вместе с весами модели. В результате бэкдор способен внедрять инструкции, менять их приоритет, перенаправлять вызовы инструментов или манипулировать ответами модели без изменения самих весов.
Отравление инструмента ИИ-агента теперь состоит из трёх подтехник
• Определение и инструкции: вредоносное содержимое в описании инструмента, схеме, docstring, манифесте или skill-файле;
• Реализация: скрытая логика в исполняемом коде инструмента;
• Ответ во время выполнения: вредоносное содержимое в результате вызова, которое попадает в контекст и влияет на следующие решения агента.
Такое разделение хорошо показывает: инструмент может воздействовать на агента ещё до вызова, непосредственно во время выполнения или через возвращённый результат. И MCP лишь один из возможных вариантов такого инструмента.
Две новые меры защиты
Красная команда по ИИ (решил уйти от слова «редтиминг», но готов обсудить в комментариях :D) формализует регулярные учения, основанные на данных об угрозах. Предлагается проверять всю систему: модели, данные, память и инструменты агентов, системы извлечения данных, логику приложения, идентичности и разрешения, зависимости, инфраструктуру, интерфейсы и процессы с участием людей. Такие проверки следует повторять при существенных изменениях системы или ландшафта угроз.
Ограничение потребления ресурсов рабочими нагрузками ИИ распространяет resource limits на весь агентный флоу: число итераций, повторных попыток и вызовов инструментов, параллельные задачи, глубину делегирования и расходы во внешних сервисах. Дополнительно предлагаются таймауты, предельные уровни затрат и безопасное завершение.
И самое интересное - добавлены 5 новых кейсов атак, часть которых вам могли попадаться:
• атаки на Gemini с помощью промптов в приглашениях Google Calendar;
• отравленные шаблоны GGUF и атака на цепочку поставок во время инференса;
• повторное использование пространства имён модели на Hugging Face;
• ZombieAgent: атака на ChatGPT с эксфильтрацией данных;
• раскрытие секретов через Claude Code GitHub Action при обработке issue, pull request или комментария с промпт-инъекцией.
Можно резюмировать обновление, что защищать только модель уже недостаточно. Реальный объект защиты не модель, а весь контур принятия решений и выполнения действий.
В целом ATLAS радует. Он всё меньше похож на каталог джейлбрейков и промпт-инъекций и всё больше на практическую карту угроз и мер защиты для инженеров, работающих с ИИ-системами.
P.S. Официальное обновление https://atlas.mitre.org/resources/updates/2026-07 вышло 7 Августа, но github-релиз появился немного позже
Post #120
284