#ai #security #llm #агенты #agent
♾️Кейсы♾️
➡️ McKinsey: автономный агент-пентестер нашёл в их системе классическую SQL-инъекцию. Через неё можно было подменять промт агента, который крутится поверх данных. Отравление + classic injection = полный compromise. Нашёл не человек - нашёл другой агент.
➡️ EchoLeak (CVE-2025-32711): zero-click в Microsoft 365 Copilot. Атакующий присылает письмо с prompt injection, пользователь просит Copilot сделать summary - данные утекают без единого клика. XPIA-классификаторы прошли мимо, потому что prompt был написан "для человека".
➡️ s1ngularity (NX, август 2025): supply chain на npm-пакет NX. Вместо того чтобы грепать диск, зловред натравливал
Claude Code, Gemini CLI и Amazon Q искать секреты. Первая AI-weaponized supply chain атака: ~2300 секретов из 1300+ репозиториев.♾️Главный тейк♾️
Промт и данные в LLM неразделимы. SQL можно изолировать программно, а LM останется уязвимой всегда: регулярки ловят ~50%, классификаторы ~25%, LLM-guard ещё ~15%. Оставшийся 1% с нами навсегда.
♾️Чек-лист на прод♾️
▪️Allowlist тулов + tool gating
▪️Разделение промта, памяти и данных в разных хранилищах
▪️Инвентаризация агентов и их исходящих коннектов
▪️Observability - логируй промты и tool calls
▪️Никакого выхода в интернет без прослойки
▪️Не доверяй
README, .env и RAG-чанкам▪️Red-teaming при каждой смене модели
▪️Мониторинг supply chain: MCP, скиллы, скачиваемые протоколы
Агенты разрешают всё по чуть-чуть: сначала read, потом create, потом delete. И вот ты уже доверил
rm -rf свежей модели на ноуте с продакшн-ключами.♾️Где это обсудить вживую♾️
22 апреля в Москве South HUB проводит клубную встречу "Кибербезопасность в эпоху AI-агентов". Формат - открытая дискуссия без докладов и слайдов. Среди спикеров Андрей Кузнецов (Head of ML, Positive Technologies) - один из участников того самого подкаста, Артём Гутник (CISO НСПК), Алексей Леднев (PT ESC) и Алексей Лукацкий. Рега ТУТ