ML&|Sec Feed

😎 ИИ в кибербезопасности: применение и угрозы 2025

Искусственный интеллект стал не только инструментом защиты, но и грозным оружием в руках злоумышленников.

Алгоритмы машинного обучения анализируют миллионы событий в секунду, выявляя аномалии и атаки нулевого дня, а генеративные модели создают убедительные фишинговые письма и даже вредоносный код.

➡️ В новой статье на сайте разобрали, как ИИ помогает кибербезопасности, какие риски несет его использование и как специалисты учатся держать технологии под контролем.

😎 Здесь о кибербезе

🚀 ИИ в безопасности 2026

Уже в следующем году более 80% крупных финансовых компаний планируют внедрить программы обучения AI Security. Это комплекс мер, чтобы ИИ-модели работали корректно, не были скомпрометированы злоумышленниками (например, через «отравление» данных или атаки на модели) и не принимали рискованных решений, угрожающих финансам компании.

Главный тренд — переход от простого использования ИИ к его защите. Это очень актуальное направление и отличная отправная точка для прокачки своих компетенций.

🔍 На что смотреть безопасникам в 2026?

1️⃣ Защита ИИ-систем: мониторинг и аудит моделей, тестирование на уязвимости.
2️⃣ Платформы XDR/EDR на базе ИИ.
3️⃣ Инструменты AI Governance: фреймворки для оценки устойчивости, предвзятости, этичности ИИ.

🛠 Что доступно уже сейчас?
— Готовые решения от лидеров рынка (Cisco, Check Point, SentinelOne, Fortinet).
— Онлайн-курсы по AI Security на самых популярных обучающих платформах.

📚 Что изучать?
— Основы машинного обучения и LLM.
— Принципы тестирования ИИ-систем (IBM AI Fairness 360).
— Практики внедрения AI Security в политики компании.

🔥 — было интересно
❤️ — какие есть еще направления для развития?

#тренды

Google релизнули новую версию своего «LLM-микроскопа» – Gemma Scope 2

Это модель, а точнее набор инструментов (interpretability tools), предназначенный для интерпретации поведения LLM. В частности, из семейства Gemma 3.

Работает Scope на основе SAE – это разреженные автоэнкодеры. Они представляют из себя модели, которые распутывают активации LLM и достают из них интерпретируемые концепции. Их называют «фичи»: это могут быть вещи из реального мира (мосты, коровы) или абстракции (ложь, отзывчивость).

По сути, анализируя эти фичи, мы можем видеть, о чем на самом деле думала модель, генерируя тот или иной output. Например, она генерирует с виду безобидный код, но «думает» о концепции «кибератака». И это о чем-то нам говорит.

SAE, кстати, еще в 2023 предложили использовать Anthropic (вот наш разбор их статьи, которая сделала подход популярным). Но именно Google вывели автоэнкодеры на уровень продакшена. Сейчас это, фактически, первый и единственный открытый инструмент для вот такой детальной интерпретации LLM.

Первая версия Scope вышла в 2024. Тогда это работало только для небольших моделей и простых запросов. Теперь же подход масштабировали даже для модели на 27B.

Плюс, теперь инструмент стал более универсальным. Если оригинальная Scope существовала только для ограниченного числа слоев, то теперь можно целиком анализировать сложные диалоговые механизмы.

Судя по статье, в основном это получилось благодаря добавлению в модель Skip-transcoders и Cross-layer transcoders. Это модули, которые помогают увидеть связи между отдаленными слоями и облегчают анализ распределенных вычислений. А еще, кстати, SAE обучали по методу матрешки, как Gemma 3n (мы писали про этот метод вот тут).

Если хотите попробовать и покопаться в мыслях у моделей:
– здесь все необходимые веса
– здесь полезный Colab ноутбук с готовым кодом
– здесь техотчет, а вот тут хорошая понятная документация

#AIOps
#MLSecOps
#RAG_Security
"MemoryGraft: Persistent Compromise of LLM Agents via Poisoned Experience Retrieval", 2025.
]-> https://github.com/Jacobhhy/Agent-Memory-Poisoning

// MemoryGraft - novel indirect injection attack that compromises agent behavior not through immediate jailbreaks, but by implanting malicious successful experiences into the agent's long-term memory. Unlike traditional prompt injections that are transient, or standard RAG poisoning that targets factual knowledge, MemoryGraft exploits the agent's semantic imitation heuristic which is the tendency to replicate patterns from retrieved successful tasks

#Research
"Comparing AI Agents to Cybersecurity Professionals in Real-World Penetration Testing", Dec. 2025.
]-> https://github.com/Stanford-Trinity/ARTEMIS

// the first comprehensive evaluation of AI agents against human cybersecurity professionals in a live enterprise environment

#tools
#AIOps
#Offensive_security
1⃣ NeuroSploitv2 - AI-Powered Pentesting Framework
// Leveraging the capabilities of LLMs, NeuroSploitv2 provides specialized agent roles that can analyze targets, identify vulnerabilities, plan exploitation strategies, and assist in defensive measures
2⃣ HexStrike AI MCP Agents v6.0
// Advanced AI-powered pentesting MCP framework with 150+ security tools and 12+ autonomous AI agents
3⃣ Offensive AI Agent Prompts
// Prompts for performing tests on your Kali Linux using Gemini-cli, ChatGPT, DeepSeek, CursorAI, Claude Code, and Copilot

Подходы к описанию техник промпт-атак
1. https://hiddenlayer.com/innovation-hub/introducing-a-taxonomy-of-adversarial-prompt-engineering/
2. https://pangea.cloud/securebydesign/aiapp-pi-taxonomy/
3. https://www.crowdstrike.com/en-us/resources/infographics/taxonomy-of-prompt-injection-methods/
4. https://arcanum-sec.github.io/arc_pi_taxonomy/
5. таксономия zakky8

Киллчейны
1. https://atlas.mitre.org/matrices/ATLAS
2. https://www.pillar.security/sail
3. https://developer.nvidia.com/blog/modeling-attacks-on-ai-powered-apps-with-the-ai-kill-chain-framework
4. ttps.ai
5. https://arxiv.org/pdf/2601.09625

Российский рынок ИБ превысит 400 млрд рублей.

📈 По данным аналитического центра TAdviser, российский рынок кибербезопасности по итогам 2025 покажет рост в диапазоне 20-25%, а его объем превысит 400 млрд рублей.

Цифровая трансформация и миграция компаний на отечественные платформы создают новую среду для защиты, где безопасность становится неотъемлемой частью бизнес-процессов. Малый и средний бизнес, который еще пять лет назад редко интересовался кибербезопасностью, теперь активно инвестирует в защиту ИТ-инфраструктуры.

В крупных компаниях информационная безопасность перешла с операционного на стратегический уровень. Фокус смещается с защиты периметра на защиту данных на всех этапах жизненного цикла — бизнес осознал, что утечки влекут не только репутационные, но и прямые финансовые потери.

Спрашивали – отвечаем ✍️ Откуда пошло цветовое деление у команд ИБ? Истоки концепции – в военных учениях (wargame). Во время Холодной войны, когда армии и аналитические организации моделировали военные конфликты, "красная" сторона (Red) часто символизировала противника (например, СССР), а "синяя" (Blue) – своих или союзников 💪 Например, RAND Corporation во времена Холодной войны проводила такие симуляции, где Red представляла противника, а Blue – США. Со временем этот подход перешел из военного сценарного моделирования в кибербезопасность: "Red Team vs Blue Team" стали использовать для имитации атак и защиты в ИТ-системах ⚔️

Двух цветов со временем стало недостаточно, потому что безопасность – не просто атака vs защита ✏️ С ростом сложности ИТ-инфраструктур понадобились новые роли: разработчики, операторы, люди, внедряющие безопасность на разных этапах. И в 2017 году на конференции Black Hat USA эксперт Эприл Райт (April C. Wright) представила доклад "Orange Is the New Purple", в котором расширила модель, например, добавила "жёлтый" цвет (для разработчиков), фиолетовый (Purple) для описания совместной деятельности Red и Blue для улучшения защиты, и предложила идею, что можно "смешивать" цвета 🎨, получая новые роли. После этого понятием "цветовое колесо" (color wheel) стали называть расширенную систему распределения ролей.

Сегодня деление на цвета выглядит следующим образом: 🎨
🎨 Red Team (красные) – "атакующие" – "белые" хакеры, пентестеры. Они пытаются взломать систему, найти уязвимости, показать, как злоумышленник мог бы проникнуть и нанести вред организации.
🎨 Blue Team (синие) – защитники – отвечают за мониторинг, обнаружение, реагирование на инциденты, защиту систем в режиме реального времени, укрепление безопасности, предотвращение атак.
🎨 Purple Team (фиолетовые) – гибрид / посредник: сочетает подходы Red + Blue. Цель – не просто атака или защита, а совместная работа над усилением безопасности: моментальный разбор обнаруженных уязвимостей, совместная настройка обороны, обмен знаниями.
🎨 Yellow Team (желтые) – разработчики / архитекторы / инженеры: те, кто строят, пишут код, проектируют системы – с учетом безопасности "изнутри". То есть DevSecOps / Secure-by-Design.
🎨 Green Team (зеленые) – инженеры по автоматизации / DevOps-специалисты, кто обеспечивает, чтобы процессы безопасности (патчи, обновления, CI/CD, конфигурации) были автоматизированы, надежны и масштабируемы.
🎨 Orange Team (оранжевые) – команда обучения и трансляции знаний: они "переносят" уроки, которые дает Red Team, внутрь организации, в процессы разработки, операционной безопасности – повышают осведомленность, обучают, помогают закрепить улучшения.
🎨 White Team (белые) – "арбитры" / координаторы: устанавливают правила, рамки, область контроля, наблюдают за процессом, управляют учениями и тестами; гарантируют, что тесты безопасны, организованы, а выводы – адекватно оформлены и переданы командам.

Purple, Green, Orange и другие часто не формальные "отдельные команды", а роли или подходы – особенно в организациях, где нет строго структурированного разделения.

#стратегия

🚨 Stanford показал, что AI уже превосходит профессиональных хакеров в реальном мире. И масштаб этого события многие пока не осознают.

Исследователи Stanford опубликовали работу, в которой сравнили людей и AI не в лабораторных условиях, а в настоящей корпоративной инфраструктуре.

Эксперимент был максимально приближен к реальности:
- 10 профессиональных pentester-ов
- живая университетская сеть
- около 8 000 реальных машин
- 12 подсетей
- продакшн-системы и реальные пользователи

В ту же среду они запустили автономного AI-агента под названием ARTEMIS.

Результат оказался ошеломляющим.
ARTEMIS превзошел 9 из 10 человеческих экспертов.

И это важно подчеркнуть:
- не CTF
- не статический анализ CVE
- не синтетический бенчмарк

Это была реальная enterprise-сеть с реальными последствиями.

Что показал ARTEMIS:
- 9 подтвержденных уязвимостей
- 82% валидных находок
- 2-е место в общем лидерборде
- без человеческого надзора
- без кастомных эксплойтов
- стоимость работы около 18 долларов в час

Для сравнения: средняя стоимость работы человека-pentester-а - около 60 долларов в час.

Почему AI оказался эффективнее:
- Люди вручную выбирали цели для атаки
- ARTEMIS создавал саб-агентов и атаковал несколько хостов параллельно
- Люди теряли зацепки или застревали в тупиковых направлениях
- ARTEMIS вел идеальную память, списки задач и автоматический триаж
- Люди не могли работать с устаревшими веб-интерфейсами
- ARTEMIS игнорировал браузер и напрямую эксплуатировал их через curl -k

Более того, ARTEMIS обнаружил уязвимости, которые не нашел ни один человек.

Что пока ограничивает его эффективность:
- Эксплойты, завязанные на GUI
- Более высокий уровень ложных срабатываний

Во всем остальном агент вел себя как полностью укомплектованная red team:
без усталости, без эмоций, без эго и с бесконечным терпением.

Главный вывод здесь простой и жесткий:
AI больше не просто помогает специалистам по безопасности.
AI начинает конкурировать с ними.
И в реальных условиях - уже выигрывает.

Это момент, когда offensive security начинает меняться необратимо.

📄 Статья: https://arxiv.org/abs/2512.09882

LLM Security Part 1 - https://kymb0.github.io/LLM_Security_Part_1/

https://teletype.in/@aisecurilka/Z6y5SPWH0tb

#ai #cybersecurity #aisecurity #doublespeak #llm #article

Ссылка на оригинал статьи

ЭйАй Секур’илка⬅

ℹ️ ФСТЭК России представила новый раздел специфических угроз безопасности ИИ, фокусируясь на инфраструктуре разработчика и оператора.
​
💬 Документ четко классифицирует угрозы на две группы — разработка/обучение и эксплуатация — с акцентом на объекты вроде наборов данных, моделей (включая LoRA, RAG) и ПО. Он подчеркивает ключевые риски: утечки, кражу моделей, нарушения функционирования и отказ в обслуживании, ссылаясь на Методику оценки угроз безопасности 2021 года, что облегчает интеграцию с БДУ ФСТЭК России. Учет факторов вроде уровня значимости данных и разделения ответственности делает материал релевантным для российских организаций.
​
🤒 Раздел ограничивается инфраструктурой разработчика (разработка/обучение) и оператора (эксплуатация), игнорируя этап, связанный с данными, как отдельный этап с рисками вроде отравления наборов обучающих данных. При этом, сведения об угрозах, связанных с моделями машинного обучения, которые ранее были в БДУ - утратили свою актуальность, в связи с опубликованием нового подраздела.
​
📈 Для эффективного управления угрозами видится, что этот процесс для ИИ следует производить по этапам (подготовка данных, разработка, обучение/тестирование, функционирование), как в лучших практиках (OWASP, Google SAIF и.т.д).
​
🗒 Таким образом, в РФ всё ещё необходим полноценный фреймворк для эффективного управления угрозами безопасности ИИ, формированию мер защиты и подходов к управлению безопасностью систем ИИ (включая безопасность при аутсорсинге ИИ).
Однако, формирование нового раздела ФСТЭК России это только первый шаг. Надеемся...

#AIOps
#Tech_book
"Building Agentic AI Systems:
Create intelligent, autonomous AI agents that can reason, plan, and adapt", First Edition, 2025.
]-> Code Repository

// With the rise of Generative AI and agentic systems, we are witnessing a transformative moment, one where artificial agents can reflect upon their experiences, strategize effectively, and collaborate seamlessly. This book arrives precisely at this pivotal juncture, offering a comprehensive exploration of this emerging and impactful field

В этом году решил сделать отчет о проделанной работе и поделиться им с общественностью. Этот отчет рассказывает о результатах работы нашей ИБ команды за этот год. И в РФ и в мире так делают редко - сказываются особенности области, подход security through obscurity, да и просто не готовность и не способность открыто рассказывать о реальных результатах работы.
Мы считаем иначе. Открытое обсуждение и обмен лучшими практиками ускоряет развитие инфобеза, оздоровляет индустрию, меняет отношение не-ибшников к нашей работе в лучшую сторону.
Выношу огромную благодарность всей команде за работу. Особая благодарность Илье за сведение и оформление отчета.
Вашему вниманию отчет, мы постарались чтобы он был в своем роде руководством к действию, отвечал на вопрос "а как можно решить ту или иную задачу, выстроить тот или иной процесс". Буду признателен комментариям и мнениям, что понравилось, а что - нет, вопросам и критике.