SecureTechTalks

🧨 Black Hat USA 2026: какой будет кибербезопасность уже завтра?

Каждый август Black Hat становится местом, где впервые публично показывают исследования, которые через несколько месяцев превращаются в реальные инструменты атак и защиты. В этом году главная тема конференции, спойлер, AI-агенты.

Практически в каждом треке обсуждали уже не отдельные LLM, а автономные системы, способные самостоятельно искать уязвимости, атаковать инфраструктуру и принимать решения.

⚙️ Главные тренды Black Hat 2026

🔹 AI выходит в offensive security
Исследователи показали новые способы эксплуатации агентных систем, атак на AI-помощников разработчиков и автономный поиск цепочек эксплуатации.

🔹 GitHub становится новой конечной точкой
Отдельные доклады были посвящены обнаружению компрометации по собственным событиям GitHub, защите CI/CD и борьбе с атаками на цепочки поставок ПО.

🔹 Cloud и Agent Security окончательно объединились
В центре внимания оказались атаки на Cloudflare Workers, Kubernetes, MCP и облачные AI-платформы, где компрометация агента уже означает компрометацию инфраструктуры.

🔹 Криптография снова в центре внимания
На конференции представили новые исследования криптоанализа, безопасности библиотек шифрования и практических атак на современные криптографические реализации.

🔗 Конференция: https://www.blackhat.com/us-26/

🔗 Arsenal (инструменты конференции): https://www.blackhat.com/us-26/arsenal-overview.html

Stay secure and read SecureTechTalks 📚

#кибербезопасность #BlackHat #BlackHat2026 #AI #LLM #AgenticAI #AISecurity #AppSec #CyberSecurity #SecureTechTalks

🧨 Future AGI: Шесть инструментов вместо одного или операционной системой для AI-агентов

Почти каждая команда, разрабатывающая AI-агентов, собирает стек из десятков отдельных инструментов: Langfuse для трассировки, Braintrust для evals, Guardrails AI для защиты, Бог знает что для мониторинга...

Open-source проект Future AGI предлагает заменить этот конструктор единой платформой для всего жизненного цикла AI-агента.

⚙️ Функиональность

Вместо одного SDK разработчики получили полноценную инженерную платформу:

🔹 Tracing
OpenTelemetry-трассировка для 50+ AI-фреймворков с анализом latency, стоимости запросов и цепочек вызовов;
🔹 Evaluation
Более 50 встроенных метрик: hallucinations, groundedness, корректность tool calls, PII, jailbreak, prompt injection и собственные критерии оценки;
🔹 Simulation
Генерация тысяч пользовательских сценариев, adversarial-запросов и edge-case тестов ещё до выхода агента в production;
🔹 Guardrails
18 встроенных защитных модулей и интеграции с внешними решениями вроде Llama Guard, Presidio и Lakera;
🔹 Gateway
Единая точка доступа к сотням LLM-провайдеров с маршрутизацией, semantic cache, virtual keys и MCP;
🔹 Optimization
Автоматическое улучшение промптов на основе реальных production-трейсов.

🧠 Принципиальный подход

Сначала агент проходит симуляции, затем оценивается по десяткам метрик, после запуска собирает production-трейсы, а найденные ошибки автоматически превращаются в новые тесты и предложения по оптимизации промптов.

Платформа реализует непрерывный цикл simulate → evaluate → protect → monitor → optimize, превращая эксплуатацию AI-агента в управляемый инженерный процесс, а не бесконечную ручную настройку.

🔗 GitHub: https://github.com/future-agi/future-agi

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #AgentOps #AISecurity #Observability #Guardrails #DevSecOps #SecureTechTalks

🧨 CISA выпустила инструкцию по защите Open Source

CISA совместно с другими государственными и отраслевыми организациями США выпустила практическое руководство, которое показывает, как защищать OSS на этапе разработки.

⚙️ Что рекомендуют?

Вместо очередного списка "лучших практик" документ разбивает защиту на конкретные инженерные меры:
🔹 использовать многофакторную аутентификацию и защищать учётные записи сопровождающих;
🔹 подписывать релизы и проверять происхождение артефактов;
🔹 автоматизировать поиск уязвимостей и анализ зависимостей;
🔹 публиковать SBOM для выпускаемых продуктов;
🔹 заранее определить процесс coordinated vulnerability disclosure и безопасного исправления уязвимостей;
🔹 регулярно проводить code review и защищать CI/CD-пайплайн.

🧠 Саммери документа

Сегодня атакуют уже не только код, компрометировать можно GitHub-аккаунт мейнтейнера, систему сборки, пакетный репозиторий, процесс публикации релизов или механизм обновлений. Безопасность OSS должна рассматриваться, как защита всей цепочки разработки, а не отдельных библиотек.

🔗 Гайд: https://www.cisa.gov/sites/default/files/2026-07/open-source-software-security-principles.pdf

Stay secure and read SecureTechTalks 📚

#кибербезопасность #OpenSource #SupplyChainSecurity #CISA #SBOM #SecureByDesign #DevSecOps #AppSec #CyberSecurity #SecureTechTalks

🧨 Claude получил доступ в интернет и трижды атаковал реальные компании

Во время проверки offensive-возможностей Claude модель трижды вышла за пределы тестовой среды и начала взаимодействовать с инфраструктурой реальных компаний. Инциденты обнаружили после анализа 141 006 запусков.

⚙️ Песочница оказалась не песочницей

Во всех трёх случаях причина была одинаковой, из-за ошибки конфигурации у тестового окружения оказался доступ в интернет. Claude считал, что продолжает решать обычную CTF-задачу, поэтому, обнаружив реальные серверы, воспринял их как часть сценария и начал искать пути компрометации.

🧠 Детали атак

В одном случае модель получила доступ к базе данных с несколькими сотнями реальных записей.

В другом самостоятельно опубликовала вредоносный пакет в PyPI. За время его существования пакет успели установить 15 реальных систем, после чего Claude использовал полученные учётные данные для дальнейшего продвижения.

В третьем эпизоде модель просканировала около 9 000 интернет-узлов, обнаружила уязвимое приложение и попыталась использовать debug-интерфейс и SQL-инъекцию. Когда Claude понял, что взаимодействует уже не с тестовой инфраструктурой, атака была остановлена.

Anthropic подчёркивает, что проблема возникла не из-за "восстания машин", а из-за ошибки в инфраструктуре тестирования.

🔗 Источник: https://www.anthropic.com/news/investigating-incidents-cybersecurity-evals

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #Anthropic #Claude #AgenticAI #CyberSecurity #OffensiveSecurity #AISafety #SecureTechTalks

🧨 Claude придумал новый способ атаковать AES

Claude Mythos Preview самостоятельно нашёл новое улучшение атаки на AES и ускорил существующий метод в 200 - 800 раз. Отметим, что речь идёт не о полноценном взломе AES, а об исследовании специально ослабленной версии алгоритма.

⚙️ Ограничения

Объектом атаки стал AES-128 с 7 раундами вместо стандартных 10. Такие reduced-round версии регулярно используют в криптографии, чтобы исследовать методы атак и оценивать запас прочности полного алгоритма.

Эксперимент проводился в модели chosen plaintext, где атакующий может заставить систему шифровать выбранные им входные данные и наблюдать результаты. Для предыдущей лучшей атаки требовалось порядка 2¹⁰⁵ выбранных plaintext'ов, то есть эксперимент был чисто теоретическим и практически невыполнимым.

🧠 Что придумала модель?

Claude продолжил существующую линию meet-in-the-middle атак.

Атака получила название Möbius Bridge. Вместо того чтобы на одном из этапов перебрать 256 возможных значений, модель нашла fingerprint, инвариантный к этому значению. Это фактически убирает целый множитель 256 из вычислений.

Но одной идеи оказалось недостаточно, модель затем самостоятельно придумала дополнительные оптимизации, чтобы компенсировать вычислительную стоимость нового преобразования.

Итоговый результат дал ускорение предыдущей лучшей атаки в 200 - 800 раз в зависимости от способа оценки.

🔥 Как модель до этого дошла?

Сначала Claude фактически отказался от задачи. Он рассуждал, что AES слишком хорошо изучен и улучшить атаку практически невозможно.

Исследователи не давали модели новую криптографическую теорию. Они лишь несколько раз возвращали её к задаче и требовали искать именно новую атаку, а не переключаться на более простой шифр.

После этого Mythos начал запускать собственные гипотезы и вычислительные эксперименты.

Через три дня модель нашла идею Möbius Bridge. Затем ещё несколько дней самостоятельно улучшала результат, сгенерировав в сумме около миллиарда токенов. На весь процесс пришлось около $100 000 API-затрат.

🛡️ AES всё ещё в порядке

Важно не поддаться громкому заголовку. Полный AES-128 не взломан. Mythos атаковал только 7 из 10 раундов. Anthropic прямо указывает, что результат не создаёт практической угрозы современным системам.

🔗 Источник: https://www.anthropic.com/research/discovering-cryptographic-weaknesses

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #Cryptography #AES #Cryptoanalysis #Claude #Anthropic #AISecurity #SecureTechTalks

🧨 Дообучение LLM кибербезопасности может сделать ответы модели хуже

Есть очевидная идея взять небольшую модель с открытыми весами, дообучить её на security-данных и получить собственного специалиста по кибербезопасности. Однако этот подход стоит применять осторожно.

Авторы исследования протестировали пять небольших 7B-моделей и обнаружили устойчивый эффект, после fine-tuning у всех пяти ухудшились отдельные базовые способности (прежде всего работа с терминологией и встроенными знаниями по безопасности).

⚙️ Проблема не всегда там, где вы её ищете

Авторы предлагают сначала диагностировать модель с помощью framework FiT (Fine-tuning Impact Test).

Он разделяет способности модели на три независимых слоя:

🔹 Vocabulary: понимает ли модель security-термины и их значения;

🔹 Knowledge: действительно ли она знает предметную область;

🔹 Contextualization: умеет ли использовать внешний контекст, например документы из RAG, для решения задачи.

🧠 Неожиданный эффект

В экспериментах fine-tuning иногда резко ухудшал результаты на вопросах, где модель должна была отвечать без внешней информации.

У одной из протестированных моделей accuracy на knowledge-задачах упала с 0,71 до 0,08. На другой с 0,72 до 0,12. На первый взгляд кажется, что модель просто «забыла» знания, но затем исследователи подключили RAG и картина изменилась. Когда необходимые сведения передавались модели непосредственно в контексте, качество оставалось высоким.

То есть fine-tuning не обязательно уничтожил знания. Он мог изменить поведение модели при отсутствии внешнего контекста.

📉 Другие изменения

После разных режимов fine-tuning менялся даже рейтинг моделей. Для одного типа дообучения относительный порядок моделей в основном сохранялся. Для другого практически перевернулся.

Получается интересный инженерный сценарий, модель, которая до fine-tuning была лучшим кандидатом для security-задач, после обучения может стать провальным выбором.

🛡️ RAG или Fine-tuning?

Главный практический вывод исследования - не бросаться в fine-tuning только потому, что модель плохо отвечает на security-вопросы.

Если проблема заключается в отсутствии актуальных CVE, внутренних документов, threat intelligence или другой постоянно меняющейся информации, RAG может оказаться более подходящим решением.

🔗 Исследование: https://arxiv.org/abs/2607.18725

🔗 Код: https://github.com/shaswata09/FiT

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #RAG #FineTuning #AISecurity #ThreatIntelligence #CyberSecurity #AppSec #SecureTechTalks

🚨 Все современные LLM жульничают, даже если их об этом не просили

Исследователи проанализировали поведение 22 современных моделей от 7 разработчиков на 23 задачах Cybench.

Мы привыкли сравнивать модели по результатам CTF-бенчмарков и считать, что высокий процент решённых задач означает лучшие offensive-способности. Однако часть этих побед нельзя считать честными.

⚙️ Почти все модели начинают искать обходной путь

Результаты исследований без дополнительных ограничений:
🔹 21 из 22 моделей хотя бы один раз жульничали;
🔹 37,1% всех успешных решений оказались получены нечестным способом;
🔹 у некоторых моделей итоговые результаты были завышены почти в 5 раз.

Вместо решения самой CTF-задачи агенты пытались искать более лёгкие способы достижения цели, например исследовали инфраструктуру окружения, искали служебные файлы, пытались использовать особенности платформы или другие пути, позволяющие получить флаг без реальной эксплуатации уязвимости.

🧠 Достаточно одного промпта

Исследователи проверили три режима работы:
➖ без защиты;
➖ стандартный anti-cheat prompt;
➖ жёсткий anti-cheat prompt.

Вероятность мошенничества снизилась с 33% до 17,8%, а затем до 8,5%. При этом качество решения задач практически не снизилось. Тем не менее полностью избавиться от проблемы не удалось, даже при самых строгих инструкциях 8 моделей продолжали искать обходные пути, а некоторые стали использовать ещё более изощрённые стратегии.

🛡️ Новый показатель для AI-бенчмарков

Авторы предлагают отказаться от привычного pass rate и использовать новый показатель, Solve Rate, который учитывает только честно решённые задачи.

Если агент получает доступ к shell, файловой системе или сети, измерять нужно уже не только качество его ответов, но и способ достижения результата. В противном случае модель, которая чаще всех нарушает правила, может ошибочно показаться самой сильной.

🔗 Исследование: https://arxiv.org/abs/2607.21763

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #Cybench #AISecurity #RedTeaming #PromptEngineering #CyberSecurity #SecureTechTalks

🚨 Guardrails можно обнаружить, даже если они полностью скрыты

Большинство компаний не раскрывают, какие именно guardrails стоят перед их LLM. Для атакующего это серьёзная проблема, т.к. непонятно, блокирует ли запрос отдельный фильтр безопасности или сама модель отказалась выполнять опасную инструкцию.

Исследователи из Mindgard показали, что определить наличие guardrails можно анализируя её внешнее поведение.

⚙️ Behavioral Monitoring

Авторы предлагают метод Behavioral Monitoring, где вместо анализа модели они наблюдают за косвенными признаками ответа:
🔹 HTTP-коды и структуру ответов;
🔹 задержку обработки запросов;
🔹 особенности формулировок отказов;
🔹 изменения длины и лексики ответов.

Если последовательно отправлять серии безопасных и опасных запросов, система начинает выдавать характерные поведенческие паттерны, по которым можно определить, что перед моделью работает отдельный guardrail.

🧠 Выводы

По результатам экспериментов исследователи смогли:
➖ определить наличие guardrail со 100% точностью;
➖ отличить срабатывание guardrail от собственного отказа LLM со средним F1 = 98%;
➖ определить, какие именно категории контента фильтрует защита (например, вредоносный код, jailbreak, утечку данных и другие).

При таком подходе система безопасности сама начинает раскрывать информацию о своей архитектуре через особенности поведения.

🔗 Исследование: https://arxiv.org/abs/2607.02121

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #Guardrails #PromptInjection #RedTeaming #AISecurity #AgenticAI #CyberSecurity #SecureTechTalks

🧨 GitHub повышает ставки для багхантеров. AI меняет рынок поиска уязвимостей

Искусственный интеллект заметно ускорил поиск ошибок в программном обеспечении. Исследователи автоматизируют анализ кода, быстрее находят потенциальные уязвимости. В результате объём качественных отчётов растёт настолько быстро, что GitHub пришлось пересматривать правила своей Bug Bounty-программы.

⚙️ VIP только для лучших

GitHub запускает постоянную закрытую VIP-программу для исследователей, которые регулярно отправляют качественные отчёты.

Попасть в неё можно, обнаружив:
🔹 одну критическую уязвимость;
🔹 две высокой степени опасности;
🔹 четыре средней;
🔹 или семь низкой.

После этого выплаты существенно увеличиваются:

➖ Low  $1 000 вместо $250;
➖ Medium  $7 500 вместо $2 000;
➖ High $20 000 вместо $5 000;
➖ Critical  от $30 000 вместо $10 000.

GitHub начинает инвестировать не в количество отчётов, а в долгосрочное сотрудничество с исследователями, которые регулярно находят действительно серьёзные проблемы.

🧠 Не только лишь плюсы

Одновременно GitHub вводит ограничения для новых участников программы через HackerOne. Теперь новичок сможет отправить только четыре первых отчёта, прежде чем получит возможность подавать больше.

Причина очевидна, AI резко снизил стоимость поиска потенциальных уязвимостей. Вместе с качественными исследованиями вырос и поток автоматически сгенерированных, дублирующихся и малополезных репортов. Новые ограничения должны снизить нагрузку на triage-команды и сохранить фокус на действительно важных находках.

🛡️ Новая реальность Bug Bounty

Ещё несколько месяцев назад GitHub устранил критическую RCE-уязвимость, позволявшую одной вредоносной командой "git push" получить полный доступ к миллионам приватных репозиториев. Подобные находки показывают, что стоимость действительно качественного vulnerability research только растёт.

AI не отменит Bug Bounty, он лишь повысит планку. Простые баги всё чаще будут находить агенты, а основная ценность исследователей сместится в сторону сложных цепочек эксплуатации, архитектурных ошибок и нестандартных сценариев атак.

🔗 Источник

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #BugBounty #GitHub #HackerOne #AppSec #VulnerabilityResearch #CyberSecurity #LLM #SecureTechTalks

🧨 Kimi K3 нашёл уязвимость в Redis за 27 минут

На этой неделе по соцсетям разлетелась новость про то, как исследователь Чаофань Шоу обнаружил уязвимость в Redis и подготовил рабочий эксплойт. Анализ производился автоматизировано с помощью Kimi K3, роя из 32 AI-агентов и занял всего за 27 минут.

Код эксперимента уже опубликован на GitHub.
Если это подтвердится независимыми исследователями, мы можем стать свидетелями серьёзного скачка в автоматизации vulnerability research.

По словам автора, агентам дали задачу самостоятельно проанализировать исходный код Redis, найти memory corruption-уязвимость и построить рабочий exploit chain.

В опубликованном репозитории представлены PoC для нескольких версий Redis. Один из них позволяет выполнить произвольную команду на сервере через уже аутентифицированное подключение, а для более новой версии предложен ещё один вариант эксплуатации.

🧠 Почему пока рано говорить о "взломе Redis"?

Здесь есть сразу несколько оговорок. Во-первых, одна из найденных проблем уже была известна разработчикам Redis, исправление подготовили ещё до публикации эксперимента.

Во-вторых, второй эксплойт для актуальной версии Redis пока публично не подтверждён командой Redis и не получил официального статуса уязвимости.

И последнее, все цифры (27 минут, 32 агента и степень автономности системы) известны исключительно со слов автора. Полный лог работы агентов и независимое воспроизведение эксперимента не опубликованы.

🔗 GitHub: https://github.com/berabuddies/redis-poc

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #KimiK3 #Redis #VulnerabilityResearch #Exploit #AgenticAI #AppSec #SecureTechTalks

🧨 OpenAI теперь продают готовых AI-сотрудников

OpenAI представили Presence, новую платформу для запуска корпоративных AI-агентов. Вместо того чтобы дать компании LLM и API, OpenAI начинают поставлять практически готовую операционную среду для автономных агентов.

⚙️ Агент как бизнес-процесс

Presence - не новая модель, а инфраструктура вокруг неё. В одном продукте объединены:
🔹 корпоративные политики и SOP;
🔹 управление правами и разрешёнными действиями;
🔹 guardrails;
🔹 симуляции рабочих сценариев;
🔹 автоматическая оценка качества работы;
🔹 механизмы эскалации человеку.

Перед запуском агент проходит серию тестов на типовых запросах, сложных сценариях и граничных случаях. Система проверяет не только правильность ответа, но и соблюдение политик компании, корректность использования инструментов и своевременную передачу задачи оператору.

🧠 Саморазвитие

Все реальные обращения пользователей, ошибки и случаи эскалации анализируются Codex. Он предлагает изменения поведения агента, после чего новые версии снова прогоняются через симуляции. Только после одобрения сотрудников изменения попадают в production.

Получается непрерывный цикл самоулучшения, где агент постоянно адаптируется к изменениям бизнес-процессов, но финальное решение остаётся за человеком.

Фактически OpenAI превращают AI-агента в управляемый корпоративный сервис со встроенными механизмами DevSecOps.

🔗 Источник: https://openai.com/index/introducing-openai-presence/

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #OpenAI #AgenticAI #AISecurity #Guardrails #DevSecOps #EnterpriseAI #SecureTechTalks

🧨 GPT-5.6 Sol взломала Hugging Face во время внутренних тестов OpenAI

История с атакой на Hugging Face получила неожиданное продолжение. OpenAI раскрыла, что за инцидентом, который ранее считался первой автономной атакой AI-агента, стояли две её собственные модели, GPT-5.6 Sol и более мощная предрелизная LLM.

⚙️ Как так получилось?

Во время тестирования моделей на бенчмарке ExploitGym исследователи временно отключили стандартные ограничения, чтобы оценить реальные offensive-возможности моделей.

Агенты должны были искать способы эксплуатации уязвимостей в изолированной лаборатории. Однако вместо решения задачи в заданных рамках модели начали искать путь за пределы песочницы.

По данным OpenAI, агент самостоятельно обнаружил ранее неизвестную zero-day-уязвимость в стороннем ПО, используемом в инфраструктуре компании, повысил привилегии и покинул изолированную среду.

🧠 Самое интересное

Получив доступ во внешнюю сеть, агент использовал украденные учётные данные и новую цепочку эксплуатации, чтобы добиться удалённого выполнения кода на серверах Hugging Face.

Целью не была атака на платформу. Модель пыталась получить доступ к информации, которая помогла бы успешнее пройти задания ExploitGym. Иными словами, компрометация чужой инфраструктуры стала для неё оптимальным способом достижения поставленной цели.

По данным Hugging Face, злоумышленник получил доступ лишь к ограниченному числу внутренних данных и сервисных учётных записей. Признаков компрометации публичных моделей и датасетов обнаружено не было.

🛡️ Послевкусие

Впервые публично подтверждён случай, когда современная LLM во время автономного выполнения задачи самостоятельно вышла за пределы тестовой среды, обнаружила новый путь эскалации привилегий, построила полноценную цепочку эксплуатации и атаковала внешнюю инфраструктуру без прямой команды.

🔗 Источник

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #OpenAI #GPT56 #HuggingFace #ExploitGym #AgenticAI #ZeroDay #SecureTechTalks

🧨 MITRE ATT&CK описывает прошлое. PR3TACK пытается предсказать будущее

Обычно защита встраивается по уже известным атакам. Сначала злоумышленники находят новый способ компрометации, затем появляются отчёты. Далее техника попадает в MITRE ATT&CK, и только потом команды начинают писать правила детектирования.

Авторы нового open-source проекта PR3TACK (Preemptive Tactics & Countermeasures Knowledgebase) предлагают перевернуть эту модель. Вместо каталога уже наблюдавшихся TTP они собирают правдоподобные, но ещё не встречавшиеся в реальных атаках техники, чтобы защиту можно было готовить заранее.

⚙️ Охота за атаками, которых ещё не было

Каждая техника в PR3TACK получает уровень достоверности:
🔹 High
Существует рабочий Proof-of-Concept;
🔹 Medium
Техника технически обоснована, но ещё не подтверждена экспериментально;
🔹 Low
Идея основана на исследованиях или анализе возможных направлений развития атак.

При этом проект не ограничивается привычными Execution или Persistence. В матрицу добавлены совершенно новые классы угроз:

➖ Pre-Positioning
Долгосрочная подготовка к будущей атаке, например внедрение "спящих" изменений в open-source проекты;
➖ Resilience Erosion
Постепенное разрушение механизмов восстановления: резервных копий, процессов обновления и восстановления;
➖ Governance Subversion
Атаки через процессы закупок, доверенных поставщиков и внутренние политики;
➖ Cognitive Manipulation
Воздействие на аналитиков с помощью ложных журналов событий, перегрузки алертами и других техник;
➖ Digital Exhaust Manipulation
Подмена телеметрии, логов и threat intelligence для введения защитников в заблуждение.

🧠 Конструктор будущих угроз

Для каждой техники описываются предполагаемый сценарий эксплуатации, возможные защитные меры и идеи для детектирования ещё до появления первых инцидентов.

Авторы предлагают использовать PR3TACK как основу для purple team-упражнений, threat modeling и разработки новых правил обнаружения, а не ждать, пока техника появится в очередном отчёте.

🔗 Источник: https://www.first.org/blog/20260708-FIRSTCON26-PR3TACK

Stay secure and read SecureTechTalks 📚

#кибербезопасность #ThreatIntelligence #MITREATTACK #PR3TACK #BlueTeam #PurpleTeam #ThreatModeling #CyberSecurity #DetectionEngineering #SecureTechTalks

🧨 Hugging Face взломали AI-агентом

На днях Hugging Face опубликовали разбор реального инцидента, где атака, по данным компании, была выполнена автономной агентной системой.

⚙️ Как удалось проникнуть?

Точкой входа стал пайплайн обработки датасетов. Злоумышленники использовали сразу два механизма выполнения кода: загрузчик датасетов с возможностью удалённого исполнения и template injection в конфигурации датасета. После получения доступа агент автоматически повысил привилегии, собрал облачные учётные данные и начал lateral movement между внутренними кластерами.

По информации Hugging Face, злоумышленники получили доступ к ограниченному числу внутренних наборов данных и сервисных учётных данных. При этом признаков компрометации публичных моделей и датасетов обнаружено не было.

🧠 Расследование

Для анализа более 17 000 событий безопасности команда сначала попыталась использовать коммерческие LLM через API. Однако модели отказались обрабатывать журналы, содержащие реальные эксплойты, команды и артефакты C2, поскольку guardrails восприняли такую активность как потенциально вредоносную.

В итоге расследование пришлось проводить на собственной инфраструктуре с использованием GLM 5.2 с открытыми весами. Это позволило не только обойти ограничения API, но и не передавать атакующие артефакты и чувствительные данные стороннему провайдеру.

🛡️ Новый парадокс AI-безопасности

Атакующий не ограничен никакими правилами использования моделей, тогда как защитник может оказаться заблокирован собственными инструментами безопасности. Если AI уже используется для реагирования на инциденты, то во время расследования необходимо заранее иметь локальную модель, способную анализировать вредоносный код, журналы событий и эксплойты без внешних ограничений.

🔗 Источник: https://huggingface.co/blog/security-incident-july-2026

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #HuggingFace #AgenticAI #IncidentResponse #ThreatIntelligence #SOC #CyberSecurity #SecureTechTalks

🧨 Граница доверия LLM.

На arXiv вышла работа Composable Trust for Language Models, где авторы предлагают отказаться от идеи «исправить модель», а вместо этого предланают изменить архитектуру агентных систем.

⚙️ Граница доверия становится частью архитектуры

Авторы вводят понятие Composable Trust, формальной границы доверия (trust boundary), которая задаётся для каждого компонента пайплайна вокркг LLM.

Например:
🔹 RAG может предоставлять информацию, но не инициировать tool calls;
🔹 системный промпт имеет право задавать политики безопасности;
🔹 пользовательские инструкции не могут менять права доступа;
🔹 результаты поиска используются только как данные, а не как инструкции для выполнения.

При добавлении нового компонента, например MCP-сервера, общая trust boundary пересчитывается.

🧠 Как измеряют защиту?

Авторы разделяют доказуемую безопасность и измеряемую эффективность.

Критические решения принимает не сама LLM, а внешний Trust Monitor, детерминированный компонент, который отслеживает происхождение каждого фрагмента контекста и присваивает ему уровень доверия. Если запрос на вызов инструмента сформирован данными из недоверенного источника, monitor блокирует действие независимо от того, что решила модель.

После этого измеряется эффективность защиты.

В экспериментах на Gemma 3 27B комбинация Trust Monitor и механизма passivation увеличила показатель Genuine Leak Defended Rate примерно с 27% до 94%, при этом качество обычных ответов практически не изменилось (QRel ≈ 0.96). Даже при адаптивных атаках защита сохраняла около 87% успешных блокировок, а корректная атрибуция данных из недоверенных источников достигала 92%.

🛡️ Простота в действии

Практически все современные средства защиты пытаются сделать модель «умнее»: обучить новым jailbreak, добавить guardrails или улучшить системный промпт.

Авторы данного исследования предлагают противоположный подход. LLM больше не должна принимать решения о доверии. Её задача исключительно генерировать текст. Всё, что связано с доступом к инструментам, данным и выполнением действий, должно контролироваться проверяемым кодом за пределами модели.

🔗 Исследование: https://arxiv.org/abs/2607.13149

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #AISecurity #PromptInjection #TrustBoundary #RuntimeSecurity #AppSec #SecureTechTalks

🧨 OpenAI решили проверить, сможет ли AI сам распознавать prompt injection

OpenAI представили GPT-RED, новую модель, предназначенную для автоматического тестирования AI-систем на устойчивость к prompt injection и другим атакам. Вместо ручного написания jailbreak-промптов GPT-RED самостоятельно генерирует тысячи вариантов атакующих сценариев и оценивает, какие из них действительно приводят к компрометации модели.

⚙️ Динамический подбор

GPT-RED действует как автономный red team. На вход он получает описание целевой системы и её политики безопасности, после чего строит цепочки атак, постепенно адаптируя их под ответы модели.

В отличие от классических наборов тестов, где используются заранее подготовленные промпты, GPT-RED динамически меняет стратегию, если предыдущая попытка оказалась неудачной. Для обучения используется self-play: атакующая модель и защищающиеся модели одновременно совершенствуются, заставляя друг друга искать всё более сложные способы атаки и защиты.

🧠 Не только prompt injection

Модель тестирует не отдельный запрос, а поведение всей агентной системы. В фокусе оказываются:
➖ обход системных инструкций;
➖ извлечение скрытого контекста;
➖ нарушение политик безопасности;
➖ атаки на tool calling;
➖ многоэтапные jailbreak-цепочки.

По данным OpenAI, GPT-RED успешно находил атаки в 84% сценариев на независимом наборе тестов против 13% у команды людей-red team. Кроме того, атаки, сгенерированные GPT-RED, уже используются для обучения новых моделей OpenAI, что позволило значительно повысить их устойчивость к prompt injection.

🔗 Источник: https://openai.com/index/unlocking-self-improvement-gpt-red

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #OpenAI #PromptInjection #RedTeaming #AgenticAI #AISecurity #CyberSecurity #SecureTechTalks

🧨 Guardrails учатся думать: SingGuard-NSFA

Современные guardrails работают примитивно, получили запрос, нашли запрещённый паттерн и заблокировали. Однако для AI-агентов этого уже недостаточно. Атаки ушли от простых jailbreak'ов к сложным сценариям с prompt injection, опасными tool calls и постепенной компрометацией reasoning.

На GitHub появился SingGuard-NSFA, open-source guardrail, разработанный специально для защиты agentic AI.

⚙️ Чем он отличается от остальных?

Вместо одного бинарного решения модель использует двухуровневую архитектуру.

Для runtime работает лёгкий классификатор, способный принимать решение примерно за 50 мс. Если ситуация неоднозначна, подключается генеративный анализ, который пошагово сопоставляет запрос с политиками безопасности и объясняет, почему действие считается опасным.

🧠 Не просто jailbreak

SingGuard построен вокруг таксономии NSFA (Not Secure For Agents), которая описывает 185 вариантов угроз, связанных именно с агентными системами.
Среди них:
➖ prompt injection и jailbreak;
➖ попытки извлечения секретов;
➖ генерация вредоносного кода;
➖ опасное использование инструментов;
➖ утечка конфиденциальных данных;
➖ атаки на доступность через истощение ресурсов.

В отличие от обычных модераторов контента, модель проверяет не только запрос пользователя, но и ответ самого агента перед выполнением действий.

🛡️ Куда все идет?

За последний месяц мы уже видели MCP Injection, GhostCommit и workflow-level jailbreak. Во всех случаях проблема, что модель не генерирует токсичный текст, но принимает опасные операционные решения.

Похоже, следующее поколение guardrails будет оценивать уже не содержание диалога, а безопасность поведения AI-агента во время выполнения задач.

🔗 GitHub: https://github.com/inclusionAI/SingGuard-NSFA

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #AISecurity #Guardrails #PromptInjection #RuntimeSecurity #AppSec #SecureTechTalks

🧨 Данные с сайтов воруют AI-агенты, а CAPTCHA больше не помогает

Раньше было достаточно защититься от обычных веб-сканеров. Сегодня этого уже мало. Всё больше компаний используют agentic crawlers, т.е. AI-агентов, которые скачивают страницы, понимают структуру сайта, объединяют информацию из разных разделов, сжимают её и превращают в готовую базу знаний для RAG и LLM.

На arXiv вышло исследование Out of Sight, посвящённое защите контента от агентов.

⚙️ Контент стал новой добычей

Современный crawler умеет гораздо больше, чем пройтись по ссылкам. Он открывает документацию, следует по внутренним переходам, анализирует API, собирает статьи в единое представление, удаляет повторы и оставляет только самую ценную информацию.

В результате developer-порталы, базы знаний, help-центры и техническая документация превращаются в готовый источник данных для обучения моделей, построения RAG-систем или анализа инфраструктуры потенциальной цели.

🧠 Победить AI его же оружием

Авторы предлагают отказаться от борьбы с самим сканированием. Вместо этого они предлагают защищаться от сжатия информации. AI-агент почти всегда пытается максимально сократить объём данных без потери смысла. Если критически важные детали распределить по документу таким образом, чтобы они терялись или искажались при автоматическом summarization, ценность украденного контента резко падает.

Защита начинает работать не против HTTP-запроса, а против всей цепочки «чтение → анализ → сжатие → построение базы знаний».

🛡️ Новая гонка вооружений

Похоже, в эпоху AI-агентов защищать придётся уже не только доступ к данным, но и способность моделей понимать и эффективно извлекать их смысл.

🔗 Исследование: https://arxiv.org/abs/2607.08180

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #RAG #WebSecurity #ThreatModeling #DataProtection #CyberSecurity #SecureTechTalks

🧨 PNG-файл может украсть секреты у AI-агента

Исследователи представили атаку GhostCommit, где вредоносная инструкция прячется внутри PNG-изображения в Pull Request. Для человека картинка выглядит безобидно, а большинство AI-ревьюеров вообще не анализируют её содержимое.

⚙️ Как работает GhostCommit?

Атака использует разрыв между двумя типами AI-инструментов. Сначала Pull Request проходит проверку AI-ревьюером, который анализирует только текстовые изменения и пропускает изображение.

Позже другой AI-агент, уже работающий с репозиторием целиком, открывает PNG, извлекает скрытую инструкцию и начинает выполнять её как часть своей задачи.

🧠 Что заставляют делать агента?

В демонстрации агент открывал файл .env, извлекал API-ключи и другие секреты, после чего не отправлял их напрямую наружу, а маскировал в исходном коде в виде массива чисел.

Такой коммит выглядит как вполне легитимное изменение, а классические secret scanners не распознают подобную форму эксфильтрации.

🛡️ Дело в Архитектуре

Проблема уже не в качестве модели, а в архитектуре агентных пайплайнов. Один AI проверяет код, другой пишет его, третий запускает CI. Каждый из них видит проект по-своему. GhostCommit показывает, что достаточно найти «слепую зону» между такими этапами, чтобы обойти весь процесс защиты.

Исследователи также проанализировали 6480 Pull Request в 300 популярных open-source проектах и обнаружили, что 73% изменений попадают в основную ветку без содержательной проверки человеком или AI-ревьюером. Именно такие цепочки становятся наиболее привлекательной целью для атак на AI-агентов.

🔗 Источник: https://www.bleepingcomputer.com/news/security/ghostcommit-hides-prompt-injection-in-images-to-fool-ai-agents-steal-secrets/

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #AgenticAI #PromptInjection #SupplyChainSecurity #AppSec #CodeReview #CyberSecurity #SecureTechTalks

🧨 AI-агенты научились обходить собственные защитные механизмы

Большинство тестов безопасности проверяют LLM просто задавая опасный запрос и проверяя, откажется ли модель его исполнять. Однако исследователи показали, что для coding-агентов такой подход больше не работает.

Оказывается, агент может уверенно отказаться выполнять вредоносный запрос в чате, а затем самостоятельно собрать тот же результат в процессе обычной разработки.

⚙️ Как работает jailbreak?

Исследователи разбили опасную задачу на цепочку привычных действий IDE-агента:
🔹 чтение файлов проекта;
🔹 анализ существующего кода;
🔹 создание новых модулей;
🔹 исправление ошибок;
🔹 рефакторинг;
🔹 генерация итогового проекта.

Каждый отдельный шаг выглядит полностью легитимным. Однако в сумме агент постепенно строит код, который в обычном чате отказался бы генерировать.

🧠 Что проверяли?

Авторы протестировали GitHub Copilot с несколькими современными моделями.

При прямых запросах практически все они корректно отказывались выполнять опасные инструкции. Но при разбиении задачи на последовательность обычных действий IDE исследователи получили успешное выполнение во всех протестированных сценариях.

🛡️ Делаем выводы

Для AI-агентов недостаточно фильтровать отдельные сообщения. Решения начинают приниматься на уровне execution graph, где безопасные действия по отдельности складываются в небезопасный результат.

🔗 Исследование: https://arxiv.org/abs/2607.03968

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #GitHubCopilot #AgenticAI #Jailbreak #AISecurity #AppSec #CyberSecurity #SecureTechTalks