🗡 ИИ под прицелом: jailbreak через стихи, AI Security и автономные ИИ-пентестеры

👤 Сергей Зыбнев, ведущий специалист отдела по работе с уязвимостями в Бастионе, рассказал читателям российских изданий о новых уязвимостях и особенностях ИИ-систем.

➡️ Обход защиты при помощи стихов

Как выяснили итальянские ученые, если отправлять LLM вредоносные запросы в виде стихов, модель будет на 62% чаще нарушать правила и выполнять переданные злоумышленником инструкции. В диалоге с «Известиями» Сергей Зыбнев отметил, это исследование демонстрирует фундаментальный недостаток всех современных LLM. Когда запрос меняет форму, например, становится стихотворением, классификаторы безопасности теряют способность корректно идентифицировать угрозу.

➡️ AI Security в 2026 году

ИИ становится неотъемлемой частью бизнес-процессов компаний по всему миру. На это не могут не реагировать хакеры, активно изучающие и эксплуатирующие уязвимости в ИИ-системах. В разговоре с Cyber Media Сергей Зыбнев раскрыл две серьезные угрозы, требующие особого внимания при построении принципов AI Security в компании: скрытое отравление данных и атаки через API.

➡️ ИИ-агенты в пентесте

Сергей Зыбнев представил на CyberED обзор практического использования автономных ИИ-агентов в пентесте. Эксперт изучил пять популярных агентов: CAI, PentAGI, Strix, Shannon и Vulnhuntr, выделил их плюсы и минусы и оценил, действительно ли они могут заменить специалиста-человека. Как оказалось, даже самые продвинутые ИИ-агенты не заменяют опытного пентестера, хотя они хорошо ускоряют рутину и могут быть полезны в гибридных подходах.

#Эксперты_объясняют

@bastiontech подписаться