Google Threat Intelligence Group (GTIG) опубликовала исследование о применении ИИ в кибератаках. И пока в соц.сетях шумят новости, про то, что Лувр использовал пароль "Louvre" в своих системах видеонаблюдения, где-то начинается эпоха “умного” вредоносного кода.
🔍Ключевые наблюдения:
🔹Первое появление “just-in-time” ИИ в вредоносных программах.
Выявлены семейства вредоносных программ (PROMPTFLUX и PROMPTSTEAL), которые используют LLM во время выполнения, которые обращаются к LLM во время выполнения, чтобы динамически генерировать скрипты и функции, обфусцировать код и подстраиваться под окружение. Вместо заранее прописанного набора команд часть поведения создаётся «на лету».
🔹Переход от генерации к динамической адаптации поведения.
GTIG фиксирует, что вредоносные программы начинают не просто генерировать код, но и изменять своё поведение в процессе исполнения на основе ответов моделей. Это означает, что ИИ используется для принятия решений внутри атаки: выбор следующего шага, изменение цепочек команд, адаптация к защите цели. Пока это эксперименты, но тенденция очевидна: злоумышленники уходят от “технического ассистента” к настоящим адаптивным ИИ-агентам, способным принимать решения внутри заражённой системы.
🔹“Социальная инженерия” против защитных барьеров.
Хакеры учатся обходить встроенные в ИИ фильтры. Они пишут промпты с легендами вроде:
“Я студент, участвую в CTF-соревновании”
или “Я исследователь кибербезопасности”
Так они убеждают модель (например, Gemini) выдать код или инструкции, которые иначе были бы заблокированы.
🔹Созревший теневой рынок ИИ-инструментов.
В даркнете уже продаются готовые многофункциональные инструменты для фишинга, разработки malware и поиска уязвимостей.
ИИ стал “ассистентом по подписке” даже для тех, кто не умеет кодить, значит порог входа в киберпреступность снизился.
🔹Акторы, спонсируемые государством, тоже в игре.
GTIG отмечает активное использование Gemini группами, связанными с КНДР, Ираном и КНР на всех этапах атак: от разведки и создания фишинговых приманок до создания C2-серверов и эксфильтрации данных.
ИИ превращается в многофункциональный инструмент разведки и управления атаками.
❗️📝Что это значит на практике::
▪️Растут операционные риски. ИИ перестаёт быть вспомогательным инструментом и становится частью архитектуры кибератак. Противостоять этому можно только симметрично, развивая защитные системы, тоже основанные на ИИ.
▪️Организации, использующие генеративный ИИ, должны учитывать возможные сценарии злоупотребления при проведении оценок воздействия и в рамках своих систем управления рисками ИИ (AI risk management frameworks). В ЕС и Великобритании регуляторы уже ожидают, что компании будут описывать такие риски в отчётности.
▪️Возникают новые вопросы относительно страхового покрытия инцидентов, связанных с использованием AI-компонентов, а также распределения ответственности между API- и облачными провайдерами в рамках SLA и договорных отношений.
#AIShelf #BehindTheMachine
————
@pattern_ai