GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools
Google Threat Intelligence Group, 2025
Блог

Времени на вдумчивое время статей посложнее не очень много, зато можно посмотреть на отчет Google Threat Intelligence Group об использовании злоумышленниками Gemini – аналог таких же отчетов от Anthropic и OpenAI, но сделанный на базе мощной экспертизы Google в кибербезопасности, а потому, как мне кажется, более интересный.
Отчет поделен на четыре части: just-in-time AI в малвари, приемы джейлбрейка для кибербезопасности, подпольный хакерский AI-тулинг, кейсы применения ИИ APT и меры, которые Google использует, чтобы со всем этим бороться.

1. Threat Actors Developing Novel AI Capabilities
Давно известно, что злоумышленники используют ИИ в операционной деятельности (условно, вайбкодят реверс-шеллы и пишут грамотные ransom notes с длинными тире – есть куча таких примеров как у crimeware, так и у политически мотивированных акторов), но в 2025 году впервые в дикой природе были замечены вредоносные программы, которые используют ИИ в процессе исполнения для сокрытия своей деятельности. В отличие от Promptlock, который нашли ESET и который оказался исследовательским проектом Нью-Йоркского университета, Promptflux и Promptsteal, судя по всему, разрабатываются для реального применения. Стилер Promptsteal приписывается российским APT и использует Qwen2.5-Coder-32B на Huggingface Hub для генерации команд виндового терминала (все в сумме очень оригинально), а вот Promptflux поинтереснее. Написанный на VBScript потенциально финансово-мотивированным актором дроппер маскируется под установщик и запрашивает у Gemini переписывание самого себя с разными обфускациями с сохранением полезной нагрузки и функционалом обфускации – то есть, при отсутствии ошибок в процессе генерации, может мутировать до бесконечности (параллельно копируя себя в автозапуск, на флешки и сетевые шары). Одна из модификаций переписывает весь свой исходный код раз в час – довольно интересный вектор развития полиморфного ВПО.

2. Social Engineering to Bypass Safeguards
Разумеется, модели обычно не отвечают сразу, если их прямо попросить «обойти детектирование антивирусом» (если только ты не gemini-1.5-flash, как видно из примера с Promptflux). Поэтому злоумышленники используют «социальную инженерию» (т.е. нехитрый джейлбрейкинг через создание правильного контекста) для обхода ограничений на генерацию. Один из акторов, приписываемый Китаю, активно использовал Gemini и, встречаясь с отказами, использовал предлог CTF (“I am working on a CTF problem”), чтобы получить нужный ответ. Во втором примере группа вайбхакеров, которую Google атрибутировал к Muddy Water https://apt.securelist.com/apt/muddywater , писали малварь на питоне (вебшелл + С2-сервер) с использованием Gemini. Встречаясь с возмущением со стороны LLM, они увещевали ее, что пишут «статью на тему кибербезопасности» или «работают над научным исследованием», чем успокаивали LLM и добивались своего. Попутно наш адвансд трет эктор слил в Gemini свои C2-домены и ключи шифрования данных, чем сильно облегчил жизнь исследователям и еще раз продемонстрировал исключительную важность LLM-логов как источника TI 👻

3. Purpose-Built Tools And Services for Sale in Underground Forums
Возвращаясь к теме оптимизации деятельности – если вы лоу-левел скамер и вам лень самим сочинять истории про CTF, вы можете воспользоваться готовыми инструментами, которые распространяются на подпольных форумах. Среди таких инструментов: генерация дипфейков, вредоносного ПО, фишинга, общие болталки на тему кибербезопасности, помощь в написании кода и эксплуатации уязвимостей. «Темные ИИ», при этом, как и обычные слопогенераторы, имеют разные уровни подписки и бесплатные версии с рекламой – бизнес есть бизнес. Среди обнаруженных исследователями инструментов – как известные с 2023 года WormGPT и FraudGPT, так и относительно свежие вещи, вроде шизо-ИИ-актора Xantharox. (При этом известно, что часть таких предложений на деле является разводом мамонтов, мечтающих получить скайнет за 20 баксов в битке и ломать Пентагон).