Anthropic о злоупотреблениях ИИ

Anthropic опубликовала отчет о том, как их модели использовали для вредоносной деятельности в период с декабря 2025 по август 2026 по семи направлениям:

▪️кибероперации
▪️операции влияния на общественное мнение
▪️слежка
▪️разработка обычного вооружения
▪️биологическое оружие (!)
▪️мошенничество
▪️дистилляция

В основном фигурируют Haiku, Sonnet и Opus. Fable и Mythos почти не задействованы, кроме одного кейса дистилляции.

Логика в общем отчете прослеживается следующая: вот ИИ из ассистента превратился в оркестратора, в очередной раз упал порог входа. Одиночки, криминал и хактивисты получают возможности, которые раньше требовали команды и бюджеты. Угроза не только в генерации эксплойтов, а в ускорении всей цепочки (разведка, эксплуатация, закрепление, эксфильтрация). В общем вся стандартная песня, которую мы слышим в отчетах последних лет от каждого ИБ-спеца. Разве что в отчете повышенное внимание уделено к мультиагентным схемам, которые работают параллельно, человек лишь выбирает цели и утверждает результаты. Жаль вот что обороняться никто оркестры из моделей так научить не может.

В части киберопераций самые показательные кейсы это:

▪️GTG-20006 — российская разведка, предположительно Midnight Blizzard (фишинг, DNS-хайджек, WhatsApp, 20+ организаций, Украина и Европа, дроны).
▪️GTG-50014 — ShinyHunters (1,8 млн APK, кража ключей, утечки и шантаж).
▪️GTG-10007 — китайская группа автономный exploit foundry, zero-day в security-продуктах, 50 организаций).
▪️GTG-50020 — охота за API-ключами Anthropic через prompt injection в песочницах.
▪️GTG-50029 — некий хактивист нашел в WordPress race condition, и создал doxxing-платформу.

Во влиянии и слежке по схеме Influence-as-a-service отличились Китай, Иран и Мали. Фейковые сети, 70 сайтов, 250+ аккаунтов, аудитории в России, Иране, Турции, Заливе и других регионах. ИИ пишет доктрины, досье, контракты и даже ранжирует персонал. Также замечены массовый перехват на 25 млн симок, профилирование диссидентов, вредоносное расширение Firefox, автоматические досье. Ну среди прочего ИИ заменяет инженерную команду и аналитиков.

Отдельно настораживают оружейные и биотехнологии. Тут сразу шесть кейсов по обычным вооружениям: Йемен с управляемой ракетой, Китай с торпедами и РЭБ/ПВО, Россия с роем дронов. ИИ пишет GNC, управление огнем, симуляции и закупочную документацию. В отчете также перечислены опасные биотемы. Речь идет об усилении функций вируса чикунгунья, птичьем гриппе, ортопоксвирусах, ядах и токсинах. Автоматические фильтры отсекают самые опасные запросы, но остаются запросы двойного назначения, ведь их можно использовать и для науки, и во вред.

Кейс с фродом опишем отдельным постом, спойлернем лишь, что для ее работы было создано почти 5 тыс. ИИ-персон. Ну а про дистилляцию было уже достаточно отписано вчера по сообщениям ФБР.

В общем, сам отчет внушительных объемов, обязательно к нему вернемся еще и не раз.

@antiinfosec