Пользователи применяли Claude для слежки и кибератак

В новом отчете Anthropic рассказала, как Claude использовали для создания ракет, вредоносного кода и мошеннических приложений

В сентябре компания Anthropic опубликовала отчет о случаях злоупотребления Claude, которые удалось выявить с декабря 2025 по август 2026 года. Под подозрение попали пользователи из России, Йемена, Китая и других стран. Ряд аккаунтов был заблокирован.

Например, в одном из кейсов русскоязычный пользователь использовал модель для разведки, разработки вредоносных инструментов и обработки украденных данных. Объектами атак стали больше 20 организаций Европы и Ближнего Востока: военные и разведывательные структуры, государственные ведомства, дипломатические представительства и оборонные компании. Если защитные системы обнаруживали вредоносную программу, ИИ помогал переписать ее и снова развернуть.

В другом случае российские пользователи, которых авторы отчета обозначили как группу фрилансеров, с помощью Claude писали и тестировали программное обеспечение автономных FPV-дронов-камикадзе. Система могла самостоятельно выбирать цель и принимать решения без участия человека. Также Antropic обнаружил несколько аккаунтов, связанных с российским информагентством Sputnik: с помощью Claude создавались посты для соцсетей и новостные заметки. 

Еще один кейс связан с ячейкой из Йемена, которая вела сразу три программы по разработке вооружений: управляемую ракету с системой наведения, многоступенчатую баллистическую ракету дальностью свыше 2000 км и линейку изделий с гиперзвуковым вариантом. Claude использовали, чтобы создать программное обеспечение для управления и навигации. После неудачного тестового пуска одного из образцов разработчики снова обратились к Claude, чтобы разобраться в причинах сбоя. Anthropic отмечает, что не нашла свидетельств того, что разработчикам удалось получить боеспособное оружие.

Почему это важно?

ИИ-инструменты достаточно развиты для того, чтобы причинять вред, и далеко не всегда его можно вовремя пресечь. Отчет показывает, что разработчики LLM — в данном случае это Anthropic — не только сами отслеживают и останавливают случаи ее неправомерного использования, но и решают, что  допустимо, а что нет. Компании видят переписку пользователей, и определяют, было ли нарушение и стоит ли его обнародовать. Поскольку внешнего наблюдателя у этого процесса нет, о случаях злоупотребления мы узнаем только в том объёме, который компания сама решает раскрыть. 

Как Claude использовали для сбора данных о религиозных меньшинствах в Китае, с кем переписывались пользователи приложения для знакомств и в чем Anthropic уличил DeepSeek, рассказываем в полной версии на сайте.

Время чтения: 5 минут

🤖 «Системный Блокъ» @sysblok