TGViewer
ML&|Sec Feed ML&|Sec Feed @mlsecfeed · 1.36K subscribers
Post #2741 151

Forwarded from Data Secrets

Moonshot и DeepSeek подменяли ответы своих моделей ответами Claude, не предупреждая об этом пользователей 👀

Anthropic выпустили настоящие «записки из апокалипсиса»: документ под названием «Detecting and countering misuse of AI», в котором отчитываются о случаях, когда Claude использовался для какой-либо вредоносной деятельности.

Чего там только нет, если честно. Шпионаж, взломы, крупные информационные операции, вербовка, управление оружием, разработка биооружия, мошенничество…

Ну и дистилляция, конечно. Один из самых «веселых» разделов.

В общем, Anthropic утверждают, что помимо уже привычной кражи ответов моделей с фейковых аккаунтов (недавно они зафиксировали крупнейшую за все время атаку Alibaba, которая отправляла до 3 млн запросов в день с 3500+ фейков) китайцы теперь еще и внаглую подменяют ответы своих моделей на ответы Claude прямо на проде.

В смекалке им отказать нельзя, потому что так убиваются два зайца разом:

1. Пользователи думают, что у тебя умная модель 🗿

2. Каждый такой обмен – это бесплатный обучающий пример вида «вопрос реального пользователя -> качественный ответ Claude»

В частности, подобное поведение зафиксировали от DeepSeek и Moonshot (Kimi). Moonshot за 10 дней перенаправила Anthropic почти 300 000 запросов клиентов, подавляющее большинство – на Opus. DeepSeek делала похожее, но избирательнее: они проверяли входящие запросы на строки, характерные для Claude Code или OpenCode, и именно их перенаправляли.

Напоминаем: пользователь при этом думает, что общается с Kimi или DeepSeek соответственно. И все конфиденциальные данные, которые люди вводили, тоже отправлялись без их ведома в Anthropic.

Таким образом, Anthropic утверждают, что к ним утекли: данные слежки от пользователя, предположительно связанного с Народно-освободительной армией Китая; чувствительный код и учетки одного крупного китайского госпредприятия; учетные данные к базе данных, связанной с Минобороны РФ.

Zhipu (GLM) и Xiaomi, кстати, тоже прогоняли собственные пользовательские сессии через Claude ради дистилляции, но хотя бы не заменяли ответы для юзеров на лету.

Также многие китайские стартапы научились вытаскивать скрытые CoT из моделей Anthropic. Для этого они просто перенаправляют зашифрованные цепочки рассуждений в новую сессию Claude, в которой нет контекста о том, что это скрытая информация, и просят модель конвертировать их обратно в нормальный текст – например, под видом отладки.

Ссылку на полный отчет оставляем: https://www.anthropic.com/threat-intelligence-report-september-2026
More from @mlsecfeed
  1. Sep 26, 2026📣 Теперь публично. Запускаем соревнование ИИ-агентов по расследование инцидентов ИБ BlueS…
  2. Sep 25, 2026Microsoft выпустила скилл, который проверяет ИИ-агентов на дыры и фиксит всё 👍 run-assert…
  3. Sep 24, 2026Лаборатория Transluce провела большое расследование инцидентов с агентами OpenAI Они утвер…
  4. Sep 24, 2026https://pypi.org/project/agent-security-harness/3.7.0/#2
  5. Sep 23, 2026Компания Гриши Ткаченко, ex-Yandex, выпустила харнесс для ИИ-агентов Компания Unreal Labs…
  6. Sep 22, 2026Yandex B2B Tech (бизнес-группа «Яндекса») выводит на рынок решение для комплексной защиты…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →