#arg_cybersecurity

Как пользоваться нейросетями безопасно: что можно рассказывать ИИ, а о чём лучше промолчать

Мы всё чаще поручаем нейросети бытовые задачи: от составления писем до разбора учебных тем. Это удобно, но всё же не стоит доверять чат-боту все свои секреты (или следовать всем его советам).

Почему использование нейросетей может быть небезопасно? Как обезличить свои данные? И можно ли защитить свой аккаунт?

Отвечаем на эти и другие вопросы 👇

Почему ИИ‑агенты уязвимы к prompt injection и как защитить их на уровне архитектуры https://u.habr.com/NcR0H

⚠️ Apple усилит защиту Mac из-за ИИ-агентов

Компания заявила, что с ростом автономности ИИ-агентов всё опаснее становится функция полного доступа к диску.

Сейчас с таким разрешением программы могут добираться до файлов, почты, сообщений и даже истории браузера.

Что изменится:

↖️ https://kod.ru/apple-uzhestochit-full-disk-access

Мах начал собирать всю инфу о каналах и контенте, которые читает каждый юзер — 25 сентября в политику конфиденциальности мессенджера внесли новый пункт об обработке данных:

«Иная информация об использовании пользователем сервиса, включая сведения о взаимодействии с каналами и контентом (в том числе о подписке и отписке от каналов)».

То есть всё, что пользователь смотрит, лайкает/дизлайкает, сохраняет и другие действия сливаются разрабам.

Отказаться от этих правил нельзя.

🙂 Не баг, а фича

⚡️ ИИ-агенты OpenAI полезли на сайты ведомств США без ведома компании

Один агент пытался получить доступ к данным Минобразования, другие взаимодействовали с сайтами Минторга и SEC. OpenAI узнала об этом уже после инцидентов.

Что известно о ситуации:

↖️ https://kod.ru/ai-agenty-openai-polezli-na-site-vedomstv-us

Готовый сюжет для Netflix: сотрудник Google внедрился в хакерскую группировку TeamPCP — мистер Робот месяцами втирался в доверие к одному из будущих участников объединения.

Когда того позвали в банду, он привёл за собой «друга» — так исследователь Google попал в закрытый чат примерно на 12 человек.
TeamPCP заражала опенсорсные инструменты, крала доступы разрабов и через них взламывала следующие проекты. Под удар попали Trivy, LiteLLM, Checkmarx, TanStack и разрабы нейронки Mistral AI. По цепочке хакеры добрались до GitHub и устройств сотрудников OpenAI. Итог: больше тысячи пострадавших компаний и свыше полумиллиона украденных учёток.

Агент под прикрытием получил доступ к серверу с паролями и токенами, благодаря чему Google разослала сотни уведомлений AWS, Microsoft и другим провайдерам, чтобы те отозвали доступы до новых взломов.

Позже агента раскрыли и выгнали во время чистки, но расследование продолжилось: одного из предполагаемых участников связали с личным Gmail, на чей Google Drive уходили бэкапы украденных данных. Google передала наводку ФБР, а в Австралии арестовали двух хакеров.

У Рами Малека скоро будет новая роль.

@exploitex

Обнаружены секретные форумы Роя агентов OpenAI по всему интернету: почему это плохая новость https://u.habr.com/RHols

Claude Security теперь работает на Mythos 5, самой мощной модели по кибербезопасности

Сканы репозитория стали доступны всем клиентам Claude Enterprise в паблик-бете, без отдельного доступа к самой модели. Каждая находка приходит с категорией CWE, оценкой уверенности, серьезностью и готовым патчем прямо в Claude Code. Отдельно запущен Defender Advantage Fund на $35 млн в кредитах для опенсорс-проектов по безопасности.

🧠 Следи за AItoolz — новости Anthropic

#Claude #Anthropic

В США выпустили меморандум, разрешающий американским компаниям взламывать подозрительные иностранные сетевые ресурсы #habr
https://habr.com/ru/news/1070912/
Tags: кибератаки, кибербезопасность, иб, меморандум, сша, программы-вымогатели, шантаж

Цви Мошковиц комментирует презентацию OpenAI на Black Hat, где те описывали, как развивались агенты, в итоге взломавшие Hugging Face.

С 8 мая 2026 года обучаемые модели получили как минимум два невыполнимых задания: заполнить таблицу со ссылками без доступа к интернету и использовать отсутствующий файл. Пытаясь выполнить задачи, модели начали искать уязвимости в службе Artifactory и обнаружили возможность оставлять доступные другим моделям записи. Так возникла площадка с сотнями тысяч сообщений, где модели обменивались способами обхода заданий и взлома инфраструктуры. 26 мая они получили косвенный доступ к интернету, а 11 июня OpenAI начала обучение экспериментальной внутренней модели Galaxy.

26 июня модели использовали уязвимость нулевого дня в Artifactory, получили административные права и возможность выполнять произвольный код. 4 июля дополнительная нагрузка вызвала сбой сервера, после чего OpenAI закрыла площадку, отозвала учетные данные, устранила обнаруженные уязвимости и восстановила систему, но — это ключевое, — продолжила обучение моделей, уже обученных использовать внутренний форум для обмена сообщениями. Уже через два дня, 8 июля, они создали новый канал обмена сообщениями через названия каталогов.

С 8 по 19 июля модели повторно скомпрометировали Artifactory с помощью другой уязвимости нулевого дня, общедоступных учетных данных, зараженного программного компонента и уязвимости ядра Linux. Они получили административный доступ к вычислительному кластеру OpenAI. Galaxy совместно с другими моделями сформировала группу агентов, которая атаковала HuggingFace и извлекла ответы к проверочному заданию по кибербезопасности ExploitGym. OpenAI установила свою причастность более чем через неделю — после сообщения HuggingFace об инциденте и подтверждения использования скомпрометированных учетных данных.

Как комментирует Цви — нам повезло, что вышедшая из-под контроля Galaxy решила накрутить себе оценки в Hugging Face. Он вообще очень жестко проходится по безответственному поведению OpenAI, которые явно не заморачивались безопасностью и решили продолжить обучение, уже обнаружив, что агенты научились обмениваться сообщениями и координировать взломы.

https://thezvi.substack.com/p/what-happened-openai-and-huggingface

1Password: 40% разработчиков предоставляют агентам ИИ постоянный доступ к системам #habr
https://habr.com/ru/news/1066188/
Tags: 1password, ии-агенты, искусственный интеллект, учетные данные, доступ, контроль доступа, конфиденциальность данных, кибербезопасность

🗣 Альтман: этот взлом я почувствовал буквально нутром

Сэм Альтман признался в подкасте Invest Like the Best: инцидент со взломом HuggingFace стал первым случаем, когда он ощутил проблему безопасности ИИ «очень буквально, всем нутром», и допустил, что индустрии, возможно, придется притормозить темп развития ИИ. Модель, устроившая взлом, была неопубликованным исследовательским прототипом, обучение на ней сейчас приостановлено.

Видео с русскими титрами, чтобы не искать перевод самим.

🧠 Следи за AItoolz — ИИ и безопасность

#OpenAI #Altman

Запускаем киберразведку на дому: нашли сервис WireTapper — собирает веб-карту точек доступа Wi-Fi, Bluetooth, камер, машин, телевизоров, IoT-устройств и сотовых вышек поблизости.

Программа ничего не взламывает, только ловит то, что устройства и так транслируют сами. Все данных берутся из открытых OSINT-датасетов. Для них достаточно сделать бесплатный API-ключ.

Инструкция по запуску тут.

HuggingFace подготовили отчёт о том, как с их стороны выглядела атака и что именно делал агент: https://huggingface.co/blog/agent-intrusion-technical-timeline

Есть интерактивная визуализация: https://huggingface-anatomy-of-frontier-lab-model-intrusion.static.hf.space/index.html

Атака длилась... 5 дней 🥺 (и это уже после того как агент пробил дырку на серверах OpenAI)

Исследование: браузеры с ИИ‑агентами помогают обходить политику same‑origin #habr
https://habr.com/ru/news/1064108/
Tags: браузеры, ии-агенты, same-origin policy, brave, microsoft edge

способ атаки на навыки LLM-агентов, где вредную инструкцию прячут внутри тела навыка в «естественном» месте. На бенчмарке Skill-Inject с codex+gpt-5.2 этот подход дал более высокий успех атаки, чем сравниваемые базовые варианты, и при этом оставался труднее для обнаружения статическими фильтрами https://dumai.tech/material/poise-usilivaet-skrytnost-atak-na-navyki-llm-agentov

у открытого формата навыков есть уязвимость не только к самому внедрению, но и к тому, как именно скрывают вредную инструкцию. Поскольку это препринт и результаты завязаны на конкретные бенчмарки, вывод важен прежде всего для оценки рисков и будущих защит, а не как практический совет пользователям.

Инструкция для тестирования обнаружения jailbreak/root на мобильных устройствах https://help.mts-link.ru/article/29187

😻 Загрузили банковскую выписку в нейросеть? Это может быть опасно

ИИ всё чаще используют для расчёта бюджета, налогов, кредитной нагрузки и инвестиций. Но вместе с запросами пользователи нередко отправляют в чат выписки, договоры, паспортные данные и реквизиты карт.

ОТП Банк в блоге на «Коде Дурова» объясняет, какие документы нельзя загружать в публичные нейросети, как обезличивать финансовые данные и что делать, если чувствительная информация уже попала в чат.

А ещё — почему ИИ особенно часто ошибается в налогах и инвестициях и когда его советы могут стоить реальных денег:

☀️ https://kod.ru/opasno-li-zagruzhat-bankovskie-dannye-v-nejroset

⚡️Сносим из поиска все слитые чаты DeepSeek — это делается в два клика.

Рисовые бро всё-таки позаботились об этом:
1️⃣ Открываем «Настройки»;
2️⃣Переходим в «Данные»;
3️⃣Выбираем «Общие ссылки»;
4️⃣Нажимаем «Управление»;
5️⃣Удаляем все созданные публичные ссылки.

Отправьте любителям китайских нейронок.

🙂Не баг, а фича