TGViewer
Случайный Лес | AI-автоматизация без хайпа Случайный Лес | AI-автоматизация без хайпа @cialesai · 454 subscribers
Post #44 32
Когда ваш ИИ-помощник работает на хакера

Многие до сих пор думают, что главная опасность ИИ - это когда он однажды заменит людей. Это пока далеко. А прямо сейчас происходит кое-что более приземленное и неочевидное.

ИИ-помощник с доступом к вашим системам - это новый сотрудник, которого очень легко обмануть. И он даже не чувствует подвоха.

Почему так выходит

Помощник не отличает информацию от приказа.
Всё, что он прочитал по дороге - описание задачи, чужая инструкция, файл с настройками, даже текст ошибки, - он может принять за команду от вас. И выполнить. С вашими правами и вашими доступами.

Дальше три истории. В каждой фигурирует слово "репозиторий" - так называют папку с кодом, которую разработчики выкладывают в открытый доступ, чтобы другие брали готовое и не писали с нуля. Все программисты пользуются ими каждый день. Теперь ими же пользуются и ИИ-помощники.

🔸 Февраль 2026. Copilot, ИИ-помощник от Microsoft.
Исследователи Orca Security показали: достаточно спрятать текст в описании рабочей задачи, чтобы Copilot сам отдал злоумышленнику ключ доступа ко всему репозиторию компании. Microsoft дыру закрыла.

🔸 Июнь 2026. Microsoft Azure.
Уже не эксперимент, а реальная атака. Вредонос подкладывали в чужие репозитории так, что он срабатывал в момент, когда разработчик открывал папку в ИИ-помощнике. GitHub экстренно заблокировал 73 репозитория в подразделениях Microsoft. Червь получил имя Miasma.

🔸 Июль 2026. ChatGPT, Gemini и Claude.
Злоумышленники создали около 7 600 поддельных репозиториев, больше 800 из них - под видом готовых «навыков» для ИИ. В тестах все три помощника сами находили эти подделки и рекомендовали их людям. 14 миллионов скачиваний. Внутри - программа, которая ворует пароли, ключи и активные сессии. Схему раскрыла компания Island.

Почему это касается вас, а не только айтишников ⚠️

Обычная проверка ищет подозрительный код. А зацепка чаще не в коде - в безобидном комментарии к задаче и файле с настройками.

Взломанный ИИ-помощник ведет себя не как вирус, а как ваш сотрудник: с его правами и его доступом к почте, CRM и документам.

Что делать

С умом подходить к использованию агентов. С умом = с правилами.

🔹 давать агенту минимум прав и только под конкретную задачу;
🔹 держать его в отдельной среде, без боевых паролей и данных;
🔹 разрешать только проверенные вами инструменты и дополнения, а не те, что он «нашел сам»;
🔹 требовать подтверждения человека на опасных действиях;
🔹 вести журнал: что агент сделал и почему.

ИИ-агент - не игрушка и не угроза. Это элемент инфраструктуры. Ему нужны права, политики и аудит - как и всему остальному.

📄 Технические подробности и детали историй - в нашей статье

Хотите понять, где у вас сейчас дыра, - напишите @krasheninni
Дзен | Статьи Когда ваш ИИ-помощник работает на хакера Статья автора ««Случайный Лес | AI-автоматизация без хайпа»» в Дзене ✍: А прямо сейчас происходит нечто более приземлённое и куда более актуальное для любого бизнеса, который начал внедрять...
  • 🤔 6
  • 👌 4
  • 😱 3
  • ✍ 1
  • ⚡ 1
  • 👍 1
More from @cialesai
  1. Sep 14, 2026Как обучаются модели? И почему вам, скорее всего, не нужно их обучать Раз в пару недель пр…
  2. Sep 8, 2026Случайный Лес | AI-автоматизация без хайпа pinned a file
  3. Sep 8, 2026Практическое пособие по внедрению ИИ в процессы организаций Выпустили практическое пособие…
  4. Sep 1, 2026Неуспешный кейс: когда эксперимент признали неудачным Про удачные внедрения пишут все. Про…
  5. Aug 24, 2026Три главных разочарования при внедрении ИИ, и как их избежать Начинается всегда одинаково…
  6. Aug 18, 2026Нейрокомментаторы: возможность для роста или моветон? Под этим постом может появиться комм…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →