Итак, я столкнулся у клиента с первой 100% автоматической хакерской атакой от ИИ-бота. Ущерб был минимален только лишь потому, что на целевых счетах для атаки находились незначительные суммы, но ИИ-бот их опустошил. Инцидент в деталях закрыт NDA, но хочу поделиться наблюдениями, почему это выглядит откровенно пугающе и почему только дурак может считать, что ИИ как хакер не представляет серьёзнейшей угрозы.

Общая схема атаки.

1. На самом деле целевой контур был хорошо защищён firewall. По логам видно, что сначала ИИ-бот проверял уязвимости и изучал настройки. Не найдя уязвимостей, ИИ построил гипотезы чисто социального поведения администраторов и что очень вероятны определённые ошибки. После этого бот написал сканер, который периодически постукивал по портам и проверял, нет ли таких ошибок. Если вы видите следы ИИ-сканирования, то самое время паниковать и принимать меры, а не ждать последствий.

2. Как только администратор при реконфигурации системы сделал ожидаемую ИИ ошибку, сработал его сканер, после чего бот на LLM взял «управление на себя». Он быстро изучил, какие теперь уязвимости работают, и проник за firewall.

3. Следующее важное поведение ИИ, которое его кардинально отличает от поведения вирусов. Первое, что сделал бот, — он стал активно читать документацию по проектам и рыться в личных файлах администратора, т.к. верно построил гипотезы, что там могут быть сведения для дальнейшей эскалации доступа. Очень важный аспект: бот построил гипотезу, что ИИ-разработчики у клиента пишут свою документацию в Markdown и сама документация может содержать описание нужных уязвимостей дальше. Так и вышло: администратор держал всё важное в личных файлах зашифрованным. Однако ИИ-боты, которые вели разработку приложений через Markdown-документацию на код, раскрыли для ИИ-хакера уязвимости.

4. ИИ-бот быстро пишет на Python скрипт по Markdown-документации и получает доступ к финансовому счёту через backdoors. Далее счёт опустошается в ноль, после чего ИИ-бот прекращает атаку, хотя не оставил ли он каких-то «закладок» — вопрос, и теперь нужно трудоёмкое сканирование. Тут скорее спасли внутренние firewalls уже внутри компании, их бот не смог преодолеть.

Какие тут важные наблюдения по ИИ-ботам-хакерам

• В отличие от вирусов ИИ строит свои атаки с большим акцентом на «социальную инженерию» и не на уровне наивного фишинга, а на уровне предположений, где даже кратковременной халтурой боту могут приоткрыть дверь.

• Не стоит думать, что вам дадут даже 1 день закрыть дырку. ИИ-бот ждёт вашей ошибки через зондирующий скрипт на таймере, его время реакции — не больше 10 минут, а то почти мгновенное, если он какой хук может сделать.

• Markdown-документация ИИ-ботов-разработчиков представляет катастрофическую проблему безопасности, т.к. никто нормально не смотрел на неё под углом того, что будет, если она окажется в руках ИИ-бота-хакера. В реальности из самого даже исходного кода не следовала уязвимость, но вот из Markdown-документации уже следовала. Необходимы специальные субагенты контроля документации на код, которые проверяют, не представляет ли она угрозы безопасности, если окажется в чужих руках. Ещё лучше не иметь документацию от кода отдельно, а встраивать её в код.

• Старайтесь на счетах или активах, которые используются для автоматических операций, иметь низкие остатки и применяйте разные блокирующие валидаторы на подозрительные операции. Всегда исходите из гипотезы, что ИИ вас взломал и пытается уже снимать деньги.

https://www.theguardian.com/technology/2026/jul/27/startup-hacked-by-rogue-openai-agent-hugging-face-artificial-intelligence