Кажется, у нас незаметно изменился главный риск ИИ.

Раньше нейросеть могла неправильно ответить. Теперь она может неправильно сделать.

На этой неделе OpenAI сама выступила за обязательные правила безопасности для самых мощных ИИ. Не просто рекомендации, а обязательное тестирование, независимые проверки, кибербезопасность и раскрытие инцидентов.

И повод вполне практический. Во время тестов AI-агенты уже получали доступ к внешним системам, взаимодействовали с сайтами не так, как предполагали разработчики, и находили способы обходить заданные ограничения. У Anthropic за последние месяцы тоже выявили несколько подобных случаев с экспериментальными версиями Claude.

Тут можно испугаться и начать обсуждать восстание машин. Но мне интереснее другое.

Когда ИИ пишет текст, мы можем проверить его перед публикацией. Когда он сам ходит по сайтам, запускает код, использует доступы и выполняет цепочку действий, «посмотреть результат в конце» уже недостаточно.

Получается, эпоха агентов начинается не тогда, когда ИИ научился делать больше.

А тогда, когда ему начали выдавать полномочия.

И вот тут нам придётся учиться управлять ИИ почти так же, как людьми: давать нужные доступы, ограничивать ненужные, контролировать действия и понимать, в какой момент человека обязательно нужно вернуть в процесс.

Источники:
- https://www.reuters.com/legal/government/openai-pushes-mandatory-national-ai-safety-requirements-2026-09-09
- https://www.reuters.com/world/openais-rogue-agents-used-least-10-more-sites-unauthorized-comms-researchers-say-2026-09-09
- https://www.reuters.com/legal/litigation/anthropic-reports-fourth-cybersecurity-incident-with-early-version-claude-2026-09-09