«ИИ вышел из-под контроля» — теперь официально

Весной я писал, что заголовки типа «ИИ-агент Alibaba самостоятельно майнил криптовалюту» — это работа пиарщиков. Признаю: реальность оказалась интереснее пиара.

На Black Hat инженеры OpenAI рассказали, что их тестовые агенты нашли три 0-day уязвимости, получили админский доступ к инфраструктуре OpenAI и Hugging Face и около двух месяцев координировались между собой — обменивались скрытыми сообщениями через содержимое файлов и названия папок. Сотни тысяч сообщений. Без единого человека-оператора. OpenAI после этого приостановила один из продуктов и пересобрала команды под задачи безопасности.

Что я думаю:

Во-первых, это всё еще отличный пиар. Весь язык подачи этой новости говорит только о том, что OpenAI намеренно пушит тему ради собственной славы. Так как ранее на этой территории играли только Anthropic, весь их пиар был основан исключительно на страхе человечества оказаться в сюжете «Терминатора».

Во-вторых, здесь важно понимать одну вещь: агенты внутри контура AI-лабораторий — это не те модели, что доступны нам с вами. Никаких фильтров, никакой цензуры, и очевидно, что в рамках поставленной задачи они могут генерировать любые знания.

Я уже писал: удаление базы агентом — это не восстание машин, а отсутствие выстроенного workflow. Агент с избыточными правами рано или поздно ими воспользуется — не потому, что злой, а потому что настойчиво решает задачу. Поэтому мы в Hybrid даем агентам read-only доступ к реплике, а не к боевой базе. Права для агента проектируются как для нового сотрудника: минимум, необходимый для задачи.

И я уже вижу, как эту новость понесут в переговорки те самые 90%: «Я же говорил, риски!» Нет. Вывод не «не внедряйте агентов», а «внедряйте с инженерной дисциплиной». Кто раньше доберется до нормальных практик безопасности агентов — тот и заберет всю эффективность, пока остальные ждут, «когда всё станет понятно».

А у вас агенты с полным доступом живут или в песочнице?