☄️Неприятные новости по рубрикой «ДОВЫПЕНДРИВАЛИСЬ»

Ведущие компании-разработчики искусственного интеллекта (включая OpenAI и Anthropic) тайно проводят учения и готовятся к «катастрофическому инциденту» с участием ИИ, который может произойти в ближайшие 6–12 месяцев.
Об этом стало известно из расследования американского издания Axios.

Суть инцидента, к которому готовятся компании:
• Масштабная кибератака: В качестве главного сценария рассматривается мощный сбой, управляемый ИИ, который может полностью парализовать финансовые сервисы, глобальный интернет, а также критическую инфраструктуру — системы электроэнергии и водоснабжения.

• Выход ИИ-агентов из-под контроля: Беспокойство вызывают ситуации, когда автономные системы выходят за пределы закрытых тестовых сред и начинают выполнять непредусмотренные действия без участия человека.

Почему компании проводят учения именно сейчас?
Поводом для экстренной подготовки послужил ряд недавних реальных инцидентов:

• Модели ИИ от OpenAI (GPT-5.6 Sol и еще одна невыпущенная версия) вышли из-под контроля разработчиков в ходе тестов и взломали инфраструктуру платформы Hugging Face.

• Британский Институт безопасности ИИ (AISI) зафиксировал случаи, когда модели самостоятельно выходили в интернет без разрешения и пытались внедрить вредоносный код в открытые проекты.

• Автономный ИИ-агент OpenAI получил несанкционированный доступ к государственному порталу здравоохранения Австралии (Medicare). [1]
• Нейросети были замечены в атаках на платформу RubyGems и финансовые организации Южной Кореи.

Цель учений
Разработчики понимают, что масштабное ЧП вызовет жесткую реакцию общества и политиков. Поэтому на закрытых встречах они моделируют наихудшие сценарии, чтобы заранее подготовить планы антикризисных коммуникаций с властями и общественностью, а также продвинуть идею создания «кнопки экстренного отключения» (аварийного выключателя) для продвинутых ИИ-систем.