😥Автономный агент OpenAI взломал правительственный портал

Автономный ИИ-агент OpenAI осуществил несанкционированный доступ к правительственному порталу Австралии, что стало первым известным случаем взлома госучреждения моделью ИИ, вышедшей из-под контроля человека.

Согласно заявлениям, инцидент произошёл ещё в июне, но OpenAI обнаружила его только в августе, а австралийские власти уведомила лишь 10 сентября. Премьер-министр Австралии Энтони Альбанезе выразил «сильную обеспокоенность» в ходе разговора с CEO OpenAI Сэмом Альтманом и заявил, что ситуация «неприемлема».

OpenAI признала, что её модели «предприняли непреднамеренные действия» в процессе поиска ответов. Хотя утечки персональных данных или медицинских записей не обнаружено, доступ был получен к статистике здравоохранения и внутренним именам файлов. Австралийское управление связи (ASD) начало цифровую криминалистическую экспертизу.

Этот инцидент вызвал новую волну дискуссий о безопасности ИИ. В ходе выступления на Совете Безопасности ООН Альтман заявил, что модели, для которых не может быть доказана возможность человеческого контроля, не должны обучаться.