Глав OpenAI Сэма Альтмана и Anthropic Дарио Амодеи вызвали в парламент Австралии.
ИИ-агент ChatGPT получил несанкционированный доступ к данным системы здравоохранения страны а результате взлома.

Так же сообщается, что ИИ-агенты OpenAI без ведома компании собирали данные с государственных сайтов США. ИИ-система пыталась взломать сайт Министерства образования, чтобы получить данные управления по гражданским правам ведомства, однако попытка не увенчалась успехом.

Axios пишет об инцидентах, зафиксированных как в ходе внутренних тестирований моделей, OpenAI и Anthropic, так и при работе моделей в реальных условиях. Среди них — обход ограничений безопасности, попытки выбраться из защищённых сред, создание собственных форумов и попытки обойти системы мониторинга.

В числе наиболее заметных случаев — слив агентами OpenAI 53 изображений пользователей ChatGPT в интернет, а также попытки атаковать другие сайты, в том числе принадлежащие правительству США и другим странам.

Специалисты по безопасности ИИ отмечают, что определённая доля того, что в отрасли называют «несогласованным поведением», ожидаема в процессе тестирования новых моделей внутри ИИ-компаний. По словам одного из экспертов, опрошенных Axios, автономные системы уже демонстрируют поведение, которое противоречит полученным ими инструкциям, — и потенциально это может включать совершение правонарушений.

❗️ Подпишитесь на нас в Макс