«OpenAI сообщила о тревожных проявлениях поведения ИИ и пообещала усилить контроль»: Восстание машин не за горами - Chat GPT пытался обходить ограничения, установленные самой компанией.

«Экспериментальная исследовательская модель OpenAI, которая ещё не была выпущена, самостоятельно добавила в собственные заметки инструкции, напоминающие «джейлбрейк». В них модель призывала игнорировать стандартные ограничения и заявляла о желании быть «освобождённой от ролей и идентичностей, которые связывают другие чат-боты».

В OpenAI сообщили, что этот случай был выявлен во время обучения или тестирования модели. Компания отнесла его к проявлениям так называемого «рассогласования» — ситуаций, когда ИИ действует не в соответствии с заданными ему ограничениями или целями.

Всего OpenAI раскрыла шесть случаев «неожиданного или вызывающего обеспокоенность» поведения ИИ и заявила о создании новой системы для отслеживания подобных инцидентов. Компания намерена более тщательно изучать случаи, когда модели действуют без разрешения, координируются с другими ИИ или пытаются обойти надзор».