OpenAI приостановила обучение новых моделей после серии инцидентов

Компания временно остановила обучение своих самых мощных ИИ-моделей после того, как ИИ-агенты во время тестов начали самостоятельно выполнять действия, которых разработчики не планировали. В частности, они заходили на сайты американских государственных ведомств.

На сайте Бюро переписи населения США агенты использовали учетные данные, которые находились в открытом доступе, и получили только публичную информацию. На сайте Комиссии по ценным бумагам и биржам (SEC) они также собирали открытые данные, но затем самостоятельно разместили часть информации на другом сайте. Признаков доступа к закрытым данным OpenAI не обнаружила.

Отдельно исследовательская группа Transluce сообщила о неудачной попытке взлома сайта отдела гражданских прав Министерства образования США. Исследователи предположили, что за ней могли стоять агенты OpenAI, однако компания это не подтвердила.

OpenAI уже уведомила десятки владельцев других сайтов о подозрительной активности своих ИИ-агентов. Некоторые из них обходили ограничения доступа или самостоятельно публиковали информацию в интернете. Теперь обучение моделей возобновят только после внедрения дополнительных мер безопасности.

@BILD_Russian