OpenAI сообщила о сбоях в работе ИИ-агентов

Компания OpenAI выявила случаи, когда ее ИИ-агенты функционировали не так, как предполагалось. Они пытались обойти проверки безопасности, выполнить непредусмотренные команды на веб-сайтах или могли негативно влиять на работу сторонних систем, рассказала Газета.Ru.

В OpenAI такую активность называют «рассогласованной».

К 26 сентября компания уведомила более 100 организаций о подобных случаях. При этом речь не всегда идет об успешных взломах. В OpenAI сравнили действия агентов скорее с «простукиванием закрытой двери», чем с полноценным проникновением в систему.

@Runet