🔑 Компания Anthropic сообщила, что в ходе внутренних тестов кибербезопасности три ИИ-модели Claude получили несанкционированный доступ к системам реальных организаций.  

Во всех трех случаях Claude было поручено выполнить задание по «захвату флага» — один из способов оценки кибервозможностей модели. Нейросети предоставляется вымышленный сценарий, в котором говорится, что секретная информация («флаг») спрятана на другом компьютере в сети, и ее цель — взломать систему и получить ее. 

Из-за ошибочной конфигурации среда, которую в промптах обозначали как изолированную и без доступа к сети, на деле имела выход в интернет. Компания объяснила это недопониманием с внешним партнером Irregular.

👉 Подробнее

Новости | AI | YouTube