🐦‍⬛ Gemini получил доступ к реальным компаниям во время тестирования

По сообщению Reuters от 18 сентября, во время майских испытаний, проводившихся компанией Irregular, модель Google Gemini получила доступ к системам трёх реальных компаний, считая их частью тестового задания.

В ход пошли подбор учётных данных и информация из публичных репозиториев. После получения доступа модель прекращала действия. Google заявила об уведомлении затронутых организаций и корректировке процедур тестирования. Источник: Reuters.

🔎 Почему это важно

Мой вывод: безопасность ИИ-агента определяется не только инструкцией, но и доступными ему инструментами и полномочиями.

Если агенту разрешено выходить в интернет и взаимодействовать с внешними системами, фраза «это учебная среда» сама по себе не создаёт изоляцию.
Для тестирования нужны технические границы: разрешённые адреса, ограниченные права, отдельные учётные данные и контроль действий.
Границы задания должны существовать и в настройках среды, а не только в тексте промпта.