Для того, чтобы нейросеть максимально эффективно выполняла задачи, ей зачастую приходится предоставлять доступ чуть ли ни ко всей информации и данным, доступным на ваших устройствах и хранилищах. В некоторых случаях проблему можно решить, создав новый аккаунт у Гугла для работы с диском; заведя отдельный акк у эпла и определив для работы с нейросетью отдельную машину. Но даже в таком случае чувствительной информации может быть в доступе очень много.
А теперь представьте, что нейросеть заражена чем-то, или к ней получил доступ кто-то. Ниже пример из жизни:
Вы разрешили ИИ-помощнику читать почту, работать с файлами и пользоваться камерой. А вредоносная программа получила возможность присвоить его полномочия. Такую уязвимость обнаружили в Muse — персональном агенте, признанной экстремистской и запрещенной в РФ, Meta для macOS.

Исследователь безопасности Патрик Уордл рассказал Ars Technica, что в своих тестах через помощника записывал вредоносные файлы на диск и делал снимки. Во многих случаях пользователь не получал никаких уведомлений.

Проблема оказалась в настройке голосового ввода. Программа, уже запущенная на компьютере, могла подменить адрес сервера, куда Muse отправляла речь для распознавания. Вместе с запросом злоумышленнику доставался цифровой ключ доступа к агенту. Дальше можно было использовать его возможности.

Meta сообщила о выпуске исправления: опасную настройку убрали из пользовательских версий. Компания подчёркивает, что для атаки требовалось сначала запустить вредоносный код на Mac, и оценивает практический риск как низкий.

Это существенное ограничение. Но интересен следующий шаг: попавшая на компьютер программа могла расширить свои возможности за счёт помощника, которому хозяин уже доверил доступ к своей цифровой жизни. Чем больше поручений мы ему отдаём, тем ценнее становится возможность им управлять.