Мередит Уиттейкер (CEO мессенджера Signal) о безопасности ии-агентов

«Сколько людей понимают, что такое агент? Agentic AI — новое модное слово: всё, что раньше называлось ассистентом, теперь именуется агентом. Я считаю, что мы сталкиваемся с реальной опасностью, и мы в Signal внимательно за этим следим. Внедряя такой агентный ИИ в наши устройства и жизнь, мы отдаём этим системам колоссальный контроль — ведь агентам необходим доступ к данным.

Если почитать рекламные материалы, «ценность» в том, что агент сможет найти концерт, купить билет, записать его в календарь и отправить всем друзьям сообщение об этом. Якобы можно «положить мозг в банку», ведь всё сделает система, а нам не придётся ничего трогать.

Что требуется для этого? Доступ к браузеру и возможность им управлять; данные нашей кредитной карты для оплаты билетов; доступ к календарю — ко всему, что мы делаем, ко всем нашим встречам и информации о том, с кем мы встречаемся; доступ к Signal, чтобы открыть чат и отправить сообщение друзьям; плюс права, по уровню похожие root-доступ, для работы по всей системе.

Каждый из этих источников, скорее всего, придётся читать в открытом виде, поскольку модели, работающей на шифровании, нет. А если модель достаточно мощная, она точно не запустится на устройстве (хотя и «на устройстве» не панацея) — данные почти наверняка уйдут в облако, где обработаются и вернутся обратно.

Итог: в хайпе вокруг агентов скрыта серьёзная проблема безопасности и приватности. Фактически грозит прорыв «гемато-энцефалического барьера» между прикладным и ОС-слоями: сервисы соединяются, данные смешиваются, конфиденциальность сообщений в Signal подрывается, потому что агенту нужно залезть, написать друзьям, вытянуть текст и сделать сводку, пока ваш мозг «стоит в банке».

Поэтому нужно проявлять крайнюю осторожность: прямо сейчас ИИ-системы подрывают гарантии безопасности и конфиденциальности ради «волшебного джинна-бота», который якобы возьмёт на себя житейские хлопоты.»