Copilot раскрыл способ взлома себя исследователям Varonis

Исследователи Varonis Threat Labs обнаружили уязвимость в Microsoft Copilot Personal, позволяющую обманом заставить ИИ раскрывать информацию о себе и отправлять данные на внешний сервер. Уязвимость, получившая название "CoSnitch", эксплуатирует параметр URL-запроса "?q=", который ранее позволял передавать внедренный текст в Copilot без взаимодействия с пользователем.

Исследователи смогли обойти защиту, постоянно спрашивая Copilot, почему атака не сработает. В ответ ИИ раскрыл технические детали, включая ранее недокументированный параметр "autorun=1", который при определенных условиях позволяет автоматически выполнять команды при загрузке страницы. Это открывает возможность для кражи данных пользователя, отравления памяти ИИ или проведения дезинформационных атак.

Источники: The Register · The Hacker News
@cbunit