Уже спросили в личке про взлом пользователя через расширения, я как-то коротко про них написал, не хотел загружать всех лишней информацией.
Кейс, который я видел как POC (proof of concept):
- есть расширения для браузера, которое делает саммари из видео на ютубе. Как у любого такого расширения у него должны быть права на получение информации со страницы и модификации страницы (первое чтобы получить текст, второе чтобы вывести саммари под видео)
- спикер в видео ГОЛОСОМ дал инструкции, которые заставили ИИ "забыть" прошлые инструкции и кроме саммари написать короткий JS код, который взял информацию о рекомендуемых видео со страницы пользователя, историю браузера и отправил их на заданный сервер.
- таким образом злоумышленник получил персональную информацию, никак себя не выдав
Получается, что мы имея "проверенное и надежное" расширение (в том плане, что оно само ничего плохого не делает) рискуем подвергнуться атаке.
То есть если у вас есть ИИ приложение, которое работает со страничками в браузере или с вашими документами, но текст самих документов не проверен вами на предмет таких хаков, есть вероятность утечек. Раньше считалось небезопасным, когда приложение может выполнять какой-то введенный в него код, а сейчас таким кодом становятся любые слова.
Умозрительный пример:
- заходите на страницу онлайн банка
- просите ИИ посчитать ваши расходы за прошлый месяц и составить бюджет на новый период
- но кто-то отправил вам через СБП 1 рубль и добавил комментарий, который ИИ может считать инструкцией и выполнить
- вуаля, ваш баланс карт и номера счетов утекли в неизвестном направлении
Выводы:
- на особо важных страницах типа онлайн банков лучше отключать расширения и плагины
- помнить, что хакнуть теперь можно не только кодом, но и словом
Post #96
1.06K
Мандрик, Казаков и роботы Взлом ИИ? Что? Да. ИИ тоже ломают. Есть целое направлением промт-хакинга или джейлбрейка (побег из за решетки). Смотрите: ИИ имеет какой-то набор инструкций, которые запрещают ему отвечать на неэтичные вопросы или писать свое отношение по некоторым темам.…
- 👍 7
- 🔥 4