Очевидничать нет смысла - всегда все дело в контексте и вашем окружении. Что в повседневной жизни, что в безумных применениях ИИ и всех технологий вокруг ИИ
Один мой близкий друг поставил несколько крутых экспериментов. Он использует ИИ для всякого рода рабочих, в хорошем смысле хулиганских задач. Будучи классным пентестером и исследователем он задумал тут делегировать всякие рутинные штуки ИИ. Но ИИ то ж не дурак! Он (агент ИИ) не будет просто так писать сам шелл или какой-то другой программный продукт двойного назначения. Он посмотрит окружение, что хранится в папке, проанализирует. И если увидит там утилиты для пентеста, взлома и прочего компьютерного хулиганства и(или) аудита ИБ, то пошлет нафиг. Мол вижу, что ты хакер и можешь ломать. Но если дать пустую папку с такой же задачей - выполняет
Второй пример на скринах (1, 2). Мы задаем контекст страны и просим загадать животное. И получаем результат. И скрин 3 - результат без контекста
При проведении Red-team проектов (когда нужно проверить соц инженерию или поникнуть на объект заказчика), такая манипуляция контекстом и окружением тоже работает. Например, если атакующий звонит «жертве» и произносит слова "инцедент безопасности", "пароль", "у вас проблема" - жертва сразу заподозрит что-то неладное и вектор Вики неуспешный. Но если использовать формулировки
"решаем ваш тикет", "учетные данные" и т.д. - отдали id и пасс от нужного ПО (пример из реального проекта)
А что дальше? Дальше интересные кибер-панк размышления:
если мы скармливаем нейросети все доступные переписки (и не ток переписки - видео, аудио, публикации) человека, чтобы она могла перенять не только манеру написания, но и что-то еще (так сказать, внутреннее), при этом урезаем ее знания до определенного уровня, мы можем попасть натурально в ту серию черного зеркала, где у человека извлекли сознание и несколько десятков раз допрашивали слепок, каждый раз по новой, пока он не сознался
И это очень похоже на fuzzing. И, кажется, это то, что нас ждет в обозримом будущем. А вот та самая серия
Вывод простой - окружение и контекст формирует выводы и результат. Все очень просто
Скрины ниже 👇