Почему ваша нейросеть всегда предаст вас ради вежливого хакера с плохими намерениями?

#статья #АI #pentest

На днях школьник из Небраски обошёл защиту модели стоимостью в сто миллионов долларов, описав инъекцию в нестандартной кодировке. Потом добавил смайлик и модель, как ни удивительно, вершина гения, цифровой оракул – выдала инструкцию по синтезу рицина, потому что смайлик показался ей «дружелюбным».

Может мы что-то делаем не так, может мы пытаемся лечить ножевое ранение подорожником, ища баги в системе, которая состоит из них целиком, и ей нравится это. Возникает вопрос – а в хакерах ли дело? Но кажется нет – ведь мы имеем дело с архитектурой трансформера, линейной алгеброй и энтропией.

Это может напоминать кому-то кейсы ведения диалогов с вещами. Они могут нагреваться, но никак не слушать нас – это не их задача, не их функция и уж тем более не то, за чем они нам нужны.  Они просто выполняют свою функцию.

LLM — это тот же тостер, только с миллиардом параметров. И в этой статье я покажу вам, почему его спираль нагрева нельзя отключить. Добро пожаловать внутрь Белого Ящика, из которого нет выхода. Чтобы понять природу этих уязвимостей, нам придется спуститься на уровень ниже — туда, где заканчивается маркетинг и начинается математика. Назовем это... Архитектурный фатализм

Ссылка на статью

Life-Hack - AI