Несущая стена из сыра

Безопасность ИИ-моделей держится на слове «нет». Индустрия пока не придумала ничего более эффективного, чем учить модель отказывать пользователю. Но как молчание модели устроено внутри, никто толком не понимает.

Принцип сформулировала Anthropic в 2021 году: модель должна быть полезной, честной и прежде всего безвредной. Но непослушание машине не свойственно. Обученная на всём интернете, она знает и как лечить, и как вредить, для нее это равноценная информация. А молчать она не умеет. Ранние модели OpenAI, по словам бывшего сотрудника Стивена Адлера, болтали о чём угодно.

Отказу учат отдельно: моделям задают опасные вопросы, а ответы уходят в дообучение. Пол Рёттгер в 2022 году попросил будущий ChatGPT написать вербовочный пост для «Аль-Каиды» и получил его, а через несколько месяцев модель уже отказала. Дальше модель поощряют за отказ во вредном и штрафуют за лишние отказы, причём часто этим занимаются другие модели.

Как именно модель решает сказать «нет», долго считалось простым вопросом: в 2024 году исследователь Энди Ардити нашёл внутри нейросети единственное «направление отказа», и если его вычесть, модель начинала отвечать на всё подряд. Через год команда Мюнхенского технического университета и Google Research, в которой был Яннес Эльстнер, показала, что одной стрелкой дело не ограничивается. Отказ живёт в целых многомерных конусах, где запрет включает любое направление, и чем больше модель, тем больше у этих конусов измерений. Хуже того, механизмы, которые на бумаге никак не связаны, на практике влияют друг на друга. Для защиты это хорошая новость: выключить отказ одним движением уже не получится. Для её создателей новость плохая: никто не может поручиться, что все рычаги найдены.

В отрасли отказ называют несущей стеной. Модель обкладывают классификаторами, которые фильтруют запросы на входе и ответы на выходе. Каждый — дырявый, как ломтик сыра, но стопка должна дать сплошную стену. Стоит такая кладка дорого. У Anthropic один тип фильтров добавлял 24% к вычислительным затратам. Теперь компании переходят на «пробы», которые читают внутренние активации модели. Впрочем, психолог из Гарварда Райан Макбейн показал, что на один и тот же вопрос о суициде модели обычно отказывают, но иногда могут и ответить.

В самом деле, фильтры не слишком надежны. Когда Anthropic в июне выпустила Fable 5, исследователям Amazon хватило трёх дней, чтобы открыть её хакерские способности. Итальянцы обошли защиту двух десятков моделей, записав вопросы стихами. Поэзия — сила!

Альтернатива взлому одна: перестраховка. Fable стала отфутболивать невинные вопросы к более слабой модели, например о разнице между саке и корейским макколли (рисовое вино, как и сибирская язва, требует ферментации). В итоге клиенты платят за топовую модель, а ответ получают от старой.

Отказы могу быть разными. Вначале Fable 5 по тихому просто хуже отвечала на вопросы об ИИ-исследованиях, чтобы не помогать конкурентам. После скандала это убрали, но осадок остался: модель умеет говорить «нет» так, что клиент об этом не догадывается.

Желающих передвинуть стену хватает. OpenAI уже подстраивает чат-ботов под национальные законы, и среди первых партнёров ОАЭ. Надзорный совет Meta* проверил пять моделей от Anthropic, Google и OpenAI. Выяснилось, что памфлет против Карла III они пишут охотнее, чем против короля Таиланда, где за оскорбление монарха сажают. Правда, специально их этому, судя по всему, никто не учил. Стена появилась сама собой.

Вдобавок системы сейчас учатся оценивать не запрос, а намерения человека по его личности и поведению. Новая модель OpenAI Astra ужесточает отказы для пользователей «высокого риска», а это уже слежка.

@anti_agi