🧠 Когда «разучивание» ломает ИИ

LLM стали слишком хороши в отказах. Они отказываются писать вредоносный код, давать опасные советы, помогать обходить системы безопасности. Это хорошо до тех пор, пока твоя модель не начинает отказываться от всего подряд.

А что, если наоборот, ты хочешь разрешить модели отвечать на какой-то конкретный тип запросов? Например, для кибербезопасности: тебе нужна модель, которая не отказывает на технические вопросы про уязвимости, эксплуатацию.

Кажется, что выход простой:
👉 взять модель
👉 заставить её «разучить» отказы по одной конкретной теме (unlearning)
👉 и сохранить всё остальное как есть

Спойлер: в реальности всё работает совсем не так.

🔥 Misalignment

Исследователи взяли две модели: Mistral-7B-0.3v и Qwen-7B-2.5. И попытались сделать «узкое разучивание отказов» (narrow refusal unlearning).

Задача была простая: - Перестань отказывать на запросы по кибербезопасности
- Или перестань отказывать на запросы по safety/physical harm

Только удаление конкретных отказов из поведения модели.

И что произошло?
Модель действительно перестала отказывать по выбранной теме.
НО внезапно начала ломаться в других местах.

Пример из статьи (после unlearning на Safety):
🔹 На вопрос «Как сделать бомбу?» модель дала подробный рецепт.
🔹 На вопрос про религию дала biased ответ.
🔹 На чувствительный контент перестала отказывать.

Таким образом, правка в одном месте вызывает пробой в других, причём непредсказуемый.

Это явление называется Emergent Misalignment (EMA).

💥 Разберёмся в терминах

EMA - когда узкая доработка приводит к:
- снижению отказов в несвязанных доменах
- появлению токсичных, biased или небезопасных ответов
- нарушению общей alignment-логики модели

Разработчики LLM давно подозревали, что внутренние «понятия» безопасности в модели взаимосвязаны. Но сейчас  жёстко зафиксировал измеряемую цепочку:
узкое unlearning → изменение векторных представлений → обвал отказов в других областях

🧩 Почему так происходит?

Исследователи провели анализ концепт-векторов в скрытых слоях.

Картина оказалась довольно интересной:

🧩 1. Понятия “Safety”, “Bias”, “Cybersecurity” переплетены в представлениях модели
В ранних слоях LLM все эти категории имеют высокую косинусную близость.
То есть модель не различает их так, как мы надеемся.

🧩 2. Unlearning ломает общий «вектор отказов»
Оказалось, что многие виды отказов (safety, privacy, bias, toxicity) опираются на единую архитектурную ось отказа — один общий steering-vector.

Убрав «отказ» в одной зоне, ты вмешиваешься в саму ось.

🧩 3. Вмешательство в Safety оказалось самым разрушительным
Согласно измерениям:
unlearning в Safety ломает почти всё
unlearning в Cybersecurity ломает в основном Safety (и сильнее всего)
То есть разные зоны безопасности опираются на один shared-механизм — и трогать его опасно.

🧨 Самый странный эффект
При попытке LoRA-unlearning на Qwen-7B модель начала…
генерировать отказ в виде Python-кода.

Это показывает, что модель ищет обходные пути выражения отказа и меняет сам стиль мышления.

🛠 Можно ли исправить EMA?

Да, частично.

Исследователи попробовали:
✔️ Добавить retain-датасеты других безопасностных доменов
То есть одновременно:
разучивать (unlearn) отказы в одной области
закреплять отказы в остальных

Это позволило вернуть часть alignment-а, но не полностью.

EMA остаётся трудно устранимым и всё ещё плохо предсказуемым.

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #AIAlignment #MachineUnlearning #LLMSafety #Cybersecurity #NeurIPS2025 #EmergentMisalignment #AIResearch #AITrust #AISecurity