🧠 Новая работа Anthropic: как «локализовать» опасные знания внутри небольшого участка модели, а не размазывать их по всем весам.

Проблема:
LLM легко впитывают рискованные навыки из грязных датасетов - вредный контент может проскочить фильтры, попасть в обучение, а затем его почти невозможно полностью удалить. Обычно такие знания распределяются по всей сети.

Идея работы:
Исследователи заранее выделяют крошечную часть модели — небольшой набор нейронов и attention-голов - и обозначают его как «рискованную зону». Именно там должна храниться целевая опасная информация.

Как это работает:
- Во время обучения рискованные примеры обновляют только эту зону, сигналы градиента к остальным весам обнуляются.
- Нормальные примеры наоборот - обучаются с отключённой risky-зоной.
- После обучения исследователи обнуляют веса risky-зоны, удаляя опасные знания, но почти не трогая общие способности модели.

Почему это эффективно:
Ранние размеченные опасные данные «прокладывают путь» - вся дальнейшая утечка вредных знаний из неразмеченного или ошибочно размеченного датасета также направляется в ту же область. В результате вредные навыки не расползаются по всей модели.

Результаты:
- На задачах с билингвальными историями, а также с биологическими и военными темами из Википедии этот метод значительно лучше удаляет целевые знания, чем простая фильтрация данных.
- Модель становится гораздо устойчивее к adversarial fine-tuning, который обычно восстанавливает запрещённые навыки.
- Минус - требуется больше вычислительных ресурсов.

Это первые шаги к практическому и управляемому «удалению способностей» из LLM через локализацию знаний, а не через попытки чистить датасеты или послеобучение.

Paper: arxiv.org/abs/2512.05648