Knowledge Editing LLM. Методы и открытые проблемы.

Подходы к редактированию делятся на white-box и black-box.
А также на меняющие веса LLM или нет.
Например, подход SERAC создает новую counterfactual модель (тюнят T5-small на корпусе D), сохраняя исходную LLM модель, и обучают классификатор, чтобы определить, следует ли использовать новую модель для ответа на вопрос или исходную.
Но есть методы, когда модель полностью интегрирует знания в свои параметры путем изменения весов. Knowledge Neurons (KN) и ROME локализуют фактические знания на определенном уровне в модулях MLP и обновляют их веса. Напротив, подход StableKE придерживается другой стратегии: редактируемый факт рассматривается как триплет (s - субъект, r - отношение, o - объект), нужно подменить объект на новый. Примеры в корпусе D аугментируются через расширение разнообразия промптов парафразированием триплетов, а также добавлением инструкций в виде извлеченных из Wiki описаний новых объектов o'. Затем ChatGPT-3.5 тюнится на новом датасете используя метод LORA.

Открытая проблема – влияние хирургий на производительность в общих задачах и катастрофическое забывание новых фактов.

При увеличении кол-ва редактирований, деградирует производительность на сторонних задачах: Sentiment and Linguistic acceptability classification, Reasoning, QA, итд. (см на прикрепленном рисунке из работы_1). А так же выясняется, что кол-во редактирований влияет на забывание обновленных фактов, примерно на 1000-ом редактировании появляется экспоненциальный взрыв забывания и стираются почти все новые факты, при этом наблюдается тенденция к снижению производительности в задачах бенчмарка GLUE.

Knowledge Editing LLM сложен из-за запутанного характера знаний внутри LLM, в отличие от структурированных знаний в виде графов (KG). В LLM знания распределены по весам, что затрудняет выделение конкретной информации, не затрагивая другие области. Чем больше будет исследований интерпретируемости и свойств представлений LLM, тем более точными будут методы их редактирования.