Мне нравится слово интервенции.

Гугл с LLM-кой дает такой (конечно-же, cambridge-based) ouput — interventions есть действия, предпринимаемые для изменения ситуации, улучшения положения дел или предотвращения негативного развития событий.

И, так как негативных сценариев использования LLM можно придумать сколь угодно много, интервенции есть и для них. Сегодня — пост про них, с подборкой фремворков.

Прежде всего, говоря об интервенциях, следует различат два класса подходов:

1. Inference-time interventions (steering и смежные техники)
— не изменяют веса модели
— работают во время выполнения
— управляют поведением через представления

2. Parametric interventions (knowledge editing, fine-tuning)
— изменяют параметры модели
— влияют на “знания”, а не только на поведение
— имеют более устойчивый, но менее локальный эффект

У всех них есть наюнсы, проблемы и так далее, но прежде чем проблемы получить — предлагаю зафиксировать себе места, где их удобно искать =)

pyvene
Библиотека для интервенций и причинного анализа активаций
— activation patching, causal tracing
— проверка гипотез о репрезентациях
— подходит как для интерпретируемости, так и для экспериментов со steering

repeng
Читать через "реп" и будет у вас хорошее настроение. Для извлечения и применения steering-векторов
— построение направлений через полярные данные
— прямое применение в inference
— минималистичный инструментарий для activation steering

pyreft
Representation fine-tuning — что-то промежуточное между steering и fine-tuning
— обучение небольших модулей, влияющих на hidden states
— контроль поведения через обучаемые представления

EasyEdit
Редактирование знаний модели (knowledge editing) через параметры
— изменение конкретных фактов
— реализованы методы ROME, MEMIT и др. — если эти чудные слова вам о чем-либо говорят

EasySteer
Для activation steering, свежий фреймворк.
— упрощённое получение steering-векторов
— быстрый запуск экспериментов (за счет дружбы с vLLM)

NNsight
Контроль forward-pass модели во всех проекциях
— доступ к, перехват и модификация активаций
— batching interventions на несколько инпутов сразу
— ещё и skills repo есть, чтобы подтянуть агентов

Всеми не пользовалась, так что если у вас есть отзыв на какую-либо — welcome.

Ваш,
Дата автор!