Новый подход к контролю чувствительных данных в LLM

Авторы "Trustworthy AI: Securing Sensitive Data in Large Language Models" предлагают комплексный фреймворк для динамического управления раскрытием ПД в LLM. Основная идея - внедрение доверительных механизмов (через RBAC и ABAC), которые позволяют LLM адаптировать свои ответы в зависимости от уровня доверия пользователя, тем самым обеспечивая безопасное и контролируемое поведение модели при работе с чувствительными данными. Особенно актуально для таких доменов, как healthcare, legal, finance.

Какие проблемы осветили:
Black-box-природа LLM: Пользователи и разработчики не имеют достаточного контроля над тем, какие данные может раскрыть модель, так как внутренние механизмы обучения непрозрачны.
Утечки через обучение: LLM могут запоминать части тренировочных данных (включая PII), и воспроизводить их при определённых запросах.
Эксплойты через промпты: Злоумышленники могут использовать специально сконструированные запросы для извлечения чувствительной информации.
Недостатки текущих методов защиты:
Подходы не учитывают уровень доверия пользователя.
Средства, такие как фильтрация по словам, неэффективны против семантических вариаций и требуют значительных вычислительных ресурсов.
Универсальные политики доступа приводят либо к переоткрытию, либо к избыточному ограничению.

Кратко про существующие методы:
Data Sanitization: Удаление конфиденциальных данных из обучающего корпуса. Плюс: Прямое исключение чувствительной информации. Минус: Трудно масштабировать, автоматизация не справляется с контекстом, ручной анализ невозможен для миллиардов токенов.
Differential Privacy: Добавление шума в процессе обучения, чтобы скрыть детали отдельных данных. Плюс: Теоретически защищает от атак на приватность. Минус: Снижает точность модели, требует больших ресурсов, сложно применимо к LLM в реальности.
Output Filtering: Постобработка с целью фильтрации чувствительной информации в ответах модели. Плюс: Последняя линия защиты перед пользователем. Минус: Высокая вероятность ложных срабатываний, легко обойти продвинутыми запросами, не различает уровни доверия пользователей.

Предлагаемые решения: Авторы предлагают внедрение динамического фреймворка доверия, основанного на двух концепциях:
RBAC (Role-Based Access Control): Доступ к данным регулируется на основе ролей (например, врач, юрист, студент).
ABAC (Attribute-Based Access Control): Учитываются дополнительные параметры — контекст запроса, устройство, временные метки, политика компании и др.
Фреймворк включает три модуля:
User Trust Profiling: Определяет доверие к пользователю.
Information Sensitivity Detection: Обнаруживает чувствительные данные в выходе модели.
Adaptive Output Control: Настраивает ответ модели в зависимости от доверия.
Таким образом модель может динамически адаптировать свое поведение.
#BehindTheMachine #AIShelf