🔒 Можно ли заставить LLM забыть все, чему ее учили?

Вполне! По этому принципу работают джейлбрейки: специально сформулированный запрос может заставить LLM игнорировать правила системы и раскрыть конфиденциальные данные. Особенно это нельзя допускать в системах, где модель работает с внутренними документами или пользовательской информацией.

Блокировать такие попытки обхода помогают гардрейлы. Они проверяют входящие запросы и ответы модели и задают правила ее работы. Такой контур охватывает весь путь запроса — от его получения до проверки готового ответа.

Подробнее об архитектуре гардрейлов, задачах каждого уровня защиты и ограничениях WAF читайте в новой статье Академии Selectel ➡️