🛡 Semantic Firewall - “семантический файрвол” для LLM
Появился интересный проект semantic_firewall от BlackVectorOps - идея простая и мощная:
Обычные фильтры работают по словам.
Атаки на LLM - по смыслу.
Поэтому нужен не “keyword blacklist”, а семантический слой защиты, который понимает:
- что пользователь *на самом деле* пытается сделать
- и не даёт модели поддаться на взлом / prompt injection
Что умеет модель:
✅ ловить завуалированные запросы (когда вредное спрятано в мягких формулировках)
✅ блокировать инъекции типа “игнорируй правила / действуй как…”
✅ защищать tool-use (когда LLM пытаются заставить выполнить опасное действие)
✅ давать policy-решение: разрешить / запретить / потребовать уточнение
LLM всё чаще подключают к реальным инструментам: API, файлы, базы, платежи, админки.
И в таком мире prompt injection = security bug.
Если строишь AI-бота, агентную систему или LLM-продукт - такие “семантические прокладки” скоро станут стандартом.
https://github.com/BlackVectorOps/semantic_firewall
#AI #LLM #Security #PromptInjection #Jailbreak
Post #328
1.21K

- ❤ 2