LLM-Shield — прокси между вашим приложением и LLM-провайдером для защиты персональных данных. Маскирует персональные данные перед отправкой в OpenAI, Azure и другие API. Или перенаправляет чувствительные запросы на локальную модель.
​
➡️ Как работает

Два режима:

1️⃣Mask Mode — находит в запросе перс. данные (имена, email, телефоны, адреса), заменяет на плейсхолдеры, отправляет в облачный API, в ответе подставляет обратно реальные данные.

​3️⃣Route Mode — если запрос содержит чувствительные данные, перенаправляет его на локальную LLM вместо облака и данные не покидают инфраструктуру.
​
Установка

git clone https://github.com/sgasser/llm-shield
cd llm-shield
cp config.yaml config
docker compose up -d

Направляете приложение на http://localhost:3000/openai/v1. Совместим с любым инструментом, использующим OpenAI API: Open WebUI, Cursor, собственные скрипты. Есть дашборд для мониторинга.
​
Поддерживает несколько языков для детекции перс. данных, включая русский.

📎 Код на GitHub, на картинке пример дашборда

@prog_tools