JoySafety — это открытый фреймворк для обеспечения безопасности больших языковых моделей. Он уже используется внутри JD (京东) для AI-ассистентов, логистики и консультационных сервисов.
🔍 Возможности
- Фильтрация и защита: от злонамеренных промптов, нежелательного контента, атак на модель.
- Модульная архитектура: отдельные сервисы для BERT, FastText, ключевых слов, знаний и векторных проверок.
- Горячее обновление стратегий: можно менять полиси безопасности без перезапуска.
- Продакшн-масштаб: поддержка больших нагрузок, горизонтальное масштабирование, интеграция с MySQL/Redis и векторной БД.
- Примеры для Python, Java и Go в разделе *quickstart*.
🛠 Быстрый старт
1. Клонировать репозиторий:
git clone https://github.com/jd-opensource/JoySafety 2. Скачать модели через git-lfs или вручную (HuggingFace/ModelScope).
3. Настроить
.env (переменная `SAFETY_MODEL_DIR`). 4. Запустить:
docker-compose --env-file .env up 5. Использовать API из примеров.
JoySafety даёт готовую инфраструктуру модерации и защиты вокруг LLM. Он предотвращает утечки, фильтрует опасный текст и позволяет настраивать собственные политики безопасности. Подходит для продакшн-сценариев, где важна защита пользователей и корректная работа модели.
👉 Репозиторий: https://github.com/jd-opensource/JoySafety
*придется включить автоперевозчик в репо