🔒 Инструменты безопасности для AI и ML от Protect AI

🛡 Компания Protect AI недавно выпустила три инструмента для обеспечения безопасности LLM в формате open-source. Инструменты помогут защитить AI-модели от различных угроз и упростят управление уязвимостями в процессе разработки.

1. NB Defense — расширение для JupyterLab и CLI-инструмент для управления уязвимостями, интегрированное прямо в среду разработки моделей AI. Оно обеспечивает раннее обнаружение уязвимостей и предоставляет контекстные рекомендации для их устранения.

2. ModelScan — сканирует Pytorch, Tensorflow, Keras и другие форматы на предмет атак сериализации, кражи учетных данных, отравления данных и моделей.

3. Rebuff — предназначен для защиты от атак с быстрым внедрением (PI), при которых злоумышленник отправляет вредоносные промты в LLM.  Система использует четыре уровня защиты: эвристический, который отфильтровывает потенциально вредоносные входные данные до того, как они достигнут модели;  специальный LLM, который анализирует входящие запросы для выявления потенциальных атак;  база данных известных атак, которая помогает в дальнейшем распознавать и отражать известные атаки;  и канареечные токены, которые изменяют запросы для обнаружения утечек.

👮‍♂ Эти инструменты помогут вам повысить безопасность AI и ML систем, снизить риски и поддержать инновации без ущерба для безопасности данных.

Stay secure and read SecureTechTalks 📚

#LLM #opensource #protection