Orion soft теперь проверяет модели на уязвимости

Вышла новая версия платформы безопасности для работы с языковыми моделями. Мы про неё уже писали, когда там появился учёт расходов на токены. Теперь фокус взяли на защиту.

🔴Инновационность в том, что платформа научилась проверять на прочность сами модели.

🔴Стресс-тесты на устойчивость к prompt-injection и jailbreak — к попыткам обмануть модель хитрым запросом или вытащить из неё лишнее. Плюс проверка моделей и файлов на вредоносный код.

⬛️Как только модель получает доступ к реальным данным, она сама становится и целью атаки, и потенциальной дырой. Отсюда и спрос на инструменты, которые проверяют не периметр вокруг ИИ, а сам ИИ.

🦾 AI для бизнеса в Telegram | в MAX