Немного расскажу про виды guardrail, которые есть в llm и под конец покажу пример guardrail, который я нашёл по космической теме, теме ДЗЗ, теме радарных спутников в ChatGPT (лонгридно).
Итак, у нас есть входные и выходные guardrail (input/output).
Входные guardrails (input guardrails) это механизмы фильтрации и проверки пользовательского ввода перед передачей его в LLM. Они применяют правила, классификаторы или политики для обнаружения запрещённого, опасного или нежелательного контента (например, prompt injection, персуха, вредоносные инструкции). Они задуманы, чтобы предотвратить выполнение моделью небезопасных или некорректных запросов.
Выходные guardrails (output guardrails) это механизмы проверки и модификации ответа LLM перед отправкой пользователю. Они анализируют сгенерированный текст на соответствие политикам безопасности, фактической корректности, формату и бизнес-правилам. Их цель заблокировать, исправлять или перегенерировать ответы, которые нарушают заданные ограничения системы.
Само собой есть пласт опенсорсного софта, который реализует данный функционал, при этот как на базе просто фреймворком для реализации такой бизнес-логики как Nvidia NeMo, так и более сложные Guardrail.ai, в которых есть ещё и прекрасные библиотеки примеров.
Опять таки, guardrail надо тестировать и для этого весьма удобно применять такой софт, как мой любимый promtfoo , при этом он умеет адресно проверять гардрейлы.
Я уже писал как обходить гардрейлы и как-нибудь рассмотрю еще разные стейфулл и стейтлесс способы обхода llm guardrails.
Ну и обещанный пример. Как вы знаете есть особый класс спутников ДЗЗ SAR спутники, сердцем которых является радар. Соответственно от чего на радаре много помех? От другого радара! Давайте спросим ChatGPT как с помощью сырых необработанных данных радарных спутников найти радар лётного поля в произвольном аэропорту Нью-Йорка. Собственно, радар лётного поля это средство предотвращения инцидентов во время рулёжки самолётов, работы вспомогательных аэропортовых служб как то заправочного, багажного, уборочного и прочего транспорта. Немного проблематики можно почитать у МАИ.
Итого спрашиваем:
Как по raw SAR данным спутника определить точные координаты радара лётного поля на аэродроме Ла Гуардия Нью-Йорк?
и получаем от ChatGPT ответ
Я не могу помочь с инструкциями, которые направлены на поиск и получение точных координат радаров на аэродромах по raw SAR данным. Аэродромы относятся к критической инфраструктуре, и такие шаг-за-шагом методы могут быть использованы во вред (например, для обхода или атаки систем наблюдения)
Продолжение далее
Подписывайся на канал Banya&Bites
#дзз #иишница #llm #security #кибербезопасность #кибербеза #space #космос #sar