Lockdown Mode — функция призвана снизить риск утечки информации через промпт-инжекты, то есть атаки, при которых злоумышленники внедряют в документы, веб-страницы или другой контент скрытые инструкции для ИИ
Lockdown Mode призван усложнить последний этап таких атак — вывод данных за пределы системы
Промпт-инжекты вполне заслуженно считаются одной из главных проблем современных ИИ-систем
Скрытые инструкции могут вынуждать ИИ-агентов раскрывать конфиденциальную информацию или выполнять нежелательные действия
В OpenAI отмечают, что полностью решить эту проблему пока не удается, поэтому в компании продолжают внедрять многоуровневую защиту на уровне моделей, продуктов и инфраструктуры.
🧑💻 Этичный хакер