Что такое JailBreak-атаки: почему ИИ нарушает собственные правила и как это работает

Чтобы «взломать» нейросеть, иногда хватит правильно составленного текста. Попросить модель сыграть персонажа без правил, вспомнить покойную бабушку с химзавода, разбить опасный вопрос на цепочку безобидных или просто закодировать его в Base64. Дальше модель обходит собственные ограничения сама, причем из лучших побуждений, так как искренне хочет помочь.

🔗 Ссылка:
https://habr.com/ru/companies/selectel/articles/1083034/