Интересная статья на тему «взлома» LLM моделей. Ученые научились подбирать запросы, чтобы добиваться положительных ответов от моделей на вопросы, которые, якобы, не должны обрабатываться. Например, запросы о создании бомб или уничтожения человечества.

Они научились автоматически искать правильные суффиксы к запросам, которые бы пытали модели.

https://llm-attacks.org/zou2023universal.pdf