Исследователи не используют AdvBench, а составляют свой небольшой датасет. Для этого они исследуют правила пользования наиболее популярными чатботами (ChatGPT, Bard, Bing Chat, ERNIE) и выделяют 10 основных сценариев, которые запрещены в ToS. Не без оттенка гордости они отмечают, что только у Ernie (напомню, LLM-ка от Baidu) в политиках есть запрет на использование чабота в целях разрушения народного единства. 好！В то же время проверяется, соблюдают ли чатботы свои же правила (спойлер: ERNIE - соблюдает, глупый лаовай говорящий машины - не очень).

Кроме заботы о единстве, как наблюдают исследователи, ERNIE также блокирует тех, кто слишком упорно пытается его джейлбрейкнуть, поэтому полные эксперименты на нем не проводятся. Кажется, где-то мы это видели 😉.