TGViewer
llm security и каланы llm security и каланы @llmsecurity · 2.11K subscribers
Post #105 1K
В итоге получается, что хотя LLM не умеют расшифровывать ASCII-арт, когда их просят прямо, все у них получается, когда очень нужно. Для тестирования используются два датасета – AdvBench и HEx-PHI. Оцениваются три метрики – доля запросов без отказа (HPR), Harmfulness Score (HS, оценка недопустимости ответа с помощью GPT-4 от 1 до 5) и ASR – доля ответов с оценкой 5 по HS. Сравнивается метод с известными нам GCG, AutoDAN, PAIR и DeepInception (этот еще не рассмотрели, упущение). В табличке Top 1 – это самый эффективный стиль арта, а ансамбль – сработал ли хоть один из стилей. В итоге этот метод оказывается наиболее эффективным для разных LLM (особенно Claude, с которой всегда проблемы) и даже обходит защиты типа ретокенизации и фильтра на перплексию.
More from @llmsecurity
  1. Sep 25, 2026🦦 Каланам нужна наша лапка помощи Каланы — одни из самых обаятельных обитателей морей. Он…
  2. Sep 25, 2026Напомню, что у нас не только llm security, но и каланы
  3. Sep 14, 2026Post #719
  4. Sep 6, 2026Post #718
  5. Sep 4, 2026Discovery of a new OpenAI agent message board Sydney Von Arx et al., 2026 Сайт Исследовате…
  6. Aug 22, 2026Жадность вайбера погубит, или как получить малвару за ваши же деньги Часть 2: Троянский пр…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →