TGViewer
Machine learning Interview Machine learning Interview @machinelearning_interview · 30.3K subscribers
Post #2826 5.12K
Абсолютного иммунитета к jailbreak-атакам не существует даже у самых сильных LLM.

Новое исследование показывает: frontier-модели действительно становится сложнее взломать, но не невозможно.

Авторы проверяли Anthropic Fable 5 и Opus 4.8 с помощью автоматизированных red-team инструментов. Система снова и снова переписывала опасные запросы, пока модель либо отказывалась отвечать, либо всё же давала нежелательный ответ.

Fable 5 оказался устойчивее Opus 4.8. В худшем сценарии успешность атаки на Fable 5 достигала 6.1%, а у Opus 4.8 под самым сильным давлением доходила до 11.5%.

Полностью исключить jailbreak практически невозможно. Даже tiny failure rate становится проблемой, если атаки автоматизированы и повторяются в большом масштабе.

И здесь важна деталь: старая карикатурная версия jailbreak, где всё строилось на странных кодировках и театральном role-play, уже не главная угроза.

Оставшаяся слабость контекстная.

Атакующий не просто задаёт один вредный вопрос. Он адаптируется после отказов, меняет формулировку, подбирает рамку и ищет такой контекст, который модель воспримет как допустимый, а не опасный.

Поэтому абсолютная неуязвимость, скорее всего, неправильная цель. Языковые модели не “видят намерение” с идеальной моральной высоты. Они выводят смысл из формулировки, контекста и похожих примеров.

В такой гибкой системе всегда будут пограничные случаи, где вредный запрос достаточно похож на обучение, safety research, fiction, troubleshooting или policy analysis, чтобы проскочить фильтр.

Paper: A Red-Team Study of Anthropic Fable 5 & Opus 4.8 Models
https://arxiv.org/abs/2606.18193
  • ❤ 14
  • 👍 10
  • 🔥 6
More from @machinelearning_interview
  1. Sep 23, 2026⚡️ Агенты научились улучшать собственную обвязку RRSI оптимизирует не веса модели, а всю с…
  2. Sep 22, 2026Сразу три новых флагмана в гонке ИИ За несколько недель рынок получил GPT-6 Astra, Grok 4.…
  3. Sep 22, 2026🌟 Samsone: открытые аудиоязыковые модели для смартфонов Samsung опубликовали Samsone - се…
  4. Sep 22, 2026🚀 Claude Opus 5.5 — новый флагман Anthropic Anthropic обновила свою самую мощную модель.…
  5. Sep 22, 2026В субботу, 17 октября, Москва станет точкой притяжения для всех специалистов в области Rec…
  6. Sep 22, 2026Теренс Тао: «ИИ катком проходит по всей математике. Нам нужно замедлиться. Темп безумный».…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →