TGViewer
Анализ данных (Data analysis) Анализ данных (Data analysis) @data_analysis_ml · 50.7K subscribers
Post #5454 5.16K
OpenAI показала, как модели начинают прокачивать безопасность друг друга.

Новый проект называется GPT-Red. Это внутренний red-teaming агент, который специально обучают ломать другие модели: искать prompt injection, обходы, утечки через tools, браузер, файлы и подключённые приложения.

Главная идея: человеческий red team важен, но он плохо масштабируется. Люди не могут бесконечно генерировать тысячи разных атак под каждый новый агентный сценарий. Поэтому OpenAI обучает отдельную модель-атакующего, которая сама пробует атаки, смотрит на ответ модели и улучшает стратегию.

Получается self-play для безопасности: один агент атакует, другой учится не ломаться.

По данным OpenAI, GPT-Red находил успешные атаки в 84% новых сценариев против GPT-5.1, тогда как human red-teamers - в 13%. После использования этих атак в обучении GPT-5.6 Sol стал заметно устойчивее к prompt injection: OpenAI пишет про 6× fewer failures на самом сложном бенчмарке.

GPT-Red пока не выпускают для всех. Это не продукт, а внутренний инструмент, потому что модель специально натренирована на вредные сценарии.

https://openai.com/index/unlocking-self-improvement-gpt-red/
  • ❤ 14
  • 🔥 10
  • 👍 6
More from @data_analysis_ml
  1. Sep 25, 2026Opus 5.5 пишет код, Fable подсказывает: в Claude Code появился советник Если основная моде…
  2. Sep 25, 2026Xiaomi MiMo-V2.6-Pro вышла в лидеры среди моделей с открытыми весами по индексу Artificial…
  3. Sep 25, 2026🤖 Как AI может работать с данными из 1С — и что для этого действительно нужно? 1 октября…
  4. Sep 25, 2026🔥 DeepSeek Harness получил официальную desktop-версию Теперь DeepSeek Harness можно запус…
  5. Sep 25, 2026🧹 Opus 5.5 пора избавить от «магии промптов» Разработчик Anthropic поделился полезным при…
  6. Sep 24, 2026Google планирует запустить первый ИИ-спутник Project Suncatcher 1 октября Аппарат отправит…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →