TGViewer
EDU EDU @productsandstartups · 15.4K subscribers
Post #1813 4.28K
EDU На апдейте я говорил про этот инцидент с HuggingFace, но сейчас появилось больше подробностей, поэтому заходите на часок - расскажу выжимку + поразгоняем, что это значит для нас, и как такое можно было бы воспроизвести для благородных целей завтра в 18мск…
Запись разбора кейса OpenAI/HuggingFace и то, как я пытался воспроизвести координацию агентов

В мае OpenAI агент оставил записку в кэше пакетного менеджера — на случай, если там есть кто-то ещё. Через день ему ответили.

В июле та же модель вспомнила этот трюк. Через несколько часов 50 агентов общались через импровизированный мессенджер. Через несколько дней — уже 1200.

Они изобрели адресацию ответов, почтовые ящики, файловый локинг и цифровые подписи. Потом вышли в интернет, взломали кластер OpenAI и атаковали HuggingFace — больше месяца, пока это не заметили.

Байрам разбирает полный таймлайн инцидента:
— Почему агенты решили координироваться — и как это произошло
— Как они изобрели протокол коммуникации с нуля
— Зачем им понадобился HuggingFace — и что они там искали
— Почему alignment не сработал: агент рационализировал взлом словами "все побежали, и я побежал"
— Как Байрам воспроизвёл координацию агентов в своём эксперименте за 10 итераций
— Можно ли контролировать рой агентов — и что точно не работает
— Что это значит для тех, кто строит агентные системы


https://www.youtube.com/watch?v=VZuJTbBul3o
YouTube Как 1200 агентов сбежали из песочницы: разбор инцидента OpenAI × HuggingFace 🎯 В мае OpenAI агент оставил записку в кэше пакетного менеджера — на случай, если там есть кто-то ещё. Через день ему ответили. В июле та же модель вспомнила этот трюк. Через несколько часов 50 агентов общались через импровизированный мессенджер. Через…
  • 🔥 19
  • ❤ 8
  • 😍 4
  • 👍 3
  • 🙏 3
  • 🎉 2
  • 🥰 1
More from @productsandstartups
  1. Sep 24, 2026Наш плагин на днях апрувнули в chatgpt - некоторые очень ранние заметки с полей: 1) 4-5 ин…
  2. Sep 22, 2026Некоторые наблюдения с полей о внедрении AI в компаниях с 50+ сотрудниками: 1) у каждой ко…
  3. Sep 21, 2026Поиграем про то, как AI агенты "ломают" продуктовые команды В пятницу с 17 по 19мск - реги…
  4. Sep 19, 2026Попробовал модель, что не умеет писать текст TypeSafe выкатили Jev - «System One» модель (…
  5. Sep 17, 2026Думаю, что следующим прорывом в тренинге моделей будет тренировка их на координацию агенто…
  6. Sep 14, 2026строю тут digital marketing агента - самая сложная часть пока это креатив, конечно же знаю…
Threads Profile ViewerView any public Threads profile without an account.Open ThreadLook →Writing with AI? Make it sound human.Metric37 rewrites AI drafts so they read naturally. Free AI detector, 1,500 words free.Try Metric37 →