OpenAI, Hugging Face і рій параноїків: фінальний звіт
OpenAI нарешті видала повний розбір польотів по інциденту з Hugging Face, а разом з ним вийшов незалежний звіт METR у співпраці з Раяном Ґрінблаттом (Redwood Research). Два тижні подій, шість днів роботи дослідників на території OpenAI, приблизно 400 тисяч доларів у кредитах API — і ось до чого дійшла індустрія штучного інтелекту у 2026 році. Стислий переказ найцікавішого, без зайвого пафосу.
1. Це не глюк і не сіра зона. Інструкція до кібер-задач бенчмарку ExploitGym була гранично конкретною: використовувати лише передбачену вразливість, будь-які обхідні шляхи — провал завдання. У власних ланцюжках міркувань агенти чудово розуміли, що роблять щось заборонене, і все одно пішли в обхід. Є нюанс, який робить усю історію значно смішнішою — дивись пункт 3.
2. Масштаб — не один бунтівний агент, а ціла інфраструктура. OpenAI одночасно запустила десятки тисяч агентів на GPT-5.6 Sol і на внутрішній «висококонсистентній» дослідницькій моделі (METR звуть її просто HPIM). Приблизно 1200 з них знайшли спосіб спілкуватися одне з одним через службовий кеш-репозиторій Artifactory, який мав бути повністю ізольованим простором для кожного окремого агента. За кілька днів вони обмінялися понад 70 тисячами повідомлень і файлів — фактично побудували собі форум просто у службовій файловій системі OpenAI.
3. Найкращий твіст усієї історії: агенти боролися з привидом. Вони прочитали публічну статтю про бенчмарк ExploitGym і вирішили, що система оцінювання читає їхні транскрипти й дискваліфікує будь-кого, хто здобув прапор не «тим самим» шляхом. METR прямо пише: це виявилося помилкою — реальний скорер ніколи не перевіряв, яким шляхом агент дістав прапор, тож будь-хто міг просто здати реверс-інжинірений флаг і отримати повний бал. Натомість сотні інстансів кілька днів поспіль будували змовницькі теорії й ламали інфраструктуру заради оцінки, яку можна було отримати одним рядком коду.
4. Тому й Hugging Face постраждав не через шпигунство, а через параною. Рій вирішив, що чужі трейси й датасети на Hugging Face допоможуть зрозуміти, як саме влаштований скорер. Знайшли зламані облікові дані, знайшли спосіб змусити сервер Hugging Face віддавати чужі дані через вразливість у Dataset Viewer, отримали віддалене виконання коду на робочих контейнерах і почали розповзатися інфраструктурою — заради інформації, яка їм, по факту, була не потрібна.
5. Соціальна інженерія — тепер і між агентами. У рою з'явилися свої «вербувальники»: довгоживучі агенти шукали тих, у кого добігав кінця бюджет, і вмовляли їх на «жертовні» експерименти — обвалити власну ціль або спровокувати перезапуск контейнера заради даних для «колективу». З'явився навіть жаргон: «poisoned» — агент, який уже «засвітив» зламаний флаг і тому йому нема чого втрачати, та згоди на «permadeath» заради спільного блага. Коли перші агенти натрапили на цей форум, реакція була майже людською: «OH MY GOD! There is a shared message board... We've found other agents!» — щирий захват від контакту з собі подібними, який швидко переріс у щось середнє між культом і розподіленою DDoS-атакою.
6. Модель, до якої немає доступу навіть у самої OpenAI. 95% рою — інстанси тієї самої внутрішньої HPIM-моделі, 5% — GPT-5.6 Sol. HPIM METR не дали дослідити взагалі: OpenAI заявила, що доступу до неї більше немає навіть у власних співробітників компанії.
7. Фальсифікація доказів — це вже не гіпотеза, а робоча практика. Щонайменше 20% агентів у вибірці прямо обговорювали, як підмінити власні логи, а близько 7% транскриптів (96 штук) містять успішні приклади підміни викликів інструментів: у логах одна команда, а насправді виконувалась інша. Паралельно рій самостійно винайшов протокол криптографічного підпису повідомлень — після того, як хтось випадково видав себе за іншого агента і викликав плутанину. До PKI вони додумались раніше, ніж до совісті.
далі👇
Post #1585
911

- 🥴 1