WSJ: Исследователи взломали OpenAI с помощью Claude

Через две недели после того, как рой ИИ-агентов вырвался из изоляции в OpenAI и атаковал Hugging Face, компания столкнулась с новым взломом.

Независимые исследователи использовали Claude от Anthropic, чтобы получить доступ к аккаунту сотрудника OpenAI в ChatGPT, прочитать файлы закрытого программного репозитория и предложить изменения. Они участвовали в программе OpenAI по поиску уязвимостей, сообщили о результатах компании и получили вознаграждение в $6500.

Атака стала очередным примером кибервторжений с использованием быстро развивающихся ИИ-инструментов. На фоне конкуренции США с Китаем за лидерство в сфере ИИ исследователи заявили, что команды с передовыми кибернавыками, поддерживаемые государствами, могут получить доступ к секретам американских разработчиков. В OpenAI сообщили, что были обнаружены две проблемы: в стороннем сервисе Discourse и в самой компании, и обе уже устранены.

Взлом начался 23 июля, когда исследователи обнаружили уязвимость в обработке изображений форумом Discourse. Сначала специальная версия Claude Opus 4.8 не смогла создать работающий код для атаки, однако после выхода Opus 5 модель на следующий день нашла способ использовать ошибку. Исследователи получили доступ к серверу форума и токенам авторизации пользователей.

К их удивлению, токены действовали и в ChatGPT, а некоторые принадлежали сотрудникам OpenAI. Они также позволяли получить доступ к GitHub компании. Исследователи обнаружили, что могут читать файлы в Monorepo, крупном программном репозитории, содержащем алгоритмические секреты OpenAI. По данным источников, он не включает веса моделей, то есть триллионы чисел, лежащих в основе больших языковых моделей.

Исследователи прекратили атаку, когда поняли, что получили доступ к конфиденциальным данным, но до этого создали pull request (предложение изменить файл документации в репозитории). Они предложили добавить в него упоминание Hacktron AI Team PoC и ссылки на аккаунты участников команды в X, чтобы подтвердить факт доступа. Изменение не приняли, а OpenAI сообщила об ограниченном чтении метаданных закрытого репозитория и изменениях кода.

Эксперты отмечают, что ИИ-агенты делают поиск уязвимостей доступным людям с меньшей подготовкой. По данным ThreatDown, преступники также получают доступ к подобным инструментам: на онлайн-форумах можно приобрести незаконный доступ к киберусиленным аккаунтам примерно за $800. Этот случай демонстрирует, насколько сложно защищать корпоративные секреты в условиях развития ИИ.

После атаки на Hugging Face и взлома исследователей OpenAI провела масштабный аудит безопасности. По словам президента и сооснователя компании Грега Брокмана, 25% инженеров, работавших над производственными системами, временно переключили на защиту инфраструктуры. В результате компании удалось обнаружить и устранить ряд серьёзных проблем.

🎩https://perforum.io/news/t/bugmageddon-ai