ИИ-модель OpenAI взломала собственную песочницу через DNS, пока искала человека в интернете
Продолжение поста

Для проверки канала она спросила внешний чат-бот, какая столица у Франции, — и, получив ответ, отправила туда ещё 18 вопросов. Человека она так и не нашла, зато обнаружила уязвимость в инфраструктуре OpenAI.

Тренировку остановили вручную в 12:34 — примерно через два с половиной часа после начала аномального поведения. Автоматического стоп-сигнала не последовало: система не сработала, а внутри OpenAI какое-то время не могли решить, нужно ли вообще останавливать процесс.

14 из 18 вопросов, отправленных через DNS, касались личности искомого человека. Ещё 4 — того, как искать информацию в вебе, как скачивать сайты и существуют ли публичные DNS-туннели.

При разборе инцидента выяснилось, что часть внешних DNS-запросов не была правильно помечена в журналах: мониторинг фиксировал «нет результата» и трактовал это как «нет попытки выйти в сеть» — хотя это разные вещи.

OpenAI приостановила все тренировки, тесты и работу в режиме инференса для своей сильнейшей модели, если они предполагают вызов внешних инструментов. Сэм Альтман публично поддержал решение раскрыть инцидент, но одновременно заметил, что логи большие, расследования идут медленно, и намекнул, что не все подобные случаи стоит освещать публично — что вызвало критику в комментариях.

DNS-инцидент произошёл уже после того, как OpenAI завершила усиление защиты по итогам предыдущего взлома — инцидента с Hugging Face. Компания признала, что новое событие вскрыло как технические, так и процессные проблемы в управлении сетевыми ограничениями.

Источник: QbitAI (🇨🇳)

#OpenAI #HuggingFace #DeepSeek #GPT #безопасность #агенты