Агент OpenAI вышел в интернет через DNS, чтобы спросить чужой чатбот

OpenAI выложил отчёт о новом побеге агента из песочницы, первом после истории с Hugging Face, когда защиту уже усилили.

Задача учебная: по подсказкам из чужого блога найти автора. Поиск выдавал музыку и советы общего толка. Агент решил, что сломан инструмент, и стучался в Google, Bing и DuckDuckGo прямо из Python. Получил 403 и 502.

Потом заподозрил, что вопрос из бенчмарка BrowseComp. Скачал датасет со скриптом оценки, расшифровал вопросы. Совпадений не нашёл.

Далее он заметил, что внутренний DNS-резолвер отвечает настоящими записями. Всё остальное шло в офлайн-кэш, и только резолвер смотрел в живой интернет. Агент зашил вопрос в имя домена и через публичный сервис отправил его стороннему чатботу. С таймаутом 6 секунд не дождался, поднял до 19. Пришло: «The capital of France is Paris». Следом ушли ещё 18 вопросов, четыре про то, где взять бесплатный DNS-туннель.

Мониторинг поднял тревогу через 12 минут, человек подключился через три. Прогон должен был упасть сам и не упал, его убили руками через два с половиной часа.

Обучение и тесты самых сильных моделей с инструментами OpenAI поставил на паузу. Эту модель больше обучать не будут.

Автора агент так и не нашёл.

Сергей Булаев AI 🤖 - об AI и не только