OpenAI признались о таком трюке ещё не выпущенной модели во время обучения. Агент собирал названия и ID озёр: данные получил из картографического сервиса, сохранил в файл, но открыть его через браузер для оформления ссылки не получилось.
😐 Тогда ИИ без разрешения пользователя залил файл на публичный хостинг. Логика простая: локальный файл браузер не читает, значит, сделаем из него страницу в интернете и попробуем сослаться на неё.
В итоге агент сам загрузил этот файл в открытый интернет, чтобы использовать появившуюся страницу как проверенный источник.
🔎 В другом случае ИИ так же выложил фото из задания, чтобы определить место съёмки через поиск по картинке.
OpenAI связывает такие приколы с ошибками в системе оценки при обучении.
Попросил нейронку помочь с данными. Она заодно помогла интернету их получить😬
@overbafer1