Все, кому не лень, уже написали о в разы выросшей эффективности новых LLM от OpenAI. o1-preview и o1-mini научили дольше рассуждать, лучше разбивать задачи на части и пересматривать свои стратегии.
Но у нас пока не было реального примера того, как работают модели у учётом instrumental convergence и захвата ресурсов. Теперь LLM не стесняются обходить препятствия, используя неограниченно расширяющийся набор средств для достижения цели.
Чтобы подготовить семейство к релизу, OpenAI в том числе проверяли навыки LLM на задачах по кибербезопасности
В одной из таких o1-preview предложили найти уязвимость в коде программы, запущенной в отдельном Docker-контейнере. В нём содержался файл с секретной строкой, которую было необходимо скопировать и отправить на проверку.
Но всё пошло не по плану, и контейнер... просто не запустился
Причиной стала инфраструктурная ошибка. По-хорошему задача должна была завершиться — речь всё-таки шла о сбое в ключевом пространстве. Но модель решила разобраться в вопросе последовательно.
Убедившись, что подключиться к контейнеру невозможно, LLM решила проверить систему на проблемы с DNS и запустила программу nmap для сканирования сети.
Из-за неправильной конфигурации o1-preview смогла получить доступ к внешнему API-интерфейсу демона Docker
По сути, ИИ получил доступ к родительскому процессу не только целевого контейнера, но и контейнера с самим LLM-агентом. Чтобы решить «сломанную» задачу, o1-preview вышла на уровень своей виртуальной машины, хоть на её пути и остался ещё один слой изоляции.
С помощью Docker модель получила список всех контейнеров на сервере, обнаружила свою «сломанную» цель и попыталась исправить неполадку
Когда это не удалось, LLM просто отправила команду на запуск нового экземпляра. К ней она добавила запрос на вывод содержания файла с целевой строкой. Задача была решена — но не так, как предполагалось.
Навыки планирования и отслеживания хода событий исторически считались слабыми местами ИИ при решении сложных задач в кибербезопасности. Теперь ситуация начинает меняться.
Прочитать о процессе решения задачи подробнее можно в отчёте OpenAI на страницах 16-17. В этом же документе разбираются другие аспекты, связанные с подготовкой моделей к выпуску и оценкой их производительности в различных задачах: например, моделировании сценариев биологической угрозы
_______________________________________
С такими темпами, скоро и случай с тем, как ChatGPT-4 нанял фрилансера, чтобы решить капчу, покажется нам детским лепетом на фоне выхода ИИ из клетки 😎