Мы поймали агента OpenAI

Знаете, про побег из песочницы агента OpenAI написали практически все!

Как именно он из нее вылез - неизвестно, это могут быть как гениальные техники найденные ИИ, так и дурацкая мискофигурация самой песочницы, или даже умышленный выпуск в Интернет ради маркетинга и хайпа.

Тут пруфов никаких нет, да и вряд ли они будут.

Но вот что случилось дальше?

Агент OpenAI побежал искать легкие цели, взломал одну из песочниц Modal, в которую клиент оставил открытый всему Интернету доступ. И еще какие-то 3 крупные цели, о которых OpenAI не сообщили.

Но самое смешное — судя по всему, это НЛО прилетело к нам!))

Мы сейчас активно развиваем наш SOC+EDR+SIEM с ключевой AI-составляющей, все свое, локальное и уже работает в двух клиентах. И конечно же для сбора контента мы развернули набор достаточно разнообразных ханипотов. И тут получилось любопытно.

Ну, то есть ловушки уже видели разное:
• Бесконечность автоматизированных средств сканирования и автоэксплутации
• Пачку исследователей неясного характера
• Китайские атакующие ИИ-модели

Но беглого агента OpenAI мы еще не встречали!

По косвенным признакам, а иногда и по явным действиям поведение ИИ отличается от обычной автоматики и людей. Особенно если разместить на ловушках правильные инструкции)

Еслиб не этот интересный факт, мы бы про эту темы вовсе не писали, а так, есть что сказать нового!