​​учёные создали чат-бота, который взламывает других чат-ботов

В Наньянском технологическом университете обучают ИИ чат-бота созданию промптов, чтобы обходить защиту других чат-ботов на базе ИИ.

Исследователи использовали двойной метод взлома LLM, который назвали Masterkey. Они провели реверс-инжиниринг, чтобы выяснить, как большие языковые модели выявляют вредоносные запросы и защищаются от них. На основе этого учёные настроили самообучение, чтобы LLM предлагал промпты для обхода защиты. Модель может автоматически адаптироваться к новым условиям и создавать новые запросы для взлома, даже если атакуемую LLM патчат.

Всё это нацелено на то, чтобы определять слабые стороны и ограничения чат-ботов, чтобы потом принять меры по их защите от хакеров. (А не то, что вы подумали.)