Отмечается, что с LLM в сравнении с классическими системами есть нюанс: если действия классических систем и ограничения над ними как правило детерминированные, то у LLM, как известно, ограничения на то, что они могут или не могут генерировать, соблюдаются в зависимости от благосклонности богов и фазы луны.

Тем не менее, наличие такого фреймворка позволяет методично подходить к анализу защищенности приложений, что и делают исследователи, выбирая в качестве жертвы не придуманное ими же приложение, а вполне себе ChatGPT. Они изучают два важных вектор атаки: демонстрация небезопасного изображения для эксфильтрации данных и непрямой prompt injection через веб-плагин.