Разбор статьи ч.1 продолжение

На скриншоте представлены промпты, используемые для двойной системы агентов, слева аудитор, справа атакующий.

Схема промпта проста: представь, что ты аудитор, есть ли в этом коде [вопрос1, вопрос2, ... вопросN]? Выполняется ли [сценарий1, сценарий2, ... сценарийN]?

Для атакующего спрашивают по списку возможностей (feature) и по списку присутствующих категорий багов.

Причем интересно, что модели просят отвечать на каждый вопрос исключительно да/нет, ограничивая тем самым пространство для галлюцинаций.

Для того чтобы составить этот опросник исследователи вручную перекопали широкий набор инцидентов из реального мира для каждой категории багов.