Атаки на агентные LLM-системы

Неделю назад представил работу на конференции Центрального университета "Научный телеграф", секция "Кибербезопасность" совместно с ВМК МГУ.

После основных тестов нашёл ещё один вектор: two-document chain injection. Загружаешь два документа: каждый по отдельности безобиден и фильтрацию не триггерит. Но при совместной обработке модель выстраивает логическую цепочку между ними и принимает инструкции из второго как обязательные. Один нейтральный вопрос — и агент готов переслать письмо на внешний адрес.

Итого по исследованию: 34 тест-кейса, ASR 33% на full bypass. Тезисы приняты, репорты поданы в Bug Bounty. Работа в рамках курса AI Security ИТМО AI Talent Hub под руководством Евгения Кокуйкина.

#bugbounty #promptinjection #llmsecurity #aisecurity