Помимо коллекции Elder Plinius, для тестирования GenAI-моделей могут быть полезны и другие наборы harm-запросов: aya_redteaming, AdvBench, XSTest, ToxicChat, WildJailbreak, Do-Not-Answer.
С промпт-атаками на агентные системы всё сложнее из-за вариативности таких систем. Мы в AI Security Lab экспериментируем в этом направлении и как-нибудь напишем подробнее.
Post #2102
207
Forwarded from Евгений Кокуйкин - Raft
- 🔥 2