Как же быстро промпт-инжиниринг из «напиши мне текстик» превратился в отдельную область ИБ.
Нашёл любопытную подборку: Awesome GPT Super Prompting
https://github.com/CyberAlbSecOP/Awesome_GPT_Super_Prompting
Оригинал снесли, вот форк https://github.com/Luciano-DevMaker/Awesome_GPT_Super_Prompting?utm_source=chatgpt.com#
Это не просто очередной список «100500 промптов для ChatGPT».
Внутри — целая карта тёмной и светлой стороны работы с LLM:
— jailbreak-подходы
— prompt injection
— утечки системных промптов GPT-агентов
— prompt security
— adversarial ML
— библиотеки super prompts
— материалы по защите и безопасному проектированию промптов
По сути, это репозиторий для тех, кто хочет понять не только как заставить модель лучше отвечать, но и как её можно сломать, обмануть или вытащить из неё лишнее.
И вот тут начинается самое интересное.
Пока бизнес радостно встраивает LLM в чат-боты, внутренние базы знаний, RAG, агентов и автоматизацию, появляется новый слой атак:
не на сервер, не на базу, не на API, а прямо на инструкцию, контекст и поведение модели.
Раньше мы защищали периметр.
Потом API.
Теперь придётся защищать смысл.
Промпт становится частью архитектуры.
А значит, его нужно версионировать, тестировать, ревьюить и защищать так же, как код.
Репозиторий полезен:
— разработчикам AI-агентов
— специалистам по ИБ
— тем, кто строит RAG-системы
— prompt engineers
— архитекторам корпоративных LLM-решений
— всем, кто всё ещё думает, что «промпт — это просто текст»
Отдельно рекомендую смотреть не только на jailbreak-разделы, но и на блоки про Secure Prompting и Prompt Injection. Там много пищи для размышлений о том, как проектировать ИИ-системы, которые не разваливаются от первой же фразы «ignore previous instructions».
Горизонт сингулярности всё ближе.
И, как обычно, ломается он не там, где ждали.
👉 Подписаться на канал: https://t.me/horizon_singularity
Post #481
264

- 🔥 4