На митапе «Цифровой диалог на Неве» я выступала с темой «Безопасность ИИ для системного аналитика».
Вокруг LLM сейчас столько хайпа, что про безопасность вспоминают не все.
Другие доклады только подтвердили: мы все нащупываем новые роли.
👉 Как ощущает себя системный аналитик в эру ИИ
👉 Agent Coding для аналитика
❓ Ваша LLM-безопасность: 5 вопросов себе
Вместо скучной лекции показала чек-лист вопросов, которые необходимо задавать перед оптравкой промпта.
Когда вы в следующий раз откроете ChatGPT или корпоративный LLM, остановитесь на 10 секунд и спросите себя:
1️⃣ Удалил ли я из промпта всё, что нельзя показывать посторонним?
ФИО, паспорт, IP, банковские реквизиты, внутренние кодовые названия проектов. LLM запоминает и может «случайно» вернуть это другому пользователю.
2️⃣ Запросил ли у модели источники или пошаговую логику?
Если ИИ выдал готовый ответ без объяснений — вы не можете проверить, откуда он взялся. Просите ссылки, обоснования, шаги рассуждений.
3️⃣ Добавил ли запрет на генерацию опасного кода?
LLM может радостно сгенерировать
DELETE FROM users; без WHERE или eval(input()), если вы об этом не попросите. Прописывайте ограничения прямо в промпте.4️⃣ Проверил ли ответ на противоречия с утверждёнными артефактами?
ИИ может звучать убедительно, но противоречить вашему ТЗ, архитектурному решению или стандарту безопасности. Сверяйте.
5️⃣ Использую ли LLM для NDA-материалов?
Только локальную или корпоративную. Публичный ChatGPT — не место для коммерческой тайны.
⚠️ OWASP Top 10 для LLM
Да, у OWASP теперь есть отдельный топ‑10 рисков для генеративного ИИ. Там, например:
Prompt Injection — Инъекция промптов — пользователь заставляет бота игнорировать системные правила.
Insecure Output Handling — Небезопасная обработка выходных данных — модель возвращает HTML с тегом script, и фронтенд его выполняет. Классический XSS, но источник — LLM.
Excessive Agency — Избыточный уровень прав — это когда у модели слишком много прав. Она сама решает вызвать API удаления данных. Очень опасная штука.
Data Poisoning — Отравление данных — в базу знаний (RAG) или в датасет для дообучения кто-то загрузил вредоносный документ.
🎓 Моё резюме
LLM — мощный инструмент, но не магия. И тем более не замена головы.
Промпт тоже требования. Только требования к нейросети. Чем точнее вы опишете, что можно и что нельзя, тем меньше рисков.
А вы как проверяете свои промпты? Есть свои «запретные темы»? 👇
#Термины #Инструменты