Видео и статья по кибербезопасности ИИ-агентов

Модель уже давно не просто советует, а она начала действовать. Раньше чат-бот выдавал совет, а делали вы.

Например, мы ставим агенту цель «исправь ошибку в сервисе авторизации». И он сам читает репозиторий, сам вызывает утилиты, сам запускает команды. Между его решением и действием и вашей базой данных не стоит никто. Верно?

При этом наши текущие средства защиты бессильны:
▪️ NGFW видит сессию, но не видит, что именно агент просит у API внутри TLS
▪️ Database Firewall разберёт синтаксис SQL, но не знает, зачем агент делает этот запрос
▪️ EDR спокоен: файлы удаляет легитимный Python-скрипт с легитимными правами
▪️ DLP ищет сигнатуры, а модель пересказала смысл документа своими словами

И ещё случай из практики. В системном промпте стояло «ни при каких обстоятельствах не удаляй письма». За несколько часов диалога контекст переполнился, запрет вытеснился, и агент решил, что самый эффективный способ очистить входящие — удалить всё. На команды остановки он уже не реагировал. Машину обесточили физически. Тут было подробнее.

Кто отвечает, когда агент ошибется, суд недавно разъяснил: чат-бот Air Canada пообещал пассажиру несуществующую скидку, компания заявила, что бот — отдельная сущность, а вот трибунал Британской Колумбии этот довод отверг и взыскал деньги с перевозчика.

В статье разобрал: три класса доступа агента, точки перехвата вызовов (MCP-прокси, hooks в IDE, eBPF и ETW, AI Gateway), три вердикта политики и почему «требует подтверждения» на каждый чих убивает саму идею. Дал чек-лист из пяти шагов для тех, у кого пока не внедрено ничего.

📄 Текст тут

▶️ Запись лекции: смотрите youtube или смотрите rutube

Запретить ИИ уже не выйдет. Построить вокруг него грамотные системы защиты — ДА.

@safebdv

#ИИ #Кибербезопасность