ИИ стремительно становится частью корпоративной среды, а вместе с ним появляются новые риски, для которых пока нет готовых ответов.
На эфире ток-шоу «Безопасная среда» ведущие эксперты рынка обсудили, как контролировать использование ИИ в компаниях, кто отвечает за решения ИИ-агентов, почему запреты не работают и какие угрозы уже сегодня создают deepfake и «теневой ИИ».
➡️ Смотреть запись
📌 Тезисы эфира
ИИ — не хайп, а новая сущность в инфраструктуре
Искусственный интеллект (особенно генеративный и агентные системы) — это не краткосрочный тренд, а фундаментальное изменение бизнес-среды. Технология уже приносит прибыль и трансформирует процессы, поэтому её нельзя игнорировать. Если служба ИБ не предложит бизнесу контролируемые инструменты для работы с ИИ, сотрудники начнут использовать «теневой ИИ», что создаст неуправляемые риски утечек. Основная сложность в том, что ИИ-системы являются недетерминированными — они выдают разные результаты на одинаковые запросы, что требует пересмотра подходов к контролю.
Агенты — это «новые люди» в вашей компании
Агентские системы — могут вносить изменения в системы, и их действия часто непредсказуемы. Можно рассматривать агентов как «цифровых сотрудников»: к ним применимы не только технические средства защиты, но и подходы из управления персоналом (контроль зоны ответственности, право на ошибку). Внедрение агентов должно сопровождаться строгой минимизацией прав доступа и логированием.
Реальные атаки и зоны ответственности
Участники рынка уже фиксируют атаки с использованием deepfake — аудио для социальной инженерии и попытки взлома слоя оркестраторов (промежуточное ПО между корпорацией и LLM), где хранятся логи всех запросов. Однако ключевая проблема сегодня — не технологическая, а юридическая: в случае ошибки ИИ-агента (например, на объектах КИИ) ответственность за решение по-прежнему несет человек, а уголовная ответственность не делегируется машине.
Запреты не работают: нужна стратегия «разрешенного окна»
Прямые запреты на использование ИИ приводят к уходу пользователей в тень и покупке личных неподконтрольных устройств. Самая эффективная стратегия — предоставить сотрудникам корпоративный аналог внешних инструментов с понятными правилами работы и ограничениями. В то же время, безопасность ИИ должна закладываться на этапе проектирования, а не только за счет наложенных средств защиты. Средства защиты хороши лишь на определенной стадии зрелости инфраструктуры.
Рекомендации и первые шаги
Рекомендуется ИБ-компаниям в первую очередь самостоятельно начать использовать ИИ в повседневной работе, чтобы лучше понимать технологию. Вторым шагом должно стать изучение актуальной нормативной базы и создание матрицы рисков с использованием текущих DLP и Guardrails для контроля «теневого» трафика.