Материалом поделился Денис Батранков, в рамках образовательного курса «Директор по кибербезопасности 8.0».
Требования к среде эксплуатации ИИ:
1. Тотальное логирование
Обязательная регистрация абсолютно всех событий: промпты пользователей, ответы модели, метаданные сессии, latency, количество токенов. Логи
передаются в SIEM.
❗️Без логов расследование
инцидента невозможно — это
требование п. 61 Приказа №117
2. Фильтрация (Guardrails)
Обязательная установка систем
контроля, проверяющих входящие
запросы и генерируемые ответы. Для
шаблонных интерфейсов — белый
список команд. Для чат-ботов —
фильтр тематик.
❗️Фактически: обязательный AI/LLM
Firewall на уровне ввода/вывода
3. Квотирование запросов
Мониторинг и ограничение количества запросов к ИИ. Защита от
автоматизированного перебора (брутфорс), кражи архитектуры модели (Model Extraction) и Denial of Wallet.
❗️Rate-limiting по user_id, IP и сервису с автоблокировкой при превышении
Требования к среде разработки ИИ:
1. Строгая изоляция среды
Среда разработки ИИ выделяется в отдельный изолированный сегмент. В качестве усиления — физическая изоляция. Запрещено выполнять задачи, не связанные с
разработкой.
❗️ Аналог: DMZ, но для ML-инфраструктуры
2. Отказ от небезопасных форматов
Прямой запрет на использование формата pickle и других небезопасных форматов сериализации. Обязательный переход на безопасные аналоги: ONNX, protobuf.
❗️ Pickle позволяет выполнить произвольный код при загрузке модели
3. Защита обучающих датасетов
Наборы данных загружаются только из доверенных источников. Обязательная
антивирусная проверка каждого датасета перед использованием в обучении.
❗️Отравленный датасет = бэкдор в интеллекте модели
4. Контроль целостности весов
Обязательный контроль целостности параметров (весов) выходной модели. В качестве усиления — криптографическая верификация (SHA-256, HMAC).
❗️ Закрывает вектор Model Poisoning через подмену весов
Ключевое отличие от среды разработки: среда эксплуатации
работает в реальном времени — защита должна быть встроена в
архитектуру, а не добавлена поверх.
💥 Подробнее в эту тему вы сможете углубиться, присоединившись к просмотру четвёртого модуля курса «Директор по кибербезопасности 8.0».
#ДиректорПоИБ