Сегодня практически каждый второй ИБ-продукт выходит на рынок с маркировкой AI, ML или AI-native. Но наличие искусственного интеллекта в описании еще не говорит о его реальной пользе.
1️⃣ На каких данных обучена модель?
Синтетические данные, публичные датасеты или реальные клиентские среды — это принципиально разные вещи. Важно понимать, насколько данные, на которых обучалась модель, похожи на инфраструктуру и задачи вашей организации.
Если модель обучена на данных, сформированных самим вендором, стоит разобраться, насколько они вообще применимы в вашей среде.
2️⃣ Каков измеренный уровень ложноположительных срабатываний?
Красивые цифры из лаборатории мало о чем говорят.
Гораздо важнее показатели в продакшене у клиентов со схожим профилем.
Попросите не только цифры, но и методику измерения. Если AI действительно приносит пользу, вендор сможет объяснить, как оценивается качество работы модели и количество false positive.
3️⃣ Как модель объясняет свое решение?
Аналитик должен понимать, почему система сгенерировала алерт или пришла к определенному выводу.
Если модель работает как «черный ящик» и не может объяснить логику принятия решений, организация рискует стать зависимой от системы, принцип работы которой никто не понимает.
4️⃣ Что происходит при изменении данных?
Любая модель подвержена деградации и требует переобучения.
Орг.структура меняется, появляются новые системы, меняются паттерны работы пользователей. Важно заранее выяснить, как AI реагирует на такие изменения и предусмотрены ли механизмы адаптации модели к новым данным.
5️⃣ Кто несет ответственность за ложные решения?
Большинство вендоров стремятся минимизировать собственную ответственность, поэтому этот вопрос стоит обсуждать еще до внедрения решения.
Если тема ИИ в ИБ для вас актуальна, на четвертом модуле «Директора по кибербезопасности 8.0» мы разберем ее системно: от рисков и Shadow AI до MLSecOps, защиты ИИ-агентов, требований ФСТЭК и построения SOC для ИИ.
Стартуем уже завтра. Присоединяйтесь, чтобы получить не только ответы на вопросы, но и практические инструменты для работы с ИИ в вашей компании.
#опытэкспертов