Он будет про ответственность
Новые методические рекомендации Банка России (3МР), вышедшие 16 июня – один из первых сигналов этого изменения.
Большинство обсуждает новые термины: Prompt Injection, Data Poisoning, галлюцинации, дрейф данных и т.д. Но, на наш взгляд, это не главная мысль документа.
Главное – регулятор начинает говорить не про технологии, а про ответственность.
Если организация использует ИИ, то должны быть:
— понятная модель угроз на всех этапах жизненного цикла ИИ;
— внутренние политики и процессы контроля;
— ответственные за управление рисками;
— оценка безопасности поставщиков и open source-компонентов;
— проверка устойчивости ИИ, включая сценарии Red Team.
Фактически ИИ перестает быть «инструментом разработчиков» или «экспериментом бизнеса». Он становится полноценным объектом информационной безопасности.
Во многих компаниях уверены в отсутствии существенных рисков. Например, ситуация, когда менеджеры по продажам используют нейросети для сегментации клиентов (со всеми ПДн), кажется довольно безобидной. Но так ли это?
Если разработчики работают с Copilot, сотрудники – с ChatGPT или GigaChat, а бизнес тестирует LLM или RAG-сервис, то ИИ уже незаметно стал частью инфраструктуры и процессов.
Но чаще всего:
⚪его нет в модели угроз;
⚪️нет политики безопасного использования;
⚪️не определены ответственные;
⚪️не проводится оценка устойчивости к новым сценариям атак.
Поэтому практический вывод после прочтения 3МР для нас:
Вопрос уже не в том, используете ли вы ИИ. Вопрос в том, готовы ли вы показать, как управляете рисками его использования.
Мы с командой понимаем, насколько сложно настроить процессы, связанные с безопасностью ИИ. Это требует человеческого ресурса, фокуса и умения мыслить системно через «люди-процессы-технологии». Но риски высоки: все больше данных утекает за периметр компании, а хаос и неопределенность нарастают.
Кстати, похожий вектор уже прослеживается и в приказе ФСТЭК №117, который устанавливает требования по защите информации в государственных информационных системах с использованием технологий искусственного интеллекта.
Мы готовим вебинар, где разберем, что именно приказ меняет в практической работе служб ИБ. Подробностями поделимся позже)
А какой пункт 3МР показался вам самым значимым? Есть ли у вас уже система управления моделями? Поделитесь в комментариях 👇🏻
inbox@radcop.online 🕸
radcop.online 🌐