18 сентября на BIS Summit 2025 первый заместитель директора ФСТЭК России Виталий Лютиков объявил: до конца года ведомство представит проект национального стандарта безопасной разработки систем искусственного интеллекта. Новый документ станет дополнением к ГОСТ Р 56939 по разработке безопасного ПО и будет учитывать угрозы, характерные именно для ИИ — от работы с большими массивами данных до уязвимостей в моделях машинного обучения.
⚡ Эта тема выходит на первый план.
Уже сейчас ФСТЭК вводит требования к использованию ИИ в госсекторе, а отсутствие единых норм порождает фрагментацию и разный уровень зрелости у компаний. ComNews собрал комментарии экспертов рынка — в том числе и нашего SDL-архитектора Султана Салпагарова. Конечно, в публикации не могли использовать комментарий нашего эксперта полностью. Для полного понимания нашей позиции, приводим его комментарий целиком.
❓ Считаете ли вы, что в РФ уже существует безопасная разработка систем искусственного интеллекта?
Безопасной разработки ИИ в полном смысле этого слова ещё нет. Процесс мышления ИИ слишком закрыт даже для его разработчиков. Есть только компенсирующие меры — нейронная сеть на входе с фильтром запроса и нейронная сеть на выходе с фильтром ответа. Эти фильтры — «лёгкие» нейронные сети для обнаружения опасного контента. Переобучение самого ядра очень сильно влияет на качество самой работы нейронки и поэтому нецелесообразно. Китайские модели делают большой акцент на соблюдение национального законодательства, модели Open AI делают большой акцент на инклюзивности, но всё это ограничивающие факторы, которые логично решать на периметровых фильтрах, а не в «ядерном» мышлении . Есть ещё другие разрозненные практики. Важно собрать в едином семантическом пространстве весь накопленный опыт разработки систем ИИ и, возможно, оформить его в формате предварительного национального стандарта.
❓ По вашему мнению, какие пункты должен содержать стандарт безопасной разработки систем искусственного интеллекта?
Разрабатываемый ГОСТ по безопасной разработке систем ИИ должен включать в себя не только основные положения ГОСТ Р 56939 «Разработка безопасного ПО. Общие требования», но и новые новеллы, обусловленные сущностью систем ИИ. В частности, стандарт должен предусматривать проведение анализа рисков злоупотребления и неконтролируемого поведения ИИ. Важным элементом ГОСТ является формулирование требований к архитектуре системы, предполагающих модульность системы, возможность постоянного мониторинга и наличие механизма безопасного отключения (так называемый “kill switch”). Отдельное внимание следует уделить мерам противодействия специализированным атакам, таким как data poisoning и model inversion. В разрабатываемом ГОСТ следует привести классификацию информации, используемой для обучения ядра систем ИИ, а также проверяемые алгоритмы для идентификации этих классов в фильтрах на входе и выходе систем ИИ.
❓ Считаете ли вы, что ФСТЭК изначально должен разрабатывать стандарт совместно с ИТ-компаниями нежели чем после самостоятельной работы выносить на обсуждение ИТ-сообщества?
Привлечение ФСТЭК России к разработке ГОСТ научных центров, в первую очередь ИСП РАН, вендоров, испытательных лабораторий поможет формализовать и упорядочить опыт реальных разработчиков ИИ, того же СбераТеха и Яндекса, поэтому разнообразие представителей различных организаций в рабочей группе скорее хорошо, чем плохо. Их участие позволит повысить как качество, так и скорость разработки ГОСТ. Важно только сделать стандарт открытым к новым путям исследований в такой новой экспериментальной сфере.
🔄 Почему это критично?
Дискуссия должна быть максимально открытой и профессиональной. Участие разных сторон — регулятора, науки, бизнеса и интеграторов — позволяет избежать перекоса. Только совместная работа обеспечит баланс — научную обоснованность, регуляторную силу и практическую применимость.
#GETMOBIT #GM_экспертиза #GM_безопасность