​Безопасность Скайнета

В этом канале уже было несколько постов, посвященных ИИ (раз, два, три, четыре, пять), но мы так ни разу и не обсудили, как делать этот ваш искусственный интеллект безопасным. Как вы понимаете, настало время душного поста, поэтому вдыхаем.

Во-первых, уже везде засветился один и тот же документ, который содержит в себе некую кибербезопасную базу, натянутую на модную специфику ИИ. Под документом подписалось достаточно много кибередомств из разных стран мира. Файл прикреплять не будут, поэтому ловите просто ссылку.

Во-вторых, если зайти со стороны красной (атакующей) команды, тот тут есть уже множество ресурсов для тестирования и оценки безопасности различных моделей ИИ. Например, есть целый безопасный комбайн от Майкрософта – Counterfit. От них же есть еще инструмент для тестирования LLM на базе промптов – Prompt Bench. Ну и вдогонку еще два фреймворка для анализа уязвимостей для разных моделей машинного обучения – от одного американского университета – CleverHans и от самого IBM – Adversarial Robustness Toolbox.

Ну а для тех, кто только начинает интересоваться темой ИБ в ИИ, можно почитать что-то более понятное, например, вот эту статью – ссылка.

На самом деле, тема очень нишевая, но, судя по тому, как машинное обучение начинают запихивать уже в каждую микроволновку, касаться это скоро будет многих. Ну всё, выдыхайте, я закончил.

#Полезное

Твой Пакет Безопасности