Создана первая карта ландшафта атак на ИИ

Исследователь Дэниел Месслер попытался создать визуальную карту атак на искусственный интеллект (ИИ). С помощью предложенного им фреймворка специалистам будет легче разобраться, как происходят атаки на ИИ-системы.

Месслер пояснил, что писал свою статью в то время, когда только появился GPT-4. На тот момент уже имелось большое количество информации об атаках на реализации машинного обучения, но не на полные системы, созданные с использованием ИИ как части нескольких компонентов.

«Во многом это связано с тем, что такие интеграционные технологии, как Langchain, стали популярными только за последние 2 месяца. Поэтому людям потребуется время, чтобы создавать продукты и услуги с использованием этого инструментария», - поясняет исследователь.

Естественный язык — основа для атаки на системы ИИ, что порождает совершенно новый вид уязвимостей. Автор выделяет два метода, которыми могут действовать злоумышленники, - внедрение подсказок и атаки на обучение. С помощью этих методов можно реализовать атаки на модели, агенты, инструменты и обучающие данные.

В статье подчеркивается, что при изучении атак на ИИ важно думать не только о больших языковых моделях, но обо всей ИИ-экосистеме, которая состоит из множества компонентов.

«Нам особенно нужно думать о том, где системы ИИ пересекаются с нашими стандартными бизнес-системами, например, на уровнях агентов и инструментов, поскольку это системы, которые могут выполнять действия в реальном мире», - подытоживает Месслер.

Источник: https://danielmiessler.com/p/the-ai-attack-surface-map-v1-0/

#ИИ #кибератаки