Код, репозитории, ключи и конвейеры разработки (CI/CD) — чем больше задач разработчик делегирует ИИ, тем больше прав оказывается у системы. А значит, растёт и цена ошибки или атаки.
На это обратил внимание Денис Романов, директор центра развития ИИ-продуктов ИТ-экосистемы 💻Лукоморье, в своем комментирии для РБК.
А ещё Денис поделился с нами, какие именно атаки на ИИ в разработке сегодня стоит держать в поле зрения:
🙂Среди основных — промпт-инъекция: в контент для ИИ внедряют инструкции, которые заставляют модель выполнить нежелательное действие. Например, перейти по ссылке или раскрыть данные.
🙂Также среди угроз — атаки на ИИ-агентов и подключённые инструменты, вредоносные зависимости и плагины, отравление данных и утечки через контекст модели.
Особенность таких атак в том, что злоумышленнику не всегда нужно напрямую взламывать систему. Иногда достаточно подсунуть ИИ специально подготовленный контент, а он уже сам выполнит нужное действие.
Поэтому контролировать нужно как и саму модель, так и её права доступа, источники данных, подключённые инструменты и действия, которые она может выполнять.
🚩Полный комментарий Дениса Романова читайте на сайте РБК.