🤖 Сервисы на основе больших языковых моделей уже стали полноценными участниками бизнес-процессов. Они работают незаменимыми ассистентами и личными секретарями, неутомимыми аналитиками, внимательными сотрудниками техподдержки и отделов продаж, джунами, тестировщиками и даже киберзащитниками.
Но кто защитит самих виртуальных помощников, у многих из которых есть доступ к персональным данным, корпоративным документам и информационным системам? Встречайте
Как это работает
Представьте, что у вас есть ИИ-бот, который принимает у клиентов заказы или занимается их жалобами. И вот, злоумышленник, выдавая себя за клиента, отправляет ему хитрый запрос. Составлен он так, чтобы обойти установленные ограничения, и заставить бота выдать закрытую информацию или выполнить нежелательное действие.
Так работает один из любимых приемов киберпреступников — инъекция промптов (prompt injection), похожим образом бота могут взломать при помощи документов, которые обрабатывает LLM. Причем традиционные средства веб-защиты воспринимают это как обычное сообщение от пользователя, а не как атаку.
Модуль LLM Firewall встает между приложением и языковой моделью, внимательно проверяя входящие запросы и ответы. Ищет джейлбрейки, попытки вытащить системные инструкции или использовать возможности ИИ-агента в интересах атакующего. Находит — блокирует или фиксирует для разбора.
А еще — контролирует, какую информацию пользователи передают ИИ в своих запросах. При этом обращает внимание как на персональные данные, пароли, ключи доступа и другие секреты, так и на токсичный, запрещенный и потенциально опасный контент.
Двусторонняя проверка позволяет компаниям контролировать и входящую информацию, и исходящую, избегая репутационных рисков из-за некорректных ответов бота пользователям.
Кому пригодится такая защита
Можем честно сказать, что всем. Но в первую очередь организациям, много общающимся с пользователями через ИИ-сервисы или внедряющим их прямо сейчас. Например, банкам, ретейлерам, маркетплейсам, телеком-операторам и ИТ-компаниям. Здесь риски атак на LLM-модели выше, а компрометация чувствительных данных может привести к утечкам информации, финансовым потерям и сбоям в работе бизнеса.
«Мы прогнозируем рост числа атак, при которых злоумышленники будут пытаться манипулировать поведением ИИ-ассистентов, чтобы выполнять вредоносные действия в корпоративной сети от их имени. По мере расширения возможностей таких помощников растут и последствия их компрометации. Поэтому компаниям важно учитывать эти риски уже при внедрении ИИ в свои сервисы», — говорит Павел Пархомец, руководитель продукта PT AF Cloud.
Как подключить модуль
Хорошая новость: модуль уже интегрирован в PT AF Cloud и подключается к обмену данными через API, совместимый с OpenAI. Отдельная консоль не нужна. Скоро он будет и в on-premise версии PT AF PRO.
Так что вам останется только настроить политики и выбрать режим — мониторинга или блокировки, чтобы
#PTAFCloud
@Positive_Technologies