🚨 Конференция RSAC: Риски, связанные с большими языковыми моделями (LLM)

Большие языковые модели обещают улучшить процесс разработки  программного обеспечения, но вместе с этим появляются и непредвиденные риски, предупреждает CISO на конференции RSAC.

📈 Риски инекции запросов
Рост количества инекций запросов в большие языковые модели может стать серьезной угрозой для организаций. Этот непредвиденный эффект AI обсуждался на круглом столе CISO на мероприятии Purple Book Community Connect–RSAC, которое проходило на этой неделе на конференции RSA в Сан-Франциско.

💬 Мнение эксперта
Картик Сварнам, CISO компании ArmorCode, которая предоставляет платформу для обеспечения безопасности приложений, считает, что инциденты, связанные с инекцией запросов в код, неизбежны. "Мы пока этого не видели, но должны предполагать, что это произойдет," — сказал Сварнам в интервью Dark Reading.

🔔 Социально инженерные текстовые уведомления
LLM, обученные с использованием вредоносных запросов, могут генерировать код, который посылает непрерывные текстовые уведомления с социально инженерными сообщениями. Когда пользователь случайно отвечает на уведомление, LLM может инициировать нежелательные действия, такие как несанкционированное обмен данными.

🏢 Использование AI в крупных компаниях
Несмотря на опасения, большинство крупных организаций уже внедряют AI для операций, таких как обслуживание клиентов и маркетинг. Даже те, кто запрещает использование AI, могут не знать о его теневом использовании.

"Достаточно просмотреть журналы сети и фаерволов, чтобы увидеть, что кто-то использует сторонние или публичные LLM для различных поисков," — говорит Сварнам. "Компании и команды безопасности не наивны, они поняли, что вместо того чтобы запрещать использование AI, лучше устанавливать границы."

Stay secure and read SecureTechTalks 📚

#Кибербезопасность #AI #LLM #ИнекцияЗапросов #RSAC