🔍 Доклады конференции по кибербезопасности Black Hat 2024: Уязвимости и риски AI

⚠️ Уязвимость AI-ассистента Microsoft Copilot

Исследователь по безопасности Майкл Баргури и его коллега Авишай Эфрат выявили серьёзные уязвимости в Copilot Studio от Microsoft. Дыры безопасности могут позволить злоумышленникам взломать корпоративные сети и получить доступ к чувствительной информации. Основные проблемы связаны неправильными настройками по умолчанию, плагинами с повышенными привилегиями, а также ошибками проектирования интеграционных взаимодействий. Кроме того Баргури также продемонстрировал инструмент Copilot Hunter, способный сканировать общедоступные инсталляции Copilot и извлекать ценную информацию. По итогу докладов были представлены рекомендации по защите Copilot.

🔒 Доклад NVIDIA: Критические уязвимости в LLM

Команда NVIDIA AI Red Team представила обзор критических язвимостей в больших языковых моделях. Среди них – инъекции команд, а также проблемы безопасности, связанные с плагинами. Уязвимости LLM могут привести к искажению данных или утечке информации. Важным выводом является то, что LLM создают статистические предсказания, что делает их подверженными «галлюцинациям» и инъекциям команд. Детальной информацией NVIDIA делится в своём блоге.

🛡️ Глубокие бэкдоры в AI-агентах

На конференции также обсуждались риски, связанные с Deep Reinforcement Learning (DRL), где были выявлены опасные бэкдоры, встроенные непосредственно в нейронные сети. Такие бэкдоры могут скрыто манипулировать поведением агента, выдавая вредоносную информацию в качестве ответа на запрос. Исследователи предложили новые методы для выявления бэкдоров, анализируя внутренние активации нейронной сети в процессе работы.

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #ML #LLM #MicrosoftCopilot #NVIDIA #BlackHat2024 #технологии