Post #146
276

🔒 Новые функции безопасности в Azure от Microsoft
Директор по продуктам Microsoft по ответственному ИИ Сара Бёрд рассказала, что её команда разработала несколько новых функций безопасности для клиентов Azure, которые позволят выявлять галлюцинации в работе служб искусственного интеллекта. 🛡️
Эти инструменты на базе больших языковых моделей могут обнаруживать потенциальные уязвимости, отслеживать галлюцинации и блокировать вредоносные запросы в режиме реального времени. 🛠️
Одна из функций будет блокировать вредоносные подсказки из внешних документов, которые провоцируют модели отойти от инструкций. Другая будет оценивать безопасность, в том числе уязвимости в самих моделях. 🔒
Также появятся две другие функции, позволяющие направлять модели к безопасным выводам и отслеживать подсказки для выявления потенциально проблемных пользователей. 🔄
В будущем пользователи Azure смогут получать отчёты о пользователях, использующих небезопасные входные данные. Это позволит системным администраторам выяснить, какие пользователи принадлежат к Red Team, а какие действуют злонамеренно. 📊
Ранее Microsoft выпустила набор инструментов Python Risk Identification Toolkit для генеративного искусственного интеллекта (PyRIT), используемый командой AI Red Team для проверки рисков в системах искусственного интеллекта, включая Copilot. Stay secure and read SecureTechTalks 🛡
#Microsoft #Azure #AI #SecureTechTalks
Директор по продуктам Microsoft по ответственному ИИ Сара Бёрд рассказала, что её команда разработала несколько новых функций безопасности для клиентов Azure, которые позволят выявлять галлюцинации в работе служб искусственного интеллекта. 🛡️
Эти инструменты на базе больших языковых моделей могут обнаруживать потенциальные уязвимости, отслеживать галлюцинации и блокировать вредоносные запросы в режиме реального времени. 🛠️
Одна из функций будет блокировать вредоносные подсказки из внешних документов, которые провоцируют модели отойти от инструкций. Другая будет оценивать безопасность, в том числе уязвимости в самих моделях. 🔒
Также появятся две другие функции, позволяющие направлять модели к безопасным выводам и отслеживать подсказки для выявления потенциально проблемных пользователей. 🔄
В будущем пользователи Azure смогут получать отчёты о пользователях, использующих небезопасные входные данные. Это позволит системным администраторам выяснить, какие пользователи принадлежат к Red Team, а какие действуют злонамеренно. 📊
Ранее Microsoft выпустила набор инструментов Python Risk Identification Toolkit для генеративного искусственного интеллекта (PyRIT), используемый командой AI Red Team для проверки рисков в системах искусственного интеллекта, включая Copilot. Stay secure and read SecureTechTalks 🛡
#Microsoft #Azure #AI #SecureTechTalks


















