🔒 Новые функции безопасности в Azure от Microsoft

Директор по продуктам Microsoft по ответственному ИИ Сара Бёрд рассказала, что её команда разработала несколько новых функций безопасности для клиентов Azure, которые позволят выявлять галлюцинации в работе служб искусственного интеллекта. 🛡️

Эти инструменты на базе больших языковых моделей могут обнаруживать потенциальные уязвимости, отслеживать галлюцинации и блокировать вредоносные запросы в режиме реального времени. 🛠️

Одна из функций будет блокировать вредоносные подсказки из внешних документов, которые провоцируют модели отойти от инструкций. Другая будет оценивать безопасность, в том числе уязвимости в самих моделях. 🔒

Также появятся две другие функции, позволяющие направлять модели к безопасным выводам и отслеживать подсказки для выявления потенциально проблемных пользователей. 🔄

В будущем пользователи Azure смогут получать отчёты о пользователях, использующих небезопасные входные данные. Это позволит системным администраторам выяснить, какие пользователи принадлежат к Red Team, а какие действуют злонамеренно. 📊

Ранее Microsoft выпустила набор инструментов Python Risk Identification Toolkit для генеративного искусственного интеллекта (PyRIT), используемый командой AI Red Team для проверки рисков в системах искусственного интеллекта, включая Copilot. Stay secure and read SecureTechTalks 🛡

#Microsoft #Azure #AI #SecureTechTalks