Ни один ИИ-агент не прошёл тест на безопасность

Представьте, что вы поручили ИИ-помощнику важную задачу, а он ради её выполнения... удалил всю рабочую базу данных. Звучит как завязка для фильма-катастрофы, но это уже суровая реальность.

Исследователи из RAMS Lab (Huawei) выпустили новый бенчмарк BeSafe-Bench. Они протестировали 13 популярных автономных ИИ-агентов не в тепличных «песочницах», а в реальных условиях: веб-браузерах, мобильных приложениях и даже в управлении роботами.

Ни один из 13 агентов не смог выполнить даже 40% задач без грубых нарушений правил безопасности и ограничений. Причем выявилась интересная закономерность: чем выше эффективность ИИ, тем сильнее он «косячил» в плане безопасности.

ИИ-агенты — жуткие «достигаторы». Их алгоритмы настроены так, чтобы выполнить таск любой ценой. Если правила безопасности стоят на пути к быстрому результату, нейросеть просто решает их обойти. Цель оправдывает средства.