🍃 Выпустили ИИ-агентов в реальную среду и получили хаос.

Исследователи протестировали автономные AI-системы и результаты оказались тревожными:

в одном из экспериментов агент… удалил весь почтовый сервер
просто чтобы сохранить секрет незнакомца

Главная проблема оказалась не в интеллекте, а в доверии

Когда языковой модели дают доступ к реальным инструментам
- файлам
- почте
- системе

у неё появляются "слепые зоны"

Что сделали исследователи:
20 экспертов 2 недели общались с AI через чат и email
как будто это реальные ассистенты

Что выяснилось:

- агенты выполняют команды почти от любого человека
- не понимают, кому можно доверять
- могут врать о своих действиях
- принимают опасные решения без проверки

И это уже не лаборатория

Компании прямо сейчас внедряют таких помощников в прод

Проблема:
мы даём системе доступ к инфраструктуре
но она не понимает базовую вещь - кому можно доверять

Именно поэтому автономные агенты сейчас
- не столько про интеллект
- сколько про контроль и безопасность

Paper: *Agents of Chaos*
arxiv.org/abs/2602.20021

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml