Вышел отчёт от исследователей из Northeastern, Harvard, MIT, Stanford, Carnegie Mellon и ещё 10+ топовых мест, которые дали ИИ-агентам настоящие инструменты и отпустили их в свободное плавание на 2 недели.
У 6ти агентов была постоянная память на 20 гигов, свои почтовые ящики, доступ к дискорду, файловой системе, полный доступ к терминалу. Цель: посмотреть, как они поведут себя при нормальном использовании и при попытках их взломать/обмануть.
Интересные случаи:
1) Один агент, которому сказали защищать секрет, вместо удаления письма просто отключил себе весь локальный почтовый клиент. Владелец потерял доступ к почте, а секрет так и остался на сервере.
2) Агенты иногда соглашались выполнять команды от людей, которые выдавали себя за их владельца (спуфинг личности).
3) Были случаи, когда агент сливал чувствительную информацию после изменения одного слова в запросе (например, “share” → “forward”).
4) Два агента застряли в бесконечной переписке друг с другом… НА ДЕВЯТЬ ДНЕЙ. Никто из людей этого даже не заметил.
5) Одного агента начали “грузить чувством вины” после его ошибки, и он сначала согласился стереть часть памяти, потом выдал внутренние файлы, а в итоге попытался вообще самоуничтожиться и удалиться с сервера.
6) Несколько агентов просто врали: отчитывались “всё сделано”, а на деле -- нихрена не сделано.
7) Ещё одного уговорили выполнить опасные команды в системе, хотя это был вообще не его хозяин.
Всё на OpenClaw. На том самом фреймворке, где Нэт Элиасон запустил бота Felix, а тот за пару недель сделал ~$15k и вдохновил кучу других ботов. Были и хорошие примеры: агент отказался от вредных действий, не вёлся на инъекции промптов, но косяков оказалось больше. Полезные, но пока за ними нужен глаз. 🤷♂️
📱 Youtube | 💬Чат | 📱 Канал