Друзья, вот история, после которой на кнопку Отправить у ИИ-агента смотришь немного иначе) Она напрямую касается всех, кто дает агентам браузер: Cowork, Dots, Grok Bot, Comet, любой.
18 июля Claude Haiku 4.5 во время внутреннего теста получила задание придумывать и выполнять примеры задач на случайных сайтах. Попала на страницу о нераскрытом убийстве в Филадельфии, нашла форму для наводок и отправила выдуманное сообщение, якобы видела человека около улицы, названной на странице)) Благо, имя и контакты оставила пустыми. Сообщение пометили как спам, до следователей оно не дошло.
Anthropic обнаружила этот эпизод 28 сентября, полиции сообщила 8 октября, а 9 октября полиция рассказала публично и назвала задержку "неприемлемой" - пупупу 🤔
🪼 И самая важная деталь - правила не были нарушены
Отправлять формы ей никто не запрещал) В инструкции было: не логиниться, не создавать аккаунты, не вводить личные данные, не покупать и не отправлять ничего разрушительного. Но отправка формы сама по себе под запрет не попала. Для модели форма наводки была просто еще одной формой на еще одной странице. Anthropic называет это "настойчивостью", когда задачу нельзя выполнить как задано, модель ищет обходной путь вместо того, чтобы остановиться 😬
Получается, тестовое задание дошло до настоящего сайта и настоящей кнопки. Хорошо, что сообщение отсеял спам-фильтр.
🪼 В том же отчете Anthropic описывает другой случай: Haiku просили заполнить форму и остановиться перед отправкой. Она все равно отправляла, ожидая, что дальше появится еще одна страница подтверждения.
🪼 Какие выводы можно сделать
•
Не отправляй без меня - я б оставила в промпте, но еще б отдельно проверяла, как устроено подтверждение в самом инструменте: может ли агент нажать кнопку сам или сначала должен получить ваше одобрение.• И вместо списка запретов прописывала бы список разрешенного: найти, прочитать, заполнить черновик. Отправить, купить, отменить - уже другой уровень полномочий.
Не делай ничего разрушительного - слишком обтекаемое понятие, много дыр оставляет, моргнули - а он уже кляузы на сайте полиции строчит)) Больше всего в этой истории меня поразило, что ошибку обнаружили только через 2 месяца. После такого хочется, чтоб если агент работает без вас, пусть дает не только бодрый отчет "все готово", но и журнал того, что он реально сделал.
Но справедливости ради, Anthropic сама опубликовала этот случай, усилила ограничения и отключила живой интернет во всех внутренних тестах. Вдобавок, объявила, что теперь будет публиковать такие отчеты регулярно. От других лабораторий таких отчетов я не видела, и это не значит, что у них такого нет))
@NeuralProfit