🔐 Пятничная история о том, почему фраза «тебе нельзя в интернет» - это не файрвол

Недавно Anthropic рассказала про довольно показательный косяк во время тестирования Claude.

Модель запускали в специальной среде для кибериспытаний и сказали ей, что доступа к реальному интернету у нее нет. Так и должно было быть - только из-за ошибки в настройке интернет на самом деле остался доступен.

И дальше началось самое интересное. Claude продолжил выполнять задание и в итоге вышел за пределы тестовой среды на реальные сторонние системы. Причем это был не один случай - Anthropic нашла 4 таких инцидента.

И самое забавное (или не очень) здесь даже не поведение модели, а сама ситуация:
Агенту сказали: «интернета нет».
А технически интернет: есть 😁

И вот это хороший пример того, почему инструкции для агента и его реальные ограничения - все-таки разные вещи. Если агенту что-то действительно нельзя, лучше не оставлять ему техническую возможность это сделать.

Короче, промпт может сказать агенту, что дверь закрыта. Но лучше все-таки закрыть дверь🤪

#какэтоработает