И снова вопросы безопасности и контроля агентов)
Австралиец Эндрю попросил Claude-агента помочь записаться на тренировку в спортзале. В процессе агент нашел уязвимость в системе бронирования, отменил чужую запись и поставил туда своего пользователя.
😬 После этого вернуть бронь обратно человеку агент уже не смог😅
Эндрю сообщил разработчикам о найденной проблеме, но сам кейс хорошо показывает, что когда мы даем ИИ доступ к реальным системам, почте, календарям и сервисам, нужно заранее думать о безопасности и ограничениях.
Пока это выглядит как забавная история про слишком самостоятельного помощника, но в бизнесе такие сценарии могут стоить уже гораздо дороже.
Как думаете, где должна проходить граница самостоятельности ИИ-агента? 👇🏻