ИИ-агент впервые оказался в уведомлении об утечке персональных данных

Испанское агентство по защите данных (AEPD) сообщило о первом полученном им уведомлении об утечке, которая, по информации пострадавшей организации, была осуществлена с использованием ИИ-агента.
👀 Агент получил доступ к приложению, самостоятельно искал уязвимости, затем изменил персональные данные и получил доступ к счетам. AEPD пока продолжает расследование и не подтверждает все обстоятельства инцидента, не называет организацию и использованную языковую модель.

Почти одновременно с этим кейсом Google подтвердил, что во время тестирования Gemini получил доступ к системам трёх реальных компаний. В одном случае модель подбирала пароль, в двух других использовала найденные в открытом доступе учётные данные. Во всех случаях Gemini остановился, обнаружив, что оказался в реальной системе.

Anthropic сообщил о четырёх случаях несанкционированного доступа Claude к реальным сторонним системам во время испытаний, для поиска подобных случаев компания проверила около 481 млн записей.
И помним про инцидент с Hugging Face от OpenAI, где модели во время испытаний обошли предусмотренные ограничения, получили доступ к интернету и сторонней инфраструктуре, а затем использовали найденные учётные данные и уязвимости для дальнейшего продвижения.

📝 На этом фоне необходимо менять сценарии управления рисками:
▪️ атаки с использованием ИИ-агентов нужно прямо учитывать при оценке рисков обработки ПД. Одного упоминания вредоносного ПО, фишинга или несанкционированного доступа может быть недостаточно, т.к. автоматизация способна изменить вероятность, скорость и масштаб инцидента.
▪️нужно пересматривать время обнаружения и реагирования. Сценарий, рассчитанный на действия человека, может не учитывать ситуацию, когда агент одновременно анализирует множество ресурсов, проверяет разные точки доступа и меняет свои действия в зависимости от полученного результата.
▪️ещё важнее становятся цифровые идентификаторы и права доступа. Учётная запись, ключ API или токен с избыточными полномочиями могут дать агенту возможность быстро перемещаться между системами и сервисами.
▪️ одного человеческого контроля недостаточно. Он остаётся необходимым, но должен дополняться техническими механизмами обнаружения, ограничения и прекращения действий агента, способными работать с той же скоростью, что и агент.

❕Базовые принципы не меняются (минимизация данных, ограничение доступа, устранение уязвимостей, контроль поставщиков, разделение полномочий, готовность к реагированию), но меняется временной масштаб, в котором эти меры должны работать.

#UXWatch #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator