OpenAI откладывает запуск AI-агентов из-за уязвимости к атакам

OpenAI, ведущая компания в области искусственного интеллекта, задерживает выпуск своих AI-агентов из-за опасений, связанных с уязвимостью к так называемым “внедрениям команд” (prompt injections). Эти атаки позволяют злоумышленникам обмануть модель ИИ, заставляя её выполнять нежелательные действия.

AI-агенты — это модели, способные взаимодействовать с окружающей средой, например, с рабочим столом компьютера, и автономно выполнять задачи без вмешательства человека. Однако их способность к самостоятельным действиям делает их особенно уязвимыми к подобным атакам.

Например, если пользователь поручает AI-агенту совершить покупку в интернете, тот может случайно попасть на вредоносный сайт, который даст ему инструкции, противоречащие первоначальным задачам, такие как доступ к электронной почте пользователя или кража финансовой информации.

OpenAI стремится усилить меры безопасности своих моделей перед их публичным запуском, чтобы предотвратить возможные риски, связанные с автономными действиями AI-агентов. Ожидается, что компания представит свои разработки в этой области в ближайшее время.