Meta* опубликовала работу о воплощённых AI-агентах, способных действовать в физическом и виртуальном мирах

В отличие от чат-ботов, воплощённые агенты имеют форму — от VR-аватаров до умных очков и роботов. Их цель — действовать автономно, понимать людей и мир, прогнозировать возможные последствия и помогать в реальных задачах.

В центре архитектуры — «модель мира» (world model), которая заменяет генерацию текста или пикселей на предсказание действий и состояний в абстрактном пространстве. Это позволяет моделям создавать планы, обучаться без надзора со стороны человека и действовать в реальном времени.

Разработаны 2 типа таких моделей: модели первого типа распознают динамику, объекты, причинно-следственные связи, а второго — цели, эмоции и убеждения людей.

В работе представлены 3 класса агентов:

• виртуальные — аватары в VR/AR, NPC, ассистенты;
• носимые — AI в очках, способный понимать контекст ситуаций и подсказывать пользователю информацию в реальном времени;
• робототехнические — физические агенты, способные к манипуляциям с объектами и обучению на месте.

Существенные новации — эпизодическая память, которая необходима для долгосрочного удержания контекста, переход от генеративных моделей к предиктивным,например, V-JEPA 2-AC, и бенчмарки для проверки —WorldPrediction, CausalVQA и IntPhys2.

Исследование затрагивает и этические риски: такие агенты могут собирать личные данные и вызывать ложное чувство, будто они «понимают» пользователя. Meta* считает, что решение этих проблем должно быть в фокусе внимания исследователей для будущего развития технологии.

*организация запрещена на территории России и признана экстремистской

#news #AI #бигтехи #роботы

Препринт исследования