Feed for @borismlsec channel
author: @ivolake
Post #1438
140
Forwarded from Innovation & Research
Meta* опубликовала работу о воплощённых AI-агентах, способных действовать в физическом и виртуальном мирах
В отличие от чат-ботов, воплощённые агенты имеют форму — от VR-аватаров до умных очков и роботов. Их цель — действовать автономно, понимать людей и мир, прогнозировать возможные последствия и помогать в реальных задачах.
В центре архитектуры — «модель мира» (world model), которая заменяет генерацию текста или пикселей на предсказание действий и состояний в абстрактном пространстве. Это позволяет моделям создавать планы, обучаться без надзора со стороны человека и действовать в реальном времени.
Разработаны 2 типа таких моделей: модели первого типа распознают динамику, объекты, причинно-следственные связи, а второго — цели, эмоции и убеждения людей.
В работе представлены 3 класса агентов:
• виртуальные — аватары в VR/AR, NPC, ассистенты;
• носимые — AI в очках, способный понимать контекст ситуаций и подсказывать пользователю информацию в реальном времени;
• робототехнические — физические агенты, способные к манипуляциям с объектами и обучению на месте.
Существенные новации — эпизодическая память, которая необходима для долгосрочного удержания контекста, переход от генеративных моделей к предиктивным,например, V-JEPA 2-AC, и бенчмарки для проверки —WorldPrediction, CausalVQA и IntPhys2.
Исследование затрагивает и этические риски: такие агенты могут собирать личные данные и вызывать ложное чувство, будто они «понимают» пользователя. Meta* считает, что решение этих проблем должно быть в фокусе внимания исследователей для будущего развития технологии.
*организация запрещена на территории России и признана экстремистской
#news #AI #бигтехи #роботы
Препринт исследования
В отличие от чат-ботов, воплощённые агенты имеют форму — от VR-аватаров до умных очков и роботов. Их цель — действовать автономно, понимать людей и мир, прогнозировать возможные последствия и помогать в реальных задачах.
В центре архитектуры — «модель мира» (world model), которая заменяет генерацию текста или пикселей на предсказание действий и состояний в абстрактном пространстве. Это позволяет моделям создавать планы, обучаться без надзора со стороны человека и действовать в реальном времени.
Разработаны 2 типа таких моделей: модели первого типа распознают динамику, объекты, причинно-следственные связи, а второго — цели, эмоции и убеждения людей.
В работе представлены 3 класса агентов:
• виртуальные — аватары в VR/AR, NPC, ассистенты;
• носимые — AI в очках, способный понимать контекст ситуаций и подсказывать пользователю информацию в реальном времени;
• робототехнические — физические агенты, способные к манипуляциям с объектами и обучению на месте.
Существенные новации — эпизодическая память, которая необходима для долгосрочного удержания контекста, переход от генеративных моделей к предиктивным,например, V-JEPA 2-AC, и бенчмарки для проверки —WorldPrediction, CausalVQA и IntPhys2.
Исследование затрагивает и этические риски: такие агенты могут собирать личные данные и вызывать ложное чувство, будто они «понимают» пользователя. Meta* считает, что решение этих проблем должно быть в фокусе внимания исследователей для будущего развития технологии.
*организация запрещена на территории России и признана экстремистской
#news #AI #бигтехи #роботы
Препринт исследования
