Всем привет!🔥

📆 Сегодня (27.02) в 17:00 Артём Латышев расскажет про:

Объединение моделей мира и Vision-Language-Action моделей

⚫️Модели мира позволяют агенту предсказывать будущие состояния среды и последствия своих действий, что делает возможным генерацию дополнительного обучающего опыта без взаимодействия с реальным миром, предварительную оценку рисков и повышение устойчивости к ситуациям вне обучающего распределения. Универсальный характер задачи построения модели мира также способствует переносу знаний между различными задачами.

⚫️При интеграции с Vision-Language-Action моделями модели мира используют богатые мультимодальные представления, сформированные в крупных Vision-Language и видеомоделях, которые уже содержат обобщённые знания об объектах, физических процессах и их взаимодействиях. Это позволяет повысить качество предсказаний и эффективность обучения.

⚫️Существуют два основных подхода к объединению модели мира и стратегии: в рамках единой архитектуры, совмещающей предсказание и принятие решений, и в виде модульного фреймворка, где модель мира и стратегия реализованы как отдельные компоненты.

⚫️В докладе будут рассмотрены оба подхода на примере COSMOS-Policy как интегрированной модели и GigaBrain-0.5M* как модульной архитектуры, а также обсуждены их ключевые особенности и различия.

Статьи:
1. Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning
2. GigaBrain-0.5M*: a VLA That Learns From World Model-Based Reinforcement Learning

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club