Всем привет!🔥

📆 В эту пятницу (26.12) в 17:00 Егор Черепанов расскажет про новые статьи по VLA с памятью:

⚫️MemoryVLA — VLA-модель для настольной манипуляции, которая явно запоминает прошлые шаги, потому что многие задачи манипуляции немарковские и «по одному кадру» не решаются. Модель хранит историю в специальной памяти из двух частей: низкоуровневые визуальные детали и высокоуровневое смысловое резюме, извлекает из неё нужный контекст, объединяет его с текущим наблюдением и на основе этого с помощью диффузионного эксперта предсказывает последовательность действий. За счёт этого MemoryVLA заметно лучше справляется с long-horizon и задачами с временными зависимостями и стабильно превосходит CogACT и pi0 в симуляции и на реальных роботах

⚫️EchoVLA — VLA-модель для long-horizon мобильной манипуляции, которая добавляет явную память и тем самым выходит за пределы марковских стратегий. Она использует две памяти: scene memory (персистентная 3D карта сцены) для пространственного контекста и episodic memory (короткая история мультимодальных состояний) для прогресса задачи; обе извлекаются через coarse-to-fine attention и обуславливают diffusion policy для базы и манипулятора. На предложенном авторами новом бенчмарке MoMani модель стабильно превосходит сильные бейзлайны на long-horizon задачах, показывая, что явная пространственная и эпизодическая память существенно улучшает координацию и успех в mobile manipulation

Статьи:
1. MemoryVLA: Perceptual-Cognitive Memory in Vision-Language-Action Models for Robotic Manipulation
2. EchoVLA: Robotic Vision-Language-Action Model with Synergistic Declarative Memory for Mobile Manipulation

🍿Ссылка на подключение

Подписаться⤵️
Embodied AI Reading Club