LeCun等提出H-JEPA：面向视觉规划的分层世界模型端到端学习

金色财经报道，10月10日，据arXiv论文，Yann LeCun等研究者提出H-JEPA（分层联合嵌入预测架构世界模型），实现动作条件化JEPA层级结构的端到端训练：每一层在自身学习到的潜在空间内预测更远的未来，规划自顶向下进行——顶层优化向目标推进，各层的预测成为其下层规划器的子目标。当数据中的因素以不同时间尺度演变时，较高层会丢弃快速、不可预测的细节，保留较慢的任务相关状态。在四个模拟导航与操作环境中，分层规划优于扁平JEPA；在Visual AntMaze任务上，三层分层将成功率从18%提升至73%，且规划器算力更少。消融实验将收益归因于时间分解与更高层目标表示。在逆动力学监督下，该方法可扩展至DROID真实机器人视频，分层结构在更低规划算力下提升离线规划保真度。论文于10月5日提交。


电影频道在线看 │ ChatGPT中文群🅥