机器人看人类视频,究竟能学到哪一步?
(本文作者为 具身志,钛媒体经授权发布)
> 文 | 具身志,作者 | 越十三,编辑 | 仲庆元
10月10日,星动纪元开放了VPP2的两套视频模型权重。
VPP2把机器人学习一项操作的过程分成三段:先预测任务接下来会怎样发展,再把较长的过程压缩成视觉规划,最后学习机器人动作。这次开放的是前两段。
把时间往前推两个月,类似围绕人类视频的研究和投入已经接连出现。
8月,Dyna Robotics公布了不同规模人类视频预训练对真实机器人任务的影响;Figure公开了大规模第一视角视频采集系统。9月,Skild AI尝试用一段人类视频向机器人说明新任务,Dyna又在处理同一种经验怎样跨越不同的机器人身体。
几家公司选择了不同的技术入口,却把人类视频放进了同一条训练链:扩大预训练规模,提示机器人要做什么,预测操作过程,再把视觉经验接到动作上。
这些动作共同指向一项行业变化。数量更大的人类视频开始承担任务理解和世界变化的学习,稀缺的机器人数据更集中地解决身体控制。
如果这种分工能够成立,机器人学习新动作的规模,就不必完全取决于为每一副身体、每一项任务重新采集示范。
这种分工能不能换来机器人在真实任务中更好的表现,成为下一步要回答的问题。
一百万小时之后,钥匙转动了
Dyna-2用一项转钥匙实验做了规模对照。
研究者准备了四组模型,让它们接受相同的机器人任务训练。此前,四组模型分别用1,000小时、1万小时、10万小时和100万小时的人类第一视角视频做过预训练。
转动锁盒上的钥匙时,前三组都失败了。100万小时这一组测试10次,成功9次。
四组模型后续使用的机器人数据条件相同,每项任务不超过10小时。这使研究者能够比较,在相同的机器人训练之后,预先接触更多人的操作经验,能给结果带来什么变化。
Dyna-2转钥匙是14项真机任务之一,实验中,随着人类视频预训练规模从1000小时增加至100万小时,机器人在相同后训练条件下的表现发生变化。图片来源:Dyna Robotics
开锁是14项真机任务中的一项,它不能划出一条适用于所有任务的“100万小时门槛”,却验证了实验的一个...
具身志 | tmtpost.com • Oct 14, 2026
Post #9953
5
