这项由阿里巴巴达摩院、香港具身AI实验室、香港中文大学与蚂蚁集团联合开展的研究于2026年7月7日以预印本形式发布论文编号arXiv:2607.06558尚未经过同行评审正式发表。研究团队提出了一个名为RynnWorld-Teleop的系统致力于从根本上改变机器人训练数据的采集方式。机器人之所以难以训练核心困境在于数据。就像教一个孩子做家务你需要一遍一遍地示范、演示、纠错才能让他学会端盘子的角度、放物品的力道。现实中训练机器人也是这个道理——研究者们需要让人类操作员坐在专门的设备前戴上传感器手套盯着真实的机器人一个动作一个动作地遥控演示同时录下机器人视角的视频和对应的关节运动数据。这个过程不仅需要昂贵的机器人硬件还要求场地固定、物品摆放精准每次演示结束后操作员还要手动把所有东西复原才能开始下一条数据的录制。这种方式的瓶颈非常直接机器人有多少台、实验室有多少个数据就只能产这么多完全无法规模化。达摩院团队提出的解决思路颇具创意——既然真实机器人是限制因素那能不能用一个虚拟机器人来代替操作员照旧戴手套、做动作但驱动的不是真正的机器臂而是一个能根据手势实时生成机器人视角视频的AI模型。这个AI模型就像一个无所不能的摄影师拿到一张场景照片和一段人手运动轨迹就能源源不断地拍出机器人真实执行时应该看到的画面。操作员的手部动作数据经过转换变成适合各种机器人身体结构的控制信号AI生成的视频则提供对应的视觉观测。两者配对就构成了完整的训练数据完全不需要真实机器人参与。一、机器人训练数据的困境为什么现在的做法这么难规模化要理解这项研究究竟解决了什么问题先得搞清楚现有方法有多麻烦。传统的物理遥操作系统简单来说就是操作员戴上追踪设备通过某种映射关系实时控制机器人的手臂和手指机器人上的摄像头录下它看到的画面同时系统记录每一帧对应的关节角度数据。这两份数据配对在一起就是一条训练轨迹。这个流程的问题显而易见。首先它绑死在特定硬件上——你有什么机器人就只能采这个机器人的数据想换个机器人平台整套设备和流程都要重来。其次它绑死在特定场景里——桌子的位置、物品的摆放都必须固定每次采完一条数据就要手动复原效率极低。更关键的是现实世界里物品的种类、形状、纹理千变万化而实验室里能采到的场景种类永远是有限的因为你没办法把超市货架搬进实验室。正是这个原因现有的机器人学习系统在长尾分布上表现很差——所谓长尾就是那些不常见但确实存在的场景和物品。当机器人遇到训练数据里没见过的东西往往就手足无措了。研究团队把这个现象称为数据瓶颈也是本文要正面突破的核心问题。在现有的相关研究中有两条路线曾经尝试过类似方向但都各有缺陷。一条路线是把人类演示视频机器人化——把人手的动作画面翻译成机器人手臂的画面跨越视觉上的差距。但这类方法本质上是被动的、只处理视觉层面的它们从不产生真实的动作控制信号所以生成的数据没法直接用来训练控制策略。另一条路线是以人为中心的行动条件视频生成——给定人手的动作信号生成未来的画面。这类方法确实能实时互动但画面里仍然是人的手而不是机器人的手人机之间的外形鸿沟依然存在。RynnWorld-Teleop的目标是同时满足三个条件生成的画面必须是机器人视角的机器人中心、每帧画面必须和可恢复的关节控制信号精确对应动作基础、整个过程必须达到实时速度实时性。在这项研究之前没有任何系统能同时满足这三点。二、核心技术设计三把钥匙打开三道门RynnWorld-Teleop系统的技术设计围绕三个核心创新展开三者环环相扣共同保证了系统的可用性。第一把钥匙是深度感知骨骼表示。操作员的手部姿态通过21个关节点的空间坐标来表示这本来是三维空间里的数据。问题在于视频是二维的平面图像把三维数据压进二维时深度信息也就是手离摄像头多远会丢失。深度信息对于机器人操作至关重要——一个手势手在桌面上方5厘米和50厘米时代表的动作含义完全不同。研究团队的解决方案非常直观既然无法在画面里直接显示深度那就用颜色和大小来间接传达。每个关节点的颜色和半径会根据它距离摄像头的实际距离动态调整——离摄像头越近点就越大、颜色越深越远则越小、越浅。这样一张看似普通的骨骼示意图实际上编码了完整的三维空间信息。AI模型在接受这张图作为输入时能够从颜色和尺寸的变化中读出手的真实空间位置从而生成符合物理规律的操作画面。第二把钥匙是渐进式跨域训练。这里有一个根本性的挑战机器人手臂和人手的外形差异很大AI模型如果只看过机器人数据它知道的机器人场景太少但如果只看过人手数据它又不知道机器人长什么样。研究团队采用了先博后精的两阶段训练策略。第一阶段用海量的人手操作视频来训练让模型学会手与物体互动的基本物理规律——手抓东西时物体怎么移动、手指弯曲时接触面怎么变化。这一阶段使用了两个大型数据集EgoDex包含7400万帧的第一人称手部操作视频VITRA包含3070万帧并提供了详细的手部动作标注。模型在这个阶段学到的是操作这件事本身的规律而不是某种特定外形的手的规律。第二阶段用研究团队自己采集的1800条人机配对演示数据来精调模型。这1800条数据覆盖四种双臂协调任务双手分别抓取桌面上的苹果和香蕉并放到桌上左手推一个方块到中央再由右手推到目标区域双手同步举起一个西瓜抱枕放入托盘以及把一个纸箱的盖子准确扣回去。这四个任务设计得很有代表性既有精准操作也有力量配合还有时序协调。通过这个阶段模型学会了将人手的动作翻译成机器人手臂的对应画面完成了从人到机器人的视觉迁移。第三把钥匙是流式自回归蒸馏。原始的双向视频扩散模型可以理解为一种高质量的AI画图引擎在生成视频时需要看完整段再输出就像必须把整本书读完才能给出评价速度上完全不支持实时交互。研究团队用蒸馏技术把这个慢速的老师模型压缩成一个快速的学生模型。学生模型采用了因果型时间掩码——也就是说它在处理第t帧时只能看它之前的帧不能偷看未来。同时引入了KV缓存机制把之前帧的中间计算结果存下来反复利用大幅节省每一帧的计算量。蒸馏过程分两步先做因果流匹配预热让学生模型学会以流式方式预测运动轨迹再做分布匹配蒸馏DMD通过一个评判网络把学生模型的输出质量往老师模型靠拢最终只需4步推理就能生成高质量画面。最终结果是系统在单张H100显卡上达到了每秒40帧以上的生成速度远超现有同类系统2到10帧的水平也超过了真实机器人摄像头的标准30帧。三、完整的数字遥操系统从手势到训练数据的全流程仅有世界模型本身还不够研究团队进一步把它包装成一个完整可用的数字遥操系统。操作员穿戴的设备包括胸部、双腕和双上臂的五个HTC Vive追踪器以及Manus数据手套。追踪器以每秒100到120次的频率捕捉腕关节相对胸部的位置和朝向再通过一个阻尼最小二乘逆运动学求解器计算出TIANJI M6机器人双臂每臂7个关节的关节角度命令。手套信号则被转换成21个关节点的手部骨骼数据再映射到WUJI灵巧手的20个关节空间。两套信号合并就产生了一个54维的机器人动作向量全程与世界模型生成的视频保持严格同步。生成数据的流程是这样的操作员先为目标场景拍一张参考图比如一张摆好苹果和香蕉的桌子然后开始做手势演示手部骨骼序列以每秒16帧的速率被渲染成深度感知骨骼图RynnWorld-Teleop以这张参考图和骨骼序列为输入实时合成对应的机器人执行视频视频帧与54维动作向量配对就得到了可以直接用于模仿学习的训练数据。为了防止长视频中累积误差导致画面漂移就像抄写时越抄越走样系统采用了分块重锚策略每81帧为一个块每开始一个新块时用机器人摄像头当时实际拍到的画面来重新校准参考图确保合成视频始终与现实场景保持一致。与传统物理模拟器相比这套系统有几个本质优势。传统模拟器需要为每个物品建立精确的3D网格模型和物理参数文件耗费大量人工RynnWorld-Teleop只需一张参考照片不需要任何3D资产。传统模拟器渲染出的画面和真实世界之间存在现实鸿沟策略往往在模拟器里表现好但迁移到真实机器人就失效RynnWorld-Teleop直接在真实像素分布里合成画面自然包含了真实的光照、反射和噪声。传统模拟器对可变形物体束手无策预训练在大量人类视频上的RynnWorld-Teleop已经内化了接触动力学的常识。四、实验结果合成数据真的能训练出好用的机器人吗研究团队在TIANJI M6双臂机器人上进行了真实世界的策略评估每个任务在随机化物体位置的条件下连续测试35次以完成率作为核心指标。最值得关注的实验结论有两层。第一层是以假乱真π0这个基础策略模型完全不用任何真实机器人数据、仅用300条RynnWorld-Teleop合成数据来训练在方块推送任务上达到了82.86%的完成率在双手举起西瓜任务上达到77.14%。这说明合成的视频不仅在视觉上逼真在物理规律层面也足够准确策略能从中学到可迁移的操作技能。第二层是锦上添花当在300条真实数据基础上再加入300条合成数据时各个策略模型的表现都有明显提升。扩散策略DP在西瓜举起任务上从88.57%提升到94.29%π0.5在双手举起任务上从94.29%提升到100%在难度最高的盖盖子任务上π0.5从42.86%跳到62.86%π0从34.29%跳到54.29%两者都提升了整整20个百分点。为了进一步验证合成数据与真实数据的相似性研究团队用I3D视频特征提取网络分别提取了1000帧真实画面和1000帧合成画面的特征再用t-SNE降维可视化。结果显示两组数据的特征分布高度重叠说明合成数据在语义层面与真实机器人操作的分布高度对齐这正是零样本迁移能够成功的根本原因。在定量生成质量评估方面RynnWorld-Teleop全参数精调版本在EgoDex测试集上取得了PSNR 26.78、SSIM 0.887、LPIPS 0.119、FVD 550的成绩全面超越InterDyn、CosHand、Mask2IV等同类方法也大幅领先于Wan、CogVideoX等通用视频生成模型。因果流式版本RynnWorld-Teleop-Causal在牺牲一定画质的情况下实现了每秒40帧的实时生成能力在实际机器人测试集上的PSNR为18.66、FVD为1534延迟分解为骨骼动作编码约占5%、因果DiT去噪约占72%、视觉解码约占23%平均每帧约25毫秒。五、消融实验每个设计选择都有其道理研究团队做了详细的消融实验验证每个设计环节是否真的必要。首先是条件融合方式的选择。系统采用的是分布对齐加法融合把骨骼控制信号先归一化到与视频隐空间相同的统计分布再通过可学习的门控参数与视频信号相加。对比实验用简单的拼接融合直接把控制信号拼到视频信号后面替代这个方案结果FVD从585飙升到1191画面质量大幅下降。原因在于直接拼接破坏了预训练模型已经建立的隐空间结构就像把两种相互排斥的材料混在一起反而什么都做不好。加法融合搭配零初始化的门控参数则让模型能够温和地逐渐引入骨骼信号不破坏已有的生成能力。其次是第一阶段人类数据预训练的价值。去掉第一阶段、直接在机器人数据上精调FVD从585恶化到2598LPIPS从0.119恶化到0.453画质几乎崩溃。可视化结果显示没有预训练的模型无法合成真实的手指结构在操作过程中会出现严重的鬼影和画面模糊目标物体甚至会从画面中凭空消失。这说明1800条机器人数据远远不足以让模型从零开始学习手物接触的物理规律必须先从海量人类视频中汲取这种先验知识。再次是两阶段蒸馏流程的必要性。只用因果流匹配热身、不做DMD精调PSNR从22.25降到19.25。反过来跳过热身阶段直接做DMD则会出现严重的训练不稳定和画面模糊无法收敛。研究团队将这解释为热身阶段建立了因果生成的基本架构是DMD阶段能够稳定地继承老师模型复杂操作先验的前提条件两者缺一不可。六、泛化到训练集之外的场景一张图片无限可能数字遥操范式的一个重要主张是只要给一张参考图就能在任意场景里生成训练数据。研究团队专门验证了模型在分布外视觉状态下的表现测试了两个方向的泛化能力。第一个方向是看不见的物体。把参考图里的操作对象换成训练时从未出现过的类别或形状比如把木块换成红色球体、把西瓜抱枕换成橄榄球。第二个方向是看不见的背景。把桌面纹理替换成训练时没见过的样式比如花纹桌布。两类替换都通过现成的图像编辑工具完成没有改动任何真实场景。从Fig.7展示的结果来看模型在这两种泛化场景下都能维持时序一致性并按照动作信号忠实执行轨迹。研究团队据此认为模型学到的操作先验与具体物体纹理和背景外观解耦真正支持了从单张参考图实例化任意操作场景这一数字遥操范式的核心主张。这意味着未来只需要在网上找一张合适的场景图片再做几分钟手势演示就能产出一批针对全新物体和环境的训练数据。说到底RynnWorld-Teleop想解决的是机器人领域里一个很古老的问题你需要大量数据才能训练好的机器人但采集大量数据本身又依赖于你已经有了大量机器人和实验室资源。这是一个典型的鸡生蛋蛋生鸡的困境。这项研究提供的答案是用AI生成器来打破这个循环。人类操作员做一次手势演示AI就能把这次演示变换到任意场景、任意背景、任意物体组合下产出数十倍的训练数据。合成数据与真实数据混合使用在多个任务上都能显著提升机器人的成功率甚至在某些任务上完全依赖合成数据训练的机器人也能有相当不错的表现。当然研究也诚实地列出了现有局限。模型对液体流动、高度可变形物体比如面团、布料等复杂物理现象的建模还不够准确因为训练数据里这类场景太少。此外弥合人机外形鸿沟目前仍需要针对具体机器人平台做精调限制了系统在多机器人平台间的可移植性。研究团队认为以机器人运动学描述符为条件的跨具身基础世界模型是未来值得探索的方向。从更宏观的视角看这项研究尝试回答的是人类已经积累的大量如何操作物体的知识体现在人类演示视频里能不能被有效地迁移给机器人结果是肯定的——至少在双臂协调操作这个场景下这种迁移是可行的而且量化结果相当扎实。对机器人学习的数据问题感兴趣的读者可以通过论文编号arXiv:2607.06558查找完整原文。QAQ1RynnWorld-Teleop生成的视频和真实机器人录制的视频有多大差距A从定量指标来看RynnWorld-Teleop在机器人专属测试集上的PSNR为22.53SSIM为0.898LPIPS为0.148FVD为763。研究团队通过I3D特征的t-SNE可视化分析发现合成数据与真实机器人数据的特征分布高度重叠说明两者在语义层面非常接近这也是完全依靠合成数据训练的机器人能够在真实环境里取得不错成绩的根本原因。Q2数字遥操和传统物理遥操相比数据采集效率提升了多少A论文中没有直接给出采集效率的对比数字但定性来看数字遥操去掉了三个主要瓶颈不再需要真实机器人硬件、不再需要固定实验室场景、不再需要每次演示后手动复原物品。更重要的是操作员做一次手势演示后可以通过换参考图的方式让AI在不同物体和背景下重复生成数据理论上可以将单次演示的数据价值成倍放大。Q3RynnWorld-Teleop能否适用于不同品牌或结构的机器人A目前需要针对具体机器人平台进行精调这是研究团队自己承认的局限之一。现有的第二阶段训练数据专门来自TIANJI M6加WUJI灵巧手这套组合换了其他机器人就需要重新采集配对数据并重新精调。研究团队认为未来可能需要以机器人运动学描述符为条件的跨具身基础世界模型来解决这个问题但目前尚未实现。