这项由阿里巴巴集团达摩院、香港具身智能实验室、香港中文大学和湖畔实验室联合开展的研究以预印本形式发布于2026年7月7日论文编号为arXiv:2607.06559感兴趣的读者可通过该编号在arXiv平台查阅完整论文。**一、机器人的视力障碍为什么普通摄像头不够用**假设你闭上一只眼睛单眼看世界你就会失去立体感——你很难判断茶杯到底有多远伸手抓它时很可能扑空。普通摄像头对机器人来说正是这种单眼视觉它能看到画面却无法真正理解物体在三维空间中的位置更无法感知物体正在如何移动。当前很多机器人系统依赖的是2D视频——也就是普通摄像头录下的彩色画面。这些画面能告诉机器人眼前有一个苹果却很难告诉它这个苹果距离我0.3米正在以每秒5厘米的速度向右滚动。对于只需要按个按钮的简单任务这或许够用但对于需要精准配合双手、判断物体深度、预判运动轨迹的精细操作来说这种平面视觉远远不够。更深的问题在于当机器人用2D图像来学习下一步该怎么动时它必须从色彩变化中猜测物体的实际移动方式就像你只看人的脸色变化来猜测他在跳什么舞蹈——信息的缺失会造成大量误判和不稳定。达摩院的研究团队由此提出了一个核心问题能不能让机器人的世界预想升级到第四维度不只预测画面会变成什么样而是预测空间结构会怎么变、物体会朝哪个方向移动多远**二、四维世界模型是什么给机器人配备时空地图**在正式介绍这项研究之前有一个核心概念需要理解什么是世界模型可以把世界模型比作一个有经验的厨师在脑子里演练食谱。当厨师听到制作番茄炒蛋这个指令时他的大脑会自动预演先打蛋、加盐搅拌、热锅倒油、蛋液变固、加入番茄翻炒……整个流程的画面和感受都在脑子里过了一遍然后才真正动手。机器人的世界模型也是如此——在真正行动之前先在想象中预演场景会如何变化。传统的机器人世界模型只能预演彩色画面就像厨师只记得食物的颜色却不知道锅有多烫、食材有多重。这项研究的突破在于他们让机器人的世界模型能同时预演三种信息彩色画面RGB、深度地图Depth和光流图Optical Flow。深度地图可以理解为一张距离照片——画面中每个像素都带有这里距摄像头多远的信息就像激光雷达的测量结果被投影到一张图上。光流图则记录了画面中每个点从当前帧到下一帧的运动方向和速度用颜色表示红色代表向右移动蓝色代表向左颜色深浅表示移动快慢。把这三种信息组合在一起就得到了论文所称的RGB-DF表示——一个能同时描述外观、空间结构和运动趋势的完整时空快照。更妙的是当你同时拥有深度图和光流图时可以用数学方法将它们融合还原出真实的三维运动轨迹也就是论文中所说的3D场景流。可以把这个过程比作用地图上的等高线深度加上气象图上的风向箭头光流就能计算出真实地形中气团的立体运动路径。机器人通过这种方式能真正理解物体在三维空间中的运动而不是在二维画面上猜测。**三、RynnWorld-4D的架构一个拥有三条视觉通道的大脑**有了清晰的目标达摩院团队开始设计实现这一目标的系统取名为RynnWorld-4D。这个系统的基础是一个已经在大量视频上预训练好的视频生成模型——Wan 2.2这个模型本身已经具备了强大的想象力能够根据一张图片和一段文字描述生成流畅的视频。团队要做的是把这个单一通道的大脑升级成一个三通道大脑。具体来说他们为彩色画面、深度图、光流图各建立了一条独立的处理通道。这三条通道就像大脑的三个不同感官区域视觉皮层处理颜色和纹理空间感知区处理距离和结构运动追踪区处理移动方向和速度。每条通道都有自己专属的神经网络结构允许它专注于自己擅长的模态特征不会互相干扰。但仅仅分开处理还不够。现实中物体的颜色变化、空间移动和运动方向必须保持一致——苹果向左滚动深度图上苹果对应的位置就应该变远光流图上就应该出现向左的箭头。三条通道必须对话确保各自的预测结果彼此吻合。为此研究团队设计了一个叫做联合跨模态注意力的机制JA模块。可以把这个机制比作三位厨师在制作同一道菜时的实时沟通每隔几个步骤三位厨师会停下来互相汇报进展——我这边的火候是这样的、我这边的食材状态是这样的——然后各自根据对方的情况调整自己的操作。在整个30层的神经网络中这样的沟通会议每三层召开一次总共进行10次。在技术细节上每个JA模块的设计颇为精巧。每条通道产生一个问题Query和一组答案Key/Value然后用自己的问题去查询另外两条通道的答案从而获取跨模态信息。为了让三条通道的空间坐标完全对齐研究团队在这个跨通道查询过程中引入了三维旋转位置编码3D RoPE——这就像给三位厨师的每份食材都贴上了统一的坐标标签确保大家说左边第三格时指的是同一个位置。另外模块的输出通过一个可学习门控来控制影响力的大小这个门控初始值设为1而非0避免了某种双重初始化方案导致的训练停滞问题。同时三条通道各自保留独立的前馈神经网络FFN而不是共用一个。原因很简单颜色纹理、空间距离和运动方向是三种本质不同的信息就像咸味、酸味和甜味需要不同的味觉感受器来处理强行共用一套感受器只会造成混乱。实验也证实一旦改用共享FFN三个维度的预测精度都会明显下降。**四、数据集的建设254亿帧的视觉教材**再聪明的学生没有足够的课本也无法成材。RynnWorld-4D的训练同样面临一个棘手的现实世界上根本没有现成的、大规模的、同时带有深度图和光流标注的视频数据集。研究团队不得不自己动手建造这套教材这就是Rynn4DDataset 1.0的由来。这套数据集最终包含超过2.544亿帧视频来自7个不同的数据来源。其中约20.6亿帧占8.1%来自人类自我视角的活动视频具体包括著名的Epic-Kitchens厨房操作数据集和EgoVid数据集其余约233.8亿帧占91.9%来自机器人操作场景涵盖RoboMIND、RDT-1B、Galaxea、RoboCoin和AgiBot等多个机器人数据集。然而这些视频本身只有彩色画面并没有现成的深度和光流标注。研究团队采用了伪标注的方式——用当前最先进的自动化工具来批量生成这些标注。深度信息由Depth Anything 3模型生成该模型能从单张图像预测出每个像素的距离精度达到可用于训练的水平光流信息则由DPFlow模型生成该模型能分析相邻帧之间每个像素的移动方向和幅度。视频文字描述由Qwen3-VL多模态语言模型生成每段视频被切割为5秒片段以1帧/秒的速率采样后输入模型要求模型描述主体动作、环境背景、物体交互和整体氛围输出不超过512个词。深度图的处理有一套具体流程视频以30帧/秒采样工作分辨率短边不超过392像素每帧生成的深度值被裁剪到0至5米的范围然后通过公式转换成8位灰度图像保存。这种统一的深度范围设置对于机器手臂操作场景来说恰到好处既覆盖了绝大多数操作距离又避免了远景噪声的干扰。**五、三阶段训练像培养厨师一样循序渐进**数据有了架构有了接下来是训练策略。研究团队采用了一套三阶段渐进式训练方案这个过程可以类比于培养一位精通三种烹饪风格的厨师。第一阶段叫做模态适应。三条通道关闭跨通道通信各自独立训练。这就像三位厨师先分别在自己的小厨房里磨练基本功——彩色通道继续强化其对视觉纹理的理解深度通道从彩色视频的预训练基础上学习如何感知空间距离光流通道则学习如何理解运动模式。此阶段学习率设为2×10??光流损失权重λ设为0.5因为光流的第一帧是零流场信息量较少。第二阶段叫做联合注意力训练。主干网络被冻结只有新引入的10个JA模块和相关的归一化层、门控参数可以被训练。这相当于让三位厨师先把个人技能固化然后专门练习协作——怎么互相通报进度、怎么调整彼此的节奏。学习率提升到5×10??并引入分支随机丢弃机制以0.2的概率随机丢弃深度或光流通道的输入强迫JA模块学会在某一通道信息缺失时从其他通道的信息中推断补全。彩色通道不参与丢弃因为它是整个系统的外观锚点。第三阶段叫做全参数联合精调。所有参数全部解冻在完整的Rynn4DDataset 1.0上继续训练学习率降至1×10??随机丢弃率降至0.1。这就像三位厨师把之前分开练习的技能融合在一起在真实厨房环境中进行综合演练打磨最终的默契度。整个训练过程中三个通道共享同一个高斯噪声样本确保它们的去噪轨迹在时间上始终对齐不会出现彩色通道已经预测到未来第5帧而深度通道还停在第3帧的错位现象。训练分辨率为81帧×480×640经过视频自编码器的4倍时间压缩后输出21个潜在帧。**六、从脑内预演到手上动作RynnWorld-4D-Policy**让机器人能在脑中预演四维未来只是第一步更关键的问题是如何把这个预演结果快速转化为实际的机械臂动作传统方法通常需要先完整生成一段视频这需要多次迭代的去噪计算再从视频中推断动作就像厨师必须先把整道菜从头到尾在脑子里模拟做完才能开始动手——这个过程太慢无法支持实时控制。RynnWorld-4D-Policy采用了一个更聪明的捷径不等预演视频完整生成出来而是直接截取RynnWorld-4D内部神经网络的中间思考状态来指导动作。具体来说研究人员发现在扩散时间步t500时即去噪过程进行到一半时从第15层Transformer块提取的内部特征已经包含了丰富的四维信息足够用来推断下一步动作。从三条通道提取的3072维特征被拼接在一起形成每帧9216维的综合特征涵盖了视觉外观、空间几何和运动动态三个维度。这个高维特征序列随后被输入一个叫做Flow Former的压缩模块它通过可学习查询向量用空间交叉注意力汇聚每帧的空间信息再用时间自注意力整合跨帧的时序动态最终压缩成一个紧凑的时空特征向量。动作生成采用流匹配Flow Matching策略通过4步ODE常微分方程求解器生成54维的机械臂动作对应双臂共54个关节自由度。每次生成10个连续动作即一个动作块机器人执行这10个动作的同时下一个决策周期已经在后台并行计算。这种设计带来的实际控制频率约为9赫兹——即每秒更新9次决策。虽然与传统PID控制器的500赫兹以上相比频率较低但由于策略是基于预测的四维特征运作能提前预判物体运动趋势这种预见性在一定程度上弥补了频率的不足。即便在执行动作过程中物体略有偏移下一次9赫兹的更新也能及时重新规划轨迹。从具体的延迟分析来看整个推理周期约1106毫秒其中深度估计占85毫秒7.7%VAE编码和潜变量准备占18毫秒1.6%RynnWorld-4D的三支路Transformer前向传播占990毫秒89.5%这是最主要的计算瓶颈特征重塑和拼接占1毫秒0.1%Flow Former占4毫秒0.4%动作流匹配头占8毫秒0.7%。整套系统运行在配备NVIDIA RTX 5090 GPU的工作站上使用FP8量化和FlashAttention 3加速。**七、真实机器人实验六项精细任务的全面测试**研究团队在真实的双臂机器人上进行了系统性评估。硬件平台采用天机M6机器人7自由度机械臂搭配悟己灵巧手20自由度仿人手双臂合计54个自由度并配置了英特尔RealSense D435i深度摄像头提供第一人称视角。为了充分检验系统能力研究团队设计了六项涵盖不同难度和类型的操作任务。双手取物任务要求机器人左臂从盘子中拾取一个苹果、右臂拾取一根香蕉依次放到桌面指定位置积木推送任务要求左臂先把大积木从左区推到中央右臂再把它推到右侧目标区域考验时序协调物品传递任务是最具挑战性的任务之一左手夹取一颗白菜后传递给右手右手再完成放置涉及精密的手-手协作双手举升任务要求双臂同步抬起一个大西瓜毛绒玩具并放入托盘考验力量协调盖盖子任务要求机器人拾取一个盖子并精准对齐覆盖在纸箱上精度要求极高碗叠放任务要求把一只碗精准叠放在另一只碗上同样需要毫米级的空间精度。每项任务使用200个演示轨迹训练策略训练世界模型时使用300-500个评估标准是35次连续真实测试中的成功率成功条件为机器人在120秒内完成任务。实验结果方面RynnWorld-4D-Policy在六项任务中的平均表现超过了其他所有对比基线。以成功率数字来看双手取物任务达94.29%积木推送任务97.14%物品传递任务28.57%双手举升任务97.14%盖盖子任务65.71%碗叠放任务65.71%。对比来看扩散策略Diffusion Policy一种经典的机器人学习方法在这六项任务中的成绩分别为77.14%、85.71%、17.14%、88.57%、57.14%和57.14%。物理智能公司的π?基础模型表现为88.57%、94.29%、2.86%、91.43%、34.29%和51.43%。π?.?的成绩为94.29%、100%、0%、94.29%、37.14%和42.86%。特别值得关注的是物品传递任务——π?的成功率仅有2.86%π?.?完全失败0%而RynnWorld-4D-Policy达到了28.57%。研究团队分析认为这种差异源于两个根本性问题现有基础模型的预训练数据以平行夹爪为主缺乏对灵巧手的先验知识而且在手-手传递场景中2D策略很难判断两个高自由度末端执行器之间的相对三维距离和可能的自遮挡关系而RynnWorld-4D提供的显式几何和运动信息恰好弥补了这一缺陷。在四维世界模型本身的生成质量评估上研究团队对比了多种视频生成和4D建模方法。在深度几何准确度方面RynnWorld-4D的δ?指标越高越好达到0.610而对比的4DNeX仅为0.327TesserAct仅为0.279。在光流运动精度方面RynnWorld-4D的平均端点误差AEPE越低越好为0.170而大多数对比方法根本不具备生成光流的能力。在彩色视频的感知质量上RynnWorld-4D的各项指标也与专门的视频生成模型持平甚至更优。**八、消融实验拆开看每个设计选择的贡献**研究团队进行了一系列拆零件实验来验证每个设计选择的必要性。首先是三通道融合的必要性。如果把三条通道完全分开训练、不引入任何跨模态通信深度的AbsRel误差从0.310恶化到0.737光流AEPE从0.170上升到0.247。这表明三种模态之间的相互约束是保证预测物理一致性的关键——彩色信息能帮助深度通道理解物体边界深度信息能帮助光流通道校正运动估计。其次是第一阶段模态适应训练的必要性。如果跳过这个阶段直接进行三通道联合训练δ?从0.610降至0.479AEPE也明显恶化。原因在于深度和光流通道是从彩色视频的预训练权重初始化的它们的先验知识完全基于RGB特征需要一段时间的专项训练才能真正适应自己的模态特性不能直接上岗。第三是大规模4D预训练数据集的必要性。如果只用特定任务的机器人操作数据训练不使用Rynn4DDataset 1.0光流AEPE从0.170急剧飙升至0.729其他指标也全面崩溃。这说明仅靠任务专属数据无法学会复杂的时空动态规律需要多样化的大规模预训练数据打底。第四是联合跨模态注意力中3D旋转位置编码的必要性。去掉这个编码后δ?从0.610降至0.450AEPE从0.170升至0.210。这验证了空间坐标的显式注入对于跨模态特征在像素级别精确对齐的不可或缺性。第五是策略端不同模态组合的贡献。仅使用RGB特征训练策略时双手取物任务成功率为77.14%加入深度特征RGB深度后物品传递和双手举升等需要空间精度的任务明显提升加入光流特征RGB光流后运动敏感型任务有所改善三者全部使用的完整版本达到最佳全面表现。这印证了视觉外观空间几何运动动态三位一体的协同效应。**九、局限性与未来的可能性**这项研究也坦率地承认了现有局限。单次推理需要约1.1秒对于需要亚秒级反应的超高频控制场景比如接球或高速分拣仍然存在瓶颈。当前系统主要针对单摄像头的自我视角场景优化对于需要多视角融合或多机器人协同的复杂场景如何保持4D时空一致性还是有待解决的开放问题。从更长远的视角看这项研究指向了一个更宏大的目标让机器人像人类一样在真正理解三维世界的基础上做决策而不是从像素变化中反复猜测。随着计算效率的持续提升和多视角扩展技术的发展这套框架有望支撑更广泛的具身智能应用场景。说到底RynnWorld-4D做了一件听起来简单、实现起来复杂的事它让机器人的想象力从一张二维画面升级成了一个带有空间坐标和运动轨迹的三维时空预演。当机器人在执行把苹果从盘子移到桌上这个任务时它的内部世界模型不再只是预测画面颜色如何变化而是在心里演算苹果会沿着什么样的三维弧线移动、我的手指需要在哪个深度位置收拢、每一帧的空间布局会如何演变。这种升维的预见能力是机器人从会干活走向真的懂干活的一步重要跨越。对四维世界模型和机器人具身智能感兴趣的读者可以通过arXiv编号2607.06559查阅完整原文或访问Alibaba-DAMO-Academy/RynnWorld-4D的HuggingFace页面获取模型权重和演示资源。---QAQ1RynnWorld-4D和普通的机器人视觉系统有什么区别A普通机器人视觉系统通常只处理彩色图像无法直接感知物体的距离和运动速度。RynnWorld-4D同时预测彩色视频、深度地图和光流图三种信息让机器人能在行动前先想象出物体在三维空间中的移动轨迹从而做出更精准的动作规划尤其在需要毫米级精度的精细操作任务中优势明显。Q2Rynn4DDataset 1.0里的深度和光流数据是怎么来的A这个数据集中的深度和光流标注并非人工手动标注而是通过自动化模型批量生成的伪标注。深度信息由Depth Anything 3模型从单张图像预测生成光流信息由DPFlow模型从相邻帧分析计算视频文字描述由Qwen3-VL生成。这种方式让研究团队得以在不依赖昂贵人工标注的情况下快速构建出包含2.544亿帧的大规模训练数据集。Q3RynnWorld-4D-Policy的9赫兹控制频率够用吗A对于大多数人类日常操作速度的机械臂任务来说基本够用。系统通过动作块机制来弥补更新频率的不足——每次计算一次性生成未来10个连续动作机器人在执行这10个动作的同时下一组动作已在后台并行计算完成。此外由于策略基于四维预测特征运行具备一定的前瞻性能预判物体运动趋势部分抵消了感知到执行之间的时间延迟。