这项由阿里巴巴集团AMAP CV Lab完成的研究发表于2026年7月以arXiv预印本形式公开编号为arXiv:2607.00678相关代码已开源于GitHub平台。机器人能帮人类做家务这个梦想距离现实究竟还有多远搬运物品、整理餐具、去冰箱里取东西——这些对人类来说轻而易举的动作对机器人而言却是难以逾越的挑战。原因不仅在于机械臂的精度更在于机器人需要同时走路和干活这两件事结合在一起就像要求一个人一边在拥挤的超市里穿行一边精准地把鸡蛋放进购物篮全程不能打碎任何东西。阿里巴巴的研究团队专门针对这个难题提出了一个名为ABot-M0.5的全新系统。这个系统的核心思路是让机器人不仅仅看到当下还能预见未来然后基于自己预见到的未来来决定下一步怎么动。这种能主动预见世界变化、再据此行动的系统研究团队称之为世界行动模型WAMWorld Action Model。一、机器人为什么又笨又短视——现有技术的三道墙要理解这项研究的价值先得弄清楚机器人现在到底卡在哪里。当前最流行的机器人控制方法叫做视觉-语言-行动模型VLA可以把它理解为一种当下反应型大脑机器人看一眼当前画面大脑立刻输出下一步动作就像一个只看当前路况、完全不思考未来的司机。这种方式在简单、短暂的任务上还算能用但碰到需要走很长一段路再精准操作的任务问题就来了——它根本不知道自己的行为会如何改变周围的世界于是频繁出错。于是研究者们发明了世界模型World Model让机器人先想象未来的场景再据此行动类似于一个会提前在脑海里彩排剧情的演员。但已有的世界模型系统在面对移动操作这种组合任务时暴露出三个结构性缺陷研究团队将其称为三道错位之墙。第一道墙是时间粒度错位。现有世界模型预测未来时往往一次预测好几帧画面打包成一个视频块就像用慢放镜头看一场精密手术——你能看到大致轮廓但捕捉不到手指在哪一瞬间轻轻按住血管、在哪一刻完成缝合。而机器人真正需要的动作信号却必须精确到每一帧一旦预测粒度太粗抓握时机的微妙变化、接触瞬间的力道调整就全被抹平了。第二道墙是行动结构错位。走路和操作物体是两种截然不同的语言走路低频、平稳、方向宏观手臂操作高频、局部、对接触极度敏感。把这两种完全不同的行为塞进同一个神经网络里一起学习就像要求一个人同时用左手写楷书、右手打鼓两手互相干扰最终两件事都做不好。第三道墙是训练与实战的错位。训练机器人时研究者会把正确答案——也就是真实的未来视频画面——直接喂给模型让它根据完美的未来图像学习如何行动。但到了真正运行时根本没有标准答案可以参考机器人只能依靠自己对未来的预测——而这个预测往往包含噪点、模糊、甚至完全错误的细节。于是一个在考场里练习过标准答题的模型到了实战中却面对的全是破损的试卷自然频繁出错。这三道墙共同构成了移动操作任务中机器人屡屡失败的深层原因而ABot-M0.5的全部设计都是为了把这三道墙逐一拆除。二、拆墙第一招在视频和动作之间搭一座翻译桥为了解决时间粒度错位的问题研究团队在视频预测和动作输出之间加入了一个全新的中间层叫做帧级潜在行动frame-level latent action可以把它理解成一种特殊的动作草稿。具体来说整个信息流动过程分成三步第一步模型先预测未来几帧的整体视觉变化也就是未来的世界长什么样第二步模型从这段预测视频中提取出每两帧之间发生了什么细微的视觉变化把这个变化编码成一个紧凑的动作草稿向量第三步再把这个动作草稿翻译成机器人真正能执行的关节角度、速度等具体指令。这种设计的精妙之处在于动作草稿完全依赖于视觉变化与机器人的具体结构无关。一台双臂机器人和一台单臂机器人在执行拿起杯子这个动作时视觉上的变化是相似的——杯子从桌面移动到了手边——所以它们的动作草稿也会相似只是最后翻译成具体指令时才分叉。这意味着在大量没有动作标注的视频数据上预训练的动作草稿知识可以迁移到各种不同的机器人平台上大大降低了数据需求。为了让这套动作草稿体系更加可靠团队还专门训练了一个叫做ALAM的编码器让它学习从视频帧对中提取动作草稿。训练这个编码器时加入了两个数学约束第一个是可加性——从A到C的动作草稿应该等于从A到B再从B到C的动作草稿之和就像位移的矢量加法第二个是可逆性——从A到B的动作草稿取反应该等于从B到A的动作草稿就像往前走一步和往后退一步正好抵消。这两个约束让动作草稿空间具有了良好的数学结构使得相似的物理操作在这个空间里聚在一起不同的操作则彼此分离。三、拆墙第二招给走路和操作分别配一个专属大脑第二道墙的解法是研究团队精心设计的双层混合变换器架构Dual-level Mixture-of-TransformersD-MoT。所谓混合变换器就是在一个大的神经网络里针对不同类型的任务分配专属的子模块而这些子模块又共享一个公共的注意力计算层可以互相交换信息。研究团队在两个层次上都用了这个思路。第一个层次是让视频预测、动作草稿预测、具体动作预测这三种本质不同的任务各自拥有独立的输入投影层、时间步嵌入和输出头但共享同一个自注意力计算骨干。这就像三位厨师在同一个大厨房里工作——他们共用灶台和刀具但每人负责自己的菜系有各自专用的调料柜不会乱用彼此的食材。第二个层次则是在具体动作这个子任务内部进一步把移动底盘的行动和操控手臂的行动分离成两个专属子塔。每个子塔有自己独立的前馈神经网络和输出头但两者仍然共享注意力计算层让底盘和手臂的动作信息能够互相知晓、相互配合。为什么这种分离如此重要因为底盘移动的信号往往是低频的、平滑的大动作而手臂操作的信号是高频的、精细的微调动作。如果把它们混在一起训练高频的操作梯度信号会把低频的移动梯度信号淹没导致机器人要么走路时磕磕绊绊要么操作时粗手粗脚。分开之后各司其职收敛速度更快最终精度也更高。实验结果显示加入行动解耦的混合变换器之后视频预测和动作预测的训练损失都以更快的速度下降在长距离移动操作任务子集上的成功率从0.34提升到了0.48。四、拆墙第三招用彩排失误版来训练才能应对真实世界第三道墙是最隐蔽、也最难解的训练时用的是完美的未来画面部署时面对的是充满噪声的预测画面这道鸿沟会让机器人在真实运行时频繁失手。研究团队对比了现有的两种主流做法发现它们都有各自的缺陷。教师强制方法直接用真实未来帧训练训练与测试的差距最大扩散强制方法让视频和动作在不同噪声程度下一起训练虽然稍微弥合了一些差距但训练时的噪声组合方式与测试时的实际推理路径仍然对不上反而增加了学习复杂度。研究团队提出的解法叫做梦境强制Dream Forcing在训练过程中先让模型自己生成一段梦境视频——也就是模型对未来的预测结果哪怕这段预测里有些物体位置偏了、画面有点模糊、甚至出现了不该出现的东西——然后拿着这段充满瑕疵的梦境视频来训练动作预测部分让模型学会在面对这种不完美预测时仍然能推断出正确的行动。这在直觉上很像给学生模拟真实考场的练习方式考前练习不仅仅在理想环境下做题还故意在有噪声、有干扰、有错误信息的情况下反复训练让学生对各种不完美情境都能从容应对。最终上了真正的考场哪怕题目旁边有一个油渍、灯光有点昏暗也不会慌乱。实现这个训练策略时团队采用了两阶段前向传播的方法第一阶段用正常的教师强制方式生成梦境潜在变量也就是模型对未来视频帧和动作草稿的预测结果第二阶段把这些带着预测误差的梦境变量替换掉之前训练时用的真实未来变量作为条件信号输入再训练动作预测部分。这样模型就能在训练中反复经历用自己的预测指导自己的行动这个过程与真实推理时的情境保持一致。为了让这个两阶段流程在训练时不过于耗时团队借鉴了自我强制方法中的少步去噪技术用少量扩散步骤快速生成梦境变量而不需要完整的多步扩散采样大幅提升了训练效率。五、三阶段渐进训练从宽泛的世界认知到精准的行动对齐整套模型的训练分成三个递进的阶段每一阶段都在前一阶段的基础上增加新的学习任务。第一个阶段是世界模型预训练。团队从Wan2.2这个已经在海量互联网视频上训练好的5B参数视频生成模型出发在大量机器人视频数据上进行全参数微调让模型学会预测机器人视角下的未来场景。预训练用的数据来自多个公开的机器人数据集包括OXE、AgiBot-Beta、RoboCOIN、RoboMind、Galaxea以及大型合成数据集InternData-A1等覆盖了单臂、双臂、移动底盘等各种机器人形态。为了处理不同机器人使用不同摄像头配置的问题团队设计了固定的语义槽分配策略前两个摄像头槽位固定给第三人称全局视角后两个槽位固定给腕部近景视角。摄像头少于四个的数据集用零向量填充空缺槽位并在注意力计算时屏蔽掉填充部分确保梯度只从真实的观测数据中传播不受人工填充的干扰。第二个阶段是潜在行动模型预训练也就是专门训练ALAM编码器的阶段。由于动作草稿的提取只需要视频帧对不需要机器人的动作标注大量无标注视频都可以用来训练。训练完成后ALAM编码器被冻结作为固定的特征提取器使用。第三个阶段是渐进式监督微调分成两个子步骤。第一个子步骤SFT1用真实的未来帧作为条件信号联合训练视频预测、动作草稿预测和具体动作预测三个任务让整个级联系统在目标任务数据上收敛到稳定状态。第二个子步骤SFT2启动梦境强制机制用模型自己生成的预测视频替换真实未来帧继续微调动作预测部分完成训练与推理的对齐。除了这三个阶段团队还在工程层面做了两个重要优化。一个是高效结构化注意力机制将整个多流注意力模式拆解为多个密集子问题用变长FlashAttention核一次性计算相较于FlexAttention基线方案实现了约5倍的前向-反向传播加速。另一个是偏移量潜在增强技术预计算视频潜在特征时不固定从第一帧开始切片而是随机选择0到H-1之间的偏移量使每段视频可以产生H种不同的切片方式大幅增加了训练数据的多样性。六、实验结果三类任务全面领先真实机器人也能用研究团队在四个不同的评测平台上验证了ABot-M0.5的效果每个平台测试的侧重点都不同。在主要的移动操作评测台RoboCasa365上这个平台模拟家庭场景包含从简单的单步任务到需要多次走动和操作的复合任务测试机器人能否在真实家庭环境中完成购物、整理、烹饪等日常任务。ABot-M0.5在全量数据预训练设置下取得了40.4%的平均成功率在原子级别的已见任务上达到了75.9%在组合级别的已见任务上达到了38.3%全面超越了此前最好的对比方法Qwen-RobotManip35.9%平均成功率。在仅使用目标任务100%数据的精调设置下ABot-M0.5取得了54.2%的平均成功率相比此前最优的Lingbot-VA45.1%提升了约9个百分点其中在组合未见任务这一最难的子集上从32.1%跃升至45.6%提升幅度最为显著。在仅使用10%数据的低资源设置下ABot-M0.5也以30.1%的成功率大幅领先GR00T-N1.5的21.0%证明了预训练带来的知识迁移能力。在双臂操作评测台RoboTwin 2.0上这个平台测试机器人在干净场景和随机化场景改变背景、光照、物体位置等下的泛化能力ABot-M0.5在清洁场景和随机化场景的平均成功率分别达到94.0%和94.2%综合平均94.1%超越了此前最好的Qwen-RobotManip93.85%。在桌面操作评测台LIBERO系列上ABot-M0.5取得了99.4%的综合成功率是所有方法中最高的。而在测试零样本泛化鲁棒性的LIBERO-Plus评测中在标准LIBERO数据上训练不做任何针对性微调直接测试在摄像头变化、机器人变化、光照变化等各种扰动下的成功率ABot-M0.5在WAM类方法中取得了最好的83.4%总体成功率尤其在机器人形态变化这一项上以87.4%的成功率大幅领先ImageWAM的50.3%。在真实机器人实验中团队用一台6自由度单臂机械臂测试了五个任务每个任务只收集了50条真实示范。精细操作任务圆柱插孔的成功率达到70%π0.5为50%Fast-WAM为30%过程分数高达96%。四个长距离多步骤任务整理盘子、摆放水果、叠杯子、摆放花卉的成功率分别为70%、80%、80%、60%而Fast-WAM在这些任务上仅为20%至40%。更值得关注的是所有任务的过程分数均超过88%说明即便最终没有成功完成任务机器人也能顺利推进绝大部分步骤而不是在中途就完全失控。七、消融实验每块积木都不可缺少为了验证每个设计选择的必要性团队做了一系列拆解实验逐一移除各个组件观察性能如何变化。关于中间动作草稿的设计四种不同方案的对比结果清楚地显示了架构细节的重要性直接从视频潜在变量预测动作的基准方案成功率为87.60%把多视角动作草稿和动作信号在通道维度拼接起来Channel Concat的方案成功率为91.06%把视频、动作草稿、动作作为两个阶段分开但索引共享2-Stage Separate的方案成功率为90.86%最终采用的三阶段完全分离方案3-Stage Separate无条件丢弃成功率达到94.00%提升非常明显。另外当三阶段分离方案中加入20%的条件丢弃率时成功率反而降回91.06%证明在这套级联推理架构下训练时随机遮掉动作草稿会造成训练与推理的不一致反而有害无益。关于梦境强制的效果团队从一个50k步预热检查点出发分别继续用教师强制训练5k步和10k步以及用梦境强制训练5k步。结果显示教师强制继续训练5k步后成功率从67.55%微降至66.78%训练10k步后才恢复到68.90%而梦境强制仅需5k步就把成功率推上了70.56%用一半的计算量获得了明显更好的结果。关于预训练的重要性在仅使用10%目标任务数据的低资源设置下从预训练权重出发微调的成功率为49.0%而从Wan2.2直接微调的成功率仅为17.8%差距高达31.2个百分点。文章还通过可视化注意力热图展示了这一差距的内在原因从Wan2.2直接微调后模型对文字杯子的注意力仍然分散在背景各处而预训练后再微调注意力牢牢集中在目标物体和机械臂的交互区域背景干扰基本消失。QAQ1ABot-M0.5里的梦境强制训练方法和普通训练方法有什么实质区别A普通的教师强制训练是把真实的未来视频画面给模型看然后教它根据这个完美画面决定怎么动。但实际运行时根本没有真实未来画面模型只能依靠自己预测的、带有误差的画面做决策两者之间存在巨大落差。梦境强制的做法是在训练时就用模型自己对未来的预测画面而非真实画面来训练动作决策让模型提前习惯面对自己预测产生的误差和模糊从而在真实部署时不再因为预测不完美而频繁出错。简单说就是用不完美的彩排代替完美的彩排让上台表演时更从容。Q2ABot-M0.5中的帧级潜在行动是什么为什么不直接从视频预测动作A帧级潜在行动是一种中间表示通过比较前后两帧图像的视觉变化来编码发生了什么运动意图不依赖机器人的具体关节参数。直接从视频预测动作的问题在于视频预测是粗粒度的、多帧打包的而动作控制需要逐帧的精细信息两者粒度差距过大中间微妙的接触时机、抓握力度等信息会丢失。加入这个中间层后模型先从视频提取运动草稿再从草稿翻译成具体指令层层精化就像翻译时先理解意思、再组织语言比直接逐词对照翻译准确得多。Q3ABot-M0.5的双层混合变换器架构为什么要把走路和手臂操作分开训练A走路底盘移动和手臂操作在物理特性上差异悬殊走路动作变化缓慢、频率低手臂操作变化迅速、频率高且对接触极为敏感。如果把这两种信号放在同一个神经网络里用同一个目标函数优化高频的操作信号产生的梯度往往会主导整个网络把低频的移动信号的优化方向扰乱最终两个任务都学不好。分开后各自有独立的前馈层和输出头但共享注意力计算使得手臂和底盘的动作信息还能互相感知、协调配合同时又避免了梯度之间的干扰。