26年6月来自阿里千问团队的论文“Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models”。语言与多模态领域的基座模型之所以能实现强大的泛化能力是因为异构数据源可以在统一的框架下进行对齐且互联网上丰富且低成本的数据使得多样化的训练信号能够在大规模尺度上相互增强。本报告探讨这种“规模化”范式能否应用于机器人操作任务以实现真正的泛化。这一过程充满挑战与文本数据不同操作数据本质上具有异构性采集成本高昂且多样性有限导致同时实现数据对齐与规模化扩展变得异常困难。其推出 QWEN-ROBOTMANIP这是一个基于 Qwen-VL 视觉-语言模型构建的、具备泛化能力的“视觉-语言-动作”Vision-Language-Action基座模型。QWEN-ROBOTMANIP 引入一个涵盖操作任务中表征、运动和行为维度的统一对齐框架确保了大规模多源数据训练过程的协同一致性避免了不同数据源间的冲突。这种对齐能力使得 QWEN-ROBOTMANIP 能够吸纳以往训练范式无法支持的超大规模操作数据。为了构建操作数据的规模化引擎其设计一条“人-机动作合成”流水线将以人为中心的egocentric手部操作演示转化为适用于 15 种不同机器人平台的运动轨迹同时通过严格的数据筛选与整合流程实现了真实机器人数据与合成数据集的有机融合。令人惊喜的是仅利用开源机器人操作数据集和人类演示视频无需任何专有数据采集QWEN-ROBOTMANIP 便构建一个时长约 38,100 小时的预训练语料库并展现出涌现的泛化能力包括零样本指令遵循、抗扰动鲁棒性、反应式错误恢复以及跨具身cross-embodiment知识迁移。实验进一步表明现有的主流基准测试往往无法准确衡量预训练的质量。因此本文采用分布外OOD评估设置——包括 RoboCasa365、LIBERO-Plus、EBench、RoboTwin-Clean2Rand、RoboTwin-IF新提出的指令遵循基准以及 RoboTwin-XE新提出的跨具身迁移基准——作为衡量真正泛化能力的核心标杆。 QWEN-ROBOTMANIP 在所有分布外OOD场景下均展现出远超既有顶尖模型包括 π0.5的性能。训练数据的质量与多样性是所追求的泛化能力的基石。为了构建一个能够跨越不同具身形态、任务和环境展现出强大泛化能力的 VLA 模型构建一个包含三种互补数据模态的大规模异构训练语料库涵盖多种硬件平台的机器人操作演示、以第一人称视角拍摄的人类操作视频以及通过“人-机”human-to-robot流程生成的合成机器人数据。其采用统一的数据整理与预处理流程来处理所有数据源以确保状态、动作、视频及语言标注的高质量与一致性。表 1 总结了该完整语料库的构成。以自我为中心的人类数据与机器人数据之间在形态和视觉领域均存在显著差异。为了弥合这一差距其将人类手部轨迹映射到机器人动作空间并利用机器人模型替换视频中的人手。受既往研究Lepert et al., 2025b;a的启发设计一个端到端的合成流程将整个过程明确划分为动作对齐与视觉对齐两个阶段图1所示。动作对齐Action Alignment。该阶段侧重于轨迹重定向与平滑处理旨在弥合人手与平行夹爪在形态结构上的差异。逐帧手部检测会引入高频噪声。对位置和宽度数据应用 Savitzky–Golay 滤波Savitzky Golay, 1964并对朝向数据应用高斯加权球面线性插值Gaussian-weighted SLERP从而在保持动作结构的同时生​​成平滑轨迹。视觉对齐Visual Alignment。该阶段通过掩码masking、图像修复inpainting和渲染rendering等一系列步骤将人手外观替换为机器人模型以消除视觉域差异。将第一人称视角ego-view视频转换为机器人数据时一个根本性挑战在于确定机器人基座的放置位置。与“机器人-机器人”的迁移学习其中源域的基座位置已知不同第一人称视角下的手部轨迹与具身形态无关embodiment-free即没有可供参考的物理机器人基座。将每一次人类演示渲染为 15 种双臂机器人配置每种配置由两支相同的机械臂组成涵盖 Panda、UR5e、ARX-L5、xArm7、Sawyer、Kinova Gen3、IIWA、Jaco、FR3、UR10e、ViperX、WidowX、Piper、YAM、AgileX ALOHA 等型号最终生成总时长约为 24,808 小时的合成演示数据。动作速度对齐Action Speed Alignment。与机器人遥操作数据相比第一人称视角下的手部操作动作速度明显更快。为了对齐动作速度分布在训练过程中对源视频帧进行降采样处理使其速度与机器人数据相匹配。整合来自不同机器人形态、仿真环境及数据采集流程的操作数据时记录的状态与动作信号中会出现各种异构噪声。这些噪声包括由物理碰撞引起的离散异常值因时钟不同步或丢包导致的状态流与动作流之间的时间错位导致优化不稳定的极端数值以及在同一机器人形态下不同数据集之间末端执行器定义规范不一致的问题。通过一个包含五阶段的过滤流程来解决这些问题该流程在模型训练前应用于所有数据集。如图2所示阶段 1突变检测。针对每个信号维度通过级联中值滤波和 Savitzky-Golay 平滑Savitzky Golay, 1964提取平滑趋势随后计算三个互补的偏差信号原始轨迹与平滑轨迹之间的绝对残差、二阶有限差分加速度以及三阶有限差分加加速度/jerk。当残差超过缩放阈值且加速度或加加速度同时也超过各自的阈值时该帧会被标记这种机制既能减少由缓慢漂移引起的误报又能保持对突发瞬态变化的敏感度。阈值的设定取决于数据集的具体特征包括机器人形态类型、旋转表示方式、数据来源真实环境或仿真环境以及基座移动能力。剔除策略涵盖了从单帧移除到整段完整轨迹episode丢弃等多种方式。例如在 InternData-A1Tian et al., 2025数据集中突变仅由物理碰撞如夹爪接触刚性物体引起因此受损的完整轨迹会被直接丢弃。阶段 2状态-动作趋势对齐。在记录无误的轨迹中动作指令在时间上应先于或同步于由此产生的状态变化若时间戳不同步或发生丢包这一因果不变性便会遭到破坏。针对每个共享的关节维度先对状态和动作轨迹进行平滑处理利用互相关cross-correlation估算最佳时间滞后再基于对齐滞后后的“一阶差分”计算方向一致性Directional Agreement, DA指标。若某维度的 DA 值低于该数据集特定的阈值通常为 0.6–0.7则该维度会被标记进而导致整段轨迹被剔除。对于采用增量动作delta actions的数据集在进行比较前会先对动作序列进行积分以恢复绝对数值。该阶段揭示了某些数据子集存在严重的质量问题RoboMIND UR 型数据集中有 81% 的轨迹未能通过此项检查并被剔除。阶段 3极值过滤。剔除状态或动作值超出预期范围的帧以防止训练过程中使用的基于分位数的归一化将 [q01, q99] 映射至 [−1, 1]发生畸变。针对每种机器人形态计算各维度的 q1 和 q99 分位数并排除落在 [q1 − α(q99 − q1), q99 α(q99 − q1)] 区间之外的帧。由于夹爪gripper维度的分布呈双峰特征该维度不适用此过滤规则。阶段 4关节与末端执行器正向运动学的一致性检查。利用 Pinocchio 库Carpentier2019根据各机器人的 URDF 模型计算正向运动学FK并将其与记录的末端执行器位姿进行比对。产生偏差的原因可能包括关节角度的正负号约定不同、末端执行器坐标系定义差异、旋转表示方式错误、基座坐标系假设有误以及末端执行器数据记录错误。该阶段主要侧重于数据校正而非激进过滤通过调整工具-中心-点TCP定义来消除恒定的位置偏移并将相对于肩部的双臂位姿转换至世界坐标系。这一过程揭示了同一机器人型号在不同数据集中可能采用不同的关节角度约定从而进一步印证了采用统一状态-动作表示的必要性。阶段 5基座坐标系与末端执行器朝向对齐。针对不同数据集应用旋转校正以统一世界坐标系下的朝向约定确保正 x 轴始终对应机器人的正前方并保证统一的状态-动作表示在不同机器人形态间保持几何一致性。除了上述针对状态和动作信号质量的五个过滤阶段外还实施三项额外检查以确保视频、语言和本体感知观测之间跨模态的一致性。检查 1指令一致性。利用基于 VLM 的三阶段流程验证每个演示与其语言标注之间的语义一致性。检查 2视频-状态一致性。执行严格的数据清洗剔除低质量或不匹配的样本。检查 3视频质量过滤。进行视频级数据清洗剔除可能妨碍策略学习的帧。既有研究表明利用视觉-语言VL混合数据对 VLA视觉-语言-动作模型进行联合训练可显著提升其泛化能力Black et al., 2025; Driess et al., 2025; Fang et al., 2026。通过在 VLA 训练过程中引入 VL 数据模型能够保留从网络规模多模态预训练中习得的丰富视觉与语义知识并借助“动作专家”模块将这些知识迁移至动作生成任务中。例如这使得模型能够遵循新语言指令、在陌生场景背景下操作或操控此前未见过的物体。为此其整合多种来源构建一个综合性的 VL 数据集其中包括专有数据、开源数据集如 RoboPoint (Yuan et al., 2024)、RefSpatial (Zhou et al., 2025)、PixMo (Deitke et al., 2025) 和 CapsFusion (Yu et al., 2024)以及精心合成的具身智能相关数据。最终形成的 VL 混合数据集包含约 2800 万个数据样本涵盖以下类别(1) 通用视觉理解包括视觉问答、多图像推理以及不同粒度从单句摘要到段落级详细描述的图像描述生成旨在保持模型广泛的视觉感知与常识推理能力(2) 空间感知与推理涵盖 2D/3D 视觉定位visual grounding、点定位、计数、空间关系推理深度比较、距离估算、相机视角推断以及操作可行性推理这些能力可直接迁移至机器人的空间理解任务中(3) OCR 与文档理解有助于维持 VLM 识别文本、数字和符号的能力在涉及带标签物体例如识别标有特定数字的积木的机器人任务中同样需要此类能力(4) 多模态专业知识涵盖 STEM 问题求解、图表解读及视觉谜题推理等特定领域的视觉推理任务有助于防止 VLM 在 VLA 微调过程中出现通用多模态推理能力的“灾难性遗忘”(5) 指令遵循、多语言及纯文本数据这类数据增强了模型遵循多样化自然语言指令的能力——这对模型泛化至新型机器人任务至关重要——同时也支持了多语言机器人控制并保持了文本生成的质量(6) 以具身Embodied为核心的视觉-语言VL数据这是我们专门构建的数据集旨在弥合网络规模的视觉-语言知识与机器人操作任务之间的鸿沟。该子集包含(a) 具身思维链ECoT推理数据源自机器人操作轨迹模型在此过程中进行三阶段的结构化推理首先根据多视角观测包括夹爪状态、物体位置及空间布局描述当前场景状态接着将当前状态与总体目标进行对比以评估任务进度最后预测下一个原子级操作动作(b) 自我中心egocentric视频理解数据模型基于人类第一人称操作的短视频片段描述细粒度的手/臂动作、手与物体的交互以及物体状态的变化© 二维轨迹预测数据模型在视觉观测和任务指令的引导下将人手或机器人末端执行器的未来运动轨迹预测为归一化二维坐标序列。其中类别 (1)–(5) 具有双重作用它们既防止预训练视觉-语言模型VLM通用能力的“灾难性遗忘”又通过增强模型的空间理解、物体识别及场景泛化能力直接助力机器人操作任务例如空间推理、视觉定位和 OCR 等子集。类别 (6) 则是专门为连接视觉-语言理解与动作生成而构建的ECoT 数据教会模型感知具身特有的场景状态、追踪任务进度并利用语言对下一步动作进行推理。这促使 VLM 主干网络构建更丰富的具身表征从而更直接地服务于下游的连续动作生成任务Zawalski et al., 2024; Chen et al., 2025c自我中心视频数据则让模型接触到第一人称视角下细粒度的人类操作模式及物体状态转换过程使其能够将对物理交互演变过程的理解“落地”grounding——这涵盖了物体在接触作用下的形变、滑动或倾倒以及抓取、放置和工具使用过程中手与物体相对构型的变化。尽管存在具身差异这一知识仍能迁移至机器人操作中。此外二维轨迹预测数据将视觉观测与图像坐标系下的空间运动推理直接联系起来这些数据源共同构建了一个共享的表征基础从而通过动作专家action expert促进了向底层动作预测的知识迁移。具身思维链ECoT数据。受既往研究Zawalski2024Feng2026Li2026启发构建 ECoT 监督数据旨在训练视觉-语言模型VLM协同执行三种形式的具身推理描述当前场景、评估任务进度以及预测下一个原子级操作动作。针对包含任务指令的操作轨迹中采样的时间点 t结合当前的“多视角观测”与仅在标注阶段可用的“轨迹上下文信息”合成一条 ECoT 标注数据。具体而言在时间点 t首先从所有可用摄像机视角例如前视、腕部和侧视视角提取同步图像。随后构建三种形式的附加上下文信息。首先构建“记忆摘要”从任务片段episode开始到时间点 t 均匀采样帧并提示一个强大的 VLM 总结已完成的动作及可见的状态变化。该记忆主要用于辅助标注过程中的任务进度评估因为许多中间目标或先前的操作在当前帧中已无法直接观测到。其次构建“未来动作预览”从时间点 t 开始以 1 秒为间隔采样 6 帧图像并要求强大的 VLM 总结机器人在这段短片段中的近期行为。这种未来预览为预测下一个原子动作提供了直接的标注依据。第三根据时间点 t 在完整轨迹中的相对位置计算“粗略的时间进度估计”以此作为判断任务是否接近完成的弱辅助线索。基于时间点 t 的多视角图像、任务指令以及上述辅助标注上下文提示一个强大的 VLM1 生成结构化的三部分 ECoT 响应(1) 场景描述总结可见物体、空间关系、机械臂位置及末端执行器夹爪状态(2) 任务进度评估评估已完成的子目标并以明确的完成判定“任务已完成”或“任务尚未完成”作为结尾(3) 下一步动作从下表 2 中预测单个原子级操作步骤。尽管负责标注的 VLM 能够获取特权轨迹上下文信息但提示词要求生成的 ECoT 文本仅基于当前观测和任务指令中的证据进行表述。在训练过程中每个 ECoT 数据样本都被转换为标准的视觉-语言VL输入-输出对模型仅接收多视角图像和任务指令并被训练以生成包含三个部分的完整 ECoT 文本。特权信号仅在数据合成阶段用于提高标注质量而不作为训练输入。以自我为中心的视频理解数据。基于人类操作视频构建以自我为中心的视频理解数据。对于每个片段episode将主摄像头的视频分割为时长随机1.5–3 秒且互不重叠的片段clip并从每个片段中提取 4 帧均匀分布的图像分别位于片段时长的 0%、33%、67% 和 100% 处。利用一个强大的视觉-语言模型VLM来描述这 4 帧序列中观察到的细粒度操作动作内容涵盖手部和手臂的运动方向、手与物体交互时的空间关系以及物体的状态变化。VLM 会识别并过滤掉视觉变化极小的片段以避免在缺乏信息的静态片段上进行训练。由此生成的标注数据能引导模型从以自我为中心的视角感知并描述物理操作的动态过程从而与基于机器人观测数据的 ECoT 数据形成互补。二维轨迹预测数据。为了进一步辅助 VLM 学习机器人与人类操作演示中的运动规划同时缓解深度感知中的歧义问题利用估计出的相机参数将以自我为中心数据中的机器人末端执行器EEF及人类手部的运动轨迹投影到图像平面上。此外采用基于边框bounding-box的标准过滤掉运动幅度极小的样本从而剔除那些 EEF 或人手几乎没有移动、缺乏有效信息的数据点。如图 3 概述QWEN-ROBOTMANIP1 核心架构QWEN-ROBOTMANIP 采用一种解耦架构包含用于多模态感知与语义推理的视觉-语言主干网络以及用于生成连续动作的流匹配flow-matching动作专家模型。这种解耦设计使动作专家能够专注于高频、细粒度的运动控制同时主干网络通过联合端到端训练得以保留并扩展其预训练的感知与推理能力。视觉-语言主干网络。采用 Qwen3.5-4B (Team, 2026) 作为视觉-语言主干网络。Qwen3.5 是一款原生多模态模型采用早期视觉-语言融合方式进行训练来自 Vision Transformer包含动态分辨率空间合并机制的视觉 Token 直接与文本 Token 序列交错排列并在同一个 Transformer 架构内对图像与语言指令进行统一处理。给定一个或多个视角的摄像机画面及自然语言任务指令主干网络将其联合编码为上下文表征例如最后一层隐状态维度 D_vlm2560这些表征同时捕捉了细粒度视觉特征与任务级语义随后由动作专家通过交叉注意机制进行处理。动作专家。引入一个 Diffusion Transformer (DiT) (Peebles Xie, 2023) 作为流匹配动作专家 (Chi et al., 2023; Black et al., 2024; Liang et al., 2023)用于从机器人轨迹数据和以自我为中心egocentric的人类演示数据中学习精确的连续动作。该专家模型包含 N10 个 Transformer 模块隐层维度 D_act768并设有 12 个注意头。每个模块先对拼接后的“状态-动作”Token 序列执行自注意操作随后进行针对 VLM 隐状态的交叉注意计算最后通过 SwiGLU 前馈网络进行处理。交叉注意层交替关注视觉 Token偶数索引模块和语言 Token奇数索引模块——这两类 Token 均提取自 VLM 的最后一层——从而使专家模型在每个处理阶段都能将动作预测分别建立在空间观测和语言指令的对应关系之上。机器人的本体感知状态经由双层 MLP 编码并在进入 DiT 模块之前被拼接在带噪动作 Token 序列的前端。该专家模型进一步以去噪时间步嵌入denoising timestep embeddings和额外学习的相机嵌入learned camera embeddings为条件。该专家模型采用流匹配flow-matching目标进行训练Lipman2023Esser2024。给定真实动作片段 a采样时间步 t Beta(1, 1.5)并利用高斯噪声 epsilon N(0, I) 构建插值 x_t (1-t) epsilon t a。随后训练模型以最小化预测速度场 x_1 - x_0均方误差。在推理阶段通过 4-步欧拉积分生成动作序列从而实现低延迟的实时控制。2 跨具身Cross-Embodiment状态与动作表示不同具身embodiments之间异构的本体感知状态和动作空间使得在混合多具身数据集上进行可扩展训练成为一项关键挑战。其引入一种针对状态和动作的 80 维规范向量表示来解决这一问题。该表示的结构包含两个 29 维的“单臂”数据块后接 22 维预留维度。每个单臂数据块包含以下语义组关节位置7 维机械臂的关节位置末端执行器位姿9 维笛卡尔坐标位置3 维以及采用 6 维连续旋转表示法Zhou2019的姿态6 维夹爪状态1 维平行夹爪的关节位置灵巧手关节12 维对于配备多指灵巧手的具身指代主动手部关节的位置。末尾的 22 维预留维度由双臂共享可用于表示额外的自由度例如移动底座的速度。对于状态向量所有数值均以绝对坐标表示。对于动作向量关节动作以绝对值表示而末端执行器动作则表示为相对于当前状态的增量delta。特别地末端执行器姿态的增量参数化为 3D 旋转向量而非状态表示中所用的 6 维表示法。不同的机器人具体形态对应于这一标准模板的不同子集。例如具有7自由度的单臂夹持器系统如 Franka Panda会填充其中一个机械臂的关节、末端执行器及夹持器相关字段而将其余维度设为零双臂系统如 ALOHA则会填充两个机械臂对应的字段块若机器人配备灵巧手还会额外填充手部关节相关的维度。训练过程中系统利用逐维二值掩码binary mask排除那些经零填充的维度从而确保梯度仅在具有实际语义信息的维度上传递避免对结构上不存在的自由度产生无效的监督信号。3 统一的末端执行器运动预测典型状态-动作表征统一不同具身形态embodiments下状态与动作的结构布局但尚未解决一个更为隐蔽的碎片化问题即不同数据集中记录的末端执行器位姿所采用的坐标系各不相同Lyu et al., 2026。当同一动作因数据源不同而相对于不同的基座坐标系或相机坐标系进行表述时模型必须学会协调这些几何上的不一致性而不是专注于底层的操作技能。为了解决这一问题将所有末端执行器动作统一表征为基于共享相机坐标系的位姿增量delta pose并通过位置编码将相机几何信息直接注入动作专家网络。结合具身-觉察条件控制embodiment-aware conditioning这确保了视觉上相似的动作在数值上也彼此接近从而使模型能够从异构数据中提取跨具身的协同模式。具体而言从 80 维的状态-动作向量中提取出 N_ee {1, 2} 个独立的、针对每个末端执行器的 40 维 Token。每个机械臂的 29 个有效维度被封装进一个 40 维的槽位slot中其中 11 个维度预留用于未来扩展随后DiT 模型通过自注意力机制对这些 Token 进行联合处理。基于相机坐标系的位姿增量动作表征。采用一种基于相机坐标系的位姿增量表征Chen et al., 2025a而非将末端执行器的运动表示为机器人基座坐标系下的绝对位姿、末端执行器局部坐标系下的相对位姿或世界坐标系下的位姿增量。该表征的关键特性在于视觉上相似的动作在动作空间中的数值也相近从而实现了动作表征与视觉观测空间的直接对齐并促进跨具身cross-embodiment迁移。这种方法要求在训练和推理阶段均具备已标定的相机内参和外参。相机-觉察的位姿编码。为了让动作专家能够推理相机几何结构通过相机位姿编码CaPEKong et al., 2024将相机参数注入 DiT 的交叉注意层。相机位姿通过 CaPE 进行编码占据每个 64 维注意头中 32 个维度的空间其余 32 个维度则由 RoPEHeo et al., 2024用于时间索引。每个图像 Token 的位姿编码源自其对应相机的外参而每个状态/动作 Token 则使用其选定参考相机的外参。由于 CaPE 是一种旋转位姿编码全局世界坐标系原点在点积注意计算中会在代数运算上相互抵消从而仅保留每个视觉 Token 与查询Query状态/动作 Token 之间的相对位姿关系。参考 GTA (Miyato et al., 2024) 和 PRoPE (Li et al., 2025b) 的做法将 CaPE 不仅应用于键Key和查询Query还应用于值Value和注意输出从而增强交叉注意的几何一致性。相机内参的引入方式是将每个视觉补丁patch的归一化图像平面坐标通过一个可学习的线性层进行投影并将其加到相应的图像 Token 上从而提供针对每个 Token 的视场FOV觉察能力。末端执行器-觉察的条件输入。除了去噪时间步之外DiT 还接收另外两个条件信号两者均通过自适应层归一化Peebles Xie, 2023以加性嵌入additive embeddings的形式应用末端执行器类型嵌入针对每种末端执行器类别单臂、双臂左、双臂右、以自我为中心的头部视角或移动底盘设置一个可学习的码本条目并将其与每个状态/动作 Token 关联使模型能够应用特定于具身形态的动作先验。辅助标志嵌入一种二值嵌入用于指示当前样本是否存在已标定的相机参数该标志决定了预测位姿的动作空间是在“相机坐标系增量模式”与“机器人底盘相对模式”之间进行切换。多视图参考相机选择。在多视图场景下末端执行器的动作是相对于选定的参考相机坐标系来表示的。在训练过程中对于单臂数据集随机选择任意可用的外部视角或腕部视角作为参考。对于双臂数据集随机采用以下两种策略之一1双臂共用一个头戴式相机或任意可用的第三人称视角作为公共参考坐标系2左臂使用左腕相机右臂使用右腕相机分别作为各自的参考坐标系。在 DiT 的交叉注意cross-attention机制中每个图像 Token 使用其对应相机的位姿进行 CaPE而每个状态/动作 Token 则使用其选定参考相机的位姿进行 CaPE从而引导 DiT 对该参考坐标系下的“相机相对动作camera delta action”进行去噪。由于 CaPE 是一种旋转编码不同视角间的相对位姿被隐式编码世界坐标系上标在代数运算中相互抵消。4 具身提示Embodiment Prompt采用结构化提示使策略能够基于任务语义和执行上下文进行条件化控制。每个提示包含以下字段• 具身形态Embodiment机器人平台例如 robot_aloha使模型能够考量不同具身形态在形态结构和控制特性上的差异。• 指令Instruction高层任务描述定义了该回合episode的总体目标。• 速度Speed回合的时长以时间步计离散化为以 500 步为单位的区间。• FPS输入序列的时间采样率。• 相机视角方向Camera View Direction相机相对于机械臂的位置分为“臂侧arm side”或“对侧opposite side”两种情况。这些字段共同作用使模型不仅能捕捉要执行的任务还能识别执行动作的机器人以及行为的时间结构。这有助于减少策略学习中的歧义提高跨具身形态的适应性并增强对执行速度和帧率变化的鲁棒性。为了进一步提高对不完整输入的鲁棒性在训练期间以 15% 的概率随机丢弃具身形态、速度和 FPS 字段从而鼓励模型在测试时提示信息部分缺失的情况下仍能保持良好的泛化能力。5 上下文内策略适应尽管跨具身cross-embodiment预训练赋予了模型强大的泛化能力但将 VLA 策略部署到新机器人或新环境时往往需要在不更新参数的情况下实现行为的快速适应。受大语言模型中“上下文学习”in-context learning的启发为 QWEN-ROBOTMANIP 配备一种上下文内策略适应机制。该机制基于同一任务片段episode中近期执行历史即“观测-动作”对构成的结构化窗口来进行当前的动作预测从而使策略能够在部署阶段调整行为而无需任何参数更新或针对特定任务的微调。执行上下文表征。一个关键的设计问题在于什么样的信息构成有用的策略上下文直接借鉴了模型自身的推理过程。在每个决策步骤中QWEN-ROBOTMANIP 接收当前的视觉观测和本体感知状态并预测一个包含 K 个步骤的完整动作片段action chunk。因此将一个“上下文片段”定义为由视觉观测 o_h、本体感知状态 s_h 和片段 h 期间执行的 K 步动作序列 a_h 组成的三元组 (o_h, s_h, a_h)。这记录了机器人的视觉所见、自身状态以及所执行的动作。由 H 个此类片段构成的上下文为策略提供了一个关于近期行为的结构化窗口使其能够直接基于这些信息进行推理。鉴于上下文片段内两种模态的表征结构截然不同采用互补的路径分别对其进行处理。历史帧 o_h 被置于当前帧之前并通过 VLM 的视觉编码器在单次前向传播中进行联合处理同时语言指令中会附加图像计数标注以辅助 VLM 将每个视觉 Token 归因于正确的时间位置。本体感知状态和动作片段无法通过视觉路径处理因此由两个轻量级 MLP 编码器将其映射到 VLM 的隐空间中。状态编码器 MLP (MLP_s) 和动作编码器 MLP (MLP_a) 生成针对每个片段的 Token 表征并结合学习到的时间位置嵌入 etemp_h用于区分不同片段以及槽位嵌入 eslot_0:K’用于区分片段内的动作 Token。所有 H 数据块按时间顺序序列化为单个上下文token序列 C。当前的“状态” s_t 并未在此处进行编码而是保持原样流经动作头action head专用的状态编码器从而完全保持了与基础 QWEN-ROBOTMANIP 模型的向后兼容性。历史信息整合。研究两种将上下文token序列注入策略网络的方法。在“统一模式”unified mode下上下文tokens C 被附加到 VLM 输入序列的末尾并与视觉及语言token一起在因果自注意机制下进行联合处理这使得 VLM 能够同时对历史信息、任务描述和视觉观测进行推理。由此产生的、融合历史信息的最后一层隐状态将通过交叉注意机制传递给 DiT 动作头。在“双重模式”dual mode下状态-动作上下文直接注入 DiT 动作头而非 VLM这虽然保持 VLM 上下文长度不变但代价是历史信息的整合深度较浅。统一注入方式允许 VLM 利用完整的自注意机制对行为历史、任务描述和视觉观测进行联合推理从而实现比仅在动作头中处理历史信息更丰富的跨模态上下文整合。因此采用统一注入作为默认配置。随机上下文采样。一种简单的策略是始终提供最近的 H 个片段chunks但这会导致模型陷入退化的“捷径”学习。由于最后一个上下文片段在时间上最接近当前步骤模型只需简单复制最近的动作片段即可获得较低的训练损失而无需真正理解该回合episode的行为动态。这使得上下文机制退化为一种简单的动作复制启发式规则一旦紧邻的历史信息存在歧义、非典型或者无法反映机器人更广泛的执行风格该规则就会失效。希望模型学习的是当前回合的行为特征Huang et al., 2025——包括速度模式、抓取策略和交互特征——而不是依赖时间邻近性的捷径。为了防止这种情况在训练过程中引入随机上下文采样。不再总是提供紧接当前步骤之前的 H 个片段而是从整个回合中随机选择上下文窗口的位置。因此采样的片段在时间上可能与当前步骤相距较远这迫使模型基于整个回合的行为特征进行推理而不是利用“近因效应”作为捷径。这种随机化处理充当一种课程多样化curriculum diversification的手段。该模型必须学会从片段历史的任意子集中提取一致的行为风格从而在推理阶段对缺失、不完整或时间错位的情境保持鲁棒性。在实际部署时提供包含最近 H 个片段的滑动窗口作为情境使模型能够利用所有可用的历史信息。实验表明随机情境采样对于防止模型退化至关重要。若缺乏该机制尽管策略能实现较低的训练损失但任务成功率却很低——这清楚地表明模型学会了简单复制近期动作而非根据执行情境进行推理。引入该机制后模型展现出真正的情境适应能力能够根据当前片段中更广泛的行为动态来调整自身行为。1 预训练方案双流协同训练同时在两个互补的数据流上训练 QWEN-ROBOTMANIP。VLA视觉-语言-动作数据流构建自完整多源操作语料库其中包括真实机器人演示、以自我为中心egocentric的人手操作视频以及从人类动作合成的机器人轨迹。VLM视觉-语言模型数据流包含大规模视觉-语言监督数据将其与 VLA 数据流协同训练旨在防止预训练获得的感知和语言能力在动作预测优化过程中退化——这种退化会直接削弱模型理解新颖指令及泛化至未见视觉场景的能力 (Driess et al., 2025)。在实际操作中采用机器人数据与 VL 数据之间 9:1 比例。训练目标流匹配Flow matching损失。对于每个 VLA 样本给定一个真值动作片段 a。遵循流匹配的公式化定义构建一个带噪声的插值noisy interpolant。动作专家网络action expert被训练用于预测相应的速度场 v a - epsilon从而最小化损失 L_FM。来自 L_FM 的梯度将同时应用于 VLM 主干网络和动作专家网络。由于不同的机器人具身embodiments仅占据 80 维规范动作空间canonical action space中的不同子集应用一个组合二值掩码 m {0, 1}将优化目标限制​​在包含有效监督信号的维度和时间步上。该掩码由三个互补的来源构建而成维度槽位掩码per-dimension slot mask用于标识当前机器人形态下实际使用的维度例如单臂夹爪仅填充单侧手臂的关节、末端执行器和夹爪字段而将另一侧手臂和手部的槽位设为零时间步有效性掩码step validity mask用于排除被数据清洗流程标记为异常或超出片段episode边界的时间步且一旦某一步被判定为无效后续所有步骤也会被掩码屏蔽以保持因果一致性针对以自我为中心的人类数据手部有效性掩码per-hand validity mask会在对应手部离开摄像机视野的时刻将整侧手臂的槽位设为零从而避免模型基于被遮挡的手部轨迹进行训练。这三个掩码进行“与”AND运算组合最终的掩码流匹配损失即为仅针对有效条目的样本内平均值。这种公式化设计确保了批次中的每个样本对梯度的贡献均等无论有多少维度处于激活状态从而防止了那些包含更多有效数据的样本主导优化过程。VLM 下一个token预测损失。对于每个 VLM 样本主干网络backbone均采用标准的自回归下一个token预测目标 L_VLM 进行训练。总体目标函数为L L_FM lambda L_VLM其中 lambda 用于控制两种损失的相对权重。将 lambda 设定为 0.1以确保 VLM 监督信号提供稳定的正则化作用同时不掩盖动作学习的效果。针对主干网络和动作专家网络action expert采用不同的学习率以适应它们各自不同的初始化尺度。为了分摊 VLM 前向传播的计算成本动作专家网络针对每个训练样本执行 K_repeat8次重复扩散步骤即针对同一动作片段action chunk采样 8 组独立的噪声和时间步长。这种做法在不增加数据消耗的前提下显著提升了训练效率。2 后训练阶段方案特定领域的监督微调在基础模型利用完整的异构语料库完成预训练后通过监督微调SFT使其适应特定的部署场景。摒弃了针对单个任务训练专用策略的做法转而采用通用的 SFT 范式。对于每个基准测试或实际部署场景将所有可用的演示数据合并为一个统一的训练集从而训练出一个能够执行目标领域内所有任务的统一微调模型。SFT 与预训练在多个方面存在差异。首先SFT 过程仅优化公式的流匹配flow matching目标 L_FM而不包含 VLM 的下一个token预测损失。停用多阶段数据筛选流程直接使用未经筛选的完整数据进行训练从而保留了所有有效的演示数据用于后训练阶段。此外对输入图像应用色彩抖动color jitter增强技术。最后由于模型基于预训练检查点checkpoint进行初始化SFT 阶段所需的 GPU 数量和训练步数均少于预训练阶段。后训练阶段的联合训练特定领域的 SFT 已成为定量评估预训练 VLA 模型质量的重要标准流程。一个强大的预训练模型在基准测试benchmark训练集上进行微调后理应能高效适应目标域。然而这种评估范式也可能暴露一个关键的失效模式在针对特定基准进行大规模监督微调SFT后VLA 模型可能会利用基准中重复出现的视觉和任务模式来提升任务表现从而降低对语言指令的敏感度。此时模型的策略不再强烈依赖于视觉和语言的双重输入而是更像是一个“视觉-动作”模式匹配器。这种现象称为“VLA 向 VA视觉-动作的退化”。这种退化源于三个相互叠加的因素。首先特定领域的 SFT 数据集多样性有限视觉布局和指令表达相对集中使得模型容易学习场景模式与动作之间的“捷径”相关性。其次训练集和测试集共享相似的视觉模式模型仅凭记忆模式而非真正的语言语义落地grounding就能获得高分。因此此类基准测试往往高估模型的指令遵循能力且无法区分真正的语言条件控制与针对基准模式的过拟合。第三缺乏强大组合语义映射能力模型在 SFT 过程中往往将语言视为弱上下文信号导致动作决策越来越受限于从基准数据中学到的视觉捷径。为了缓解这一风险提出一种混合后训练策略作为标准领域 SFT 的可选增强方案模型不再仅在基准训练集上微调而是结合根据分布相似度筛选出的预训练数据子集进行联合训练。这种方法既提供了更广泛的适应性信号又保留了基础模型稳健的执行能力同时避免引入可能稀释领域特定学习效果的无关数据。在主要实验中遵循标准的领域特定 SFT 范式以确保与基线模型公平比较而混合后训练策略则作为一项额外的增强手段进行验证。为了直接评估模型是否保留了指令遵循能力基于 RoboTwin 2.0 (Chen et al., 2025b) 构建一个名为 RoboTwin-IFInstruction Following即指令遵循的新基准测试。该基准测试旨在考察模型在视觉场景相同或相似但指令不同的情况下是否能执行相应的指令动作而非仅仅依赖视觉模式匹配来选择默认行为。在部署方案中推理任务在远程服务器上执行而观测数据和动作指令则通过 WiFi 连接在机器人与服务器之间进行传输。为了缓解云端推理及网络传输带来的延迟采用实时分块RTC技术Black et al., 2026该技术允许机器人在执行当前动作片段的同时异步生成下一个动作片段从而有效掩盖往返延迟实现平滑的实时控制。