26年7月来自蚂蚁灵波科技的论文“From Foundation to Application: Improving VLA Models in Practice”。尽管 VLA视觉-语言-动作基础模型近期取得进展但实验室环境与现实世界应用之间的差距依然阻碍了它们的实际落地。为弥合这一差距推出 LingBot-VLA 2.0该版本在三个功能领域对 LingBot-VLA 进行了改进(1) 跨任务与跨形态的泛化能力。与上一版本相比重构数据处理流程并精选约 60,000 小时的数据用于预训练其中包括涵盖 20 种机器人构型的 50,000 小时机器人轨迹数据以及 10,000 小时的人类第一视角视频数据。(2) 在双臂硬件平台基础上扩展动作空间。具体而言系统支持头部、腰部、移动底盘及灵巧手的自由度控制从而使机器人能够在实际场景中处理更复杂的任务。(3) 引入预测性动力学建模以增强时序推理能力。通过将“未来预测”设定为智体任务来实现这一点并利用视频表征模型提供语义先验利用深度估计模型提供几何线索。在通用场景下针对 GM-100 基准进行的评估验证上述改进措施的有效性。此外得益于涵盖全身自由度的扩展预训练数据LingBot-VLA 2.0 在两种不同的机器人平台上均展现出强大的跨形态长程移动操作能力。如图1所示引入预测性动力学建模作为一种代理proxy目标。具体而言利用视频表征模型提供语义先验并利用深度估计模型提供几何线索从而构建未来预测任务旨在促使VLA模型对未来场景演变及动作后果进行推理。核心假设是实用的VLA系统不仅需要在模型和数据规模上进行扩展更需契合现实世界机器人技术的需求——即具备更广泛的具身​​支持、更丰富的可控动作空间以及对动态场景更强的预测性理解能力。基于这一理念LingBot-VLA 2.0 旨在实现从基础能力向面向实际应用之易用性的跨越。为了提升 VLA 模型在不同具身形态和动态环境下的强泛化能力与实用性重新设计数据处理流水线并构建一个时长约为 60,000 小的大规模预训练数据集如图 2 所示。重新设计后的数据处理流水线如图 3 所示1 数据整理与预处理机器人数据从20种不同形态的机器人平台涵盖配备灵巧手或夹爪的单臂、双臂及移动机器人收集了约90,000小时的数据。基于这些数据采用重新设计的数据处理流程来过滤噪声样本最终获得50,000小时的高质量机器人数据。首先计算动作与状态信号的三阶有限差分即jerk以及其一阶导数速度和二阶导数加速度的Z-score以此评估轨迹的平滑度。若jerk或任何导数的Z-score超过预设阈值则丢弃该片段episode。这些阈值针对每种机器人形态单独设定。此外统计片段中所有状态和动作信号仅表现出微小变化或保持不变的时长若该时长超过片段总时长的95%则同样丢弃该片段。为验证视频与状态信号的一致性利用相应的URDF模型将机器人投影到图像平面上并回放记录的状态数据。聘请人工标注员识别投影机器人与实际视频之间的差异以确保状态信号与视频记录准确无误并剔除存在此类错位的样本。同时在标注过程中人工标注员还会剔除存在模糊、严重遮挡、丢帧或多视角间错位问题的视频。自我中心视角数据构建一个包含约20,000小时自我中心视角人类视频的数据库经过过滤、重构、标准化及质量控制后保留了约10,000小时的高质量训练数据。首先无论视频来源如何均对所有候选视频应用统一的视频级VLM视觉-语言模型预过滤。该步骤旨在剔除不符合自我中心操作假设的视频例如第三人称视角视频、场景漫游视频、缺乏清晰手部-物体交互的视频或不包含可操作物体的视频。此外还会过滤掉非操作者手部显著出现的视频因为此类片段可能会破坏佩戴摄像机者的观察视角与相应手部动作之间的关联。在后续处理之前引入这一 VLM 过滤阶段能够降低不必要的标注与重建成本特别是针对那些原本需要进行 SLAM 和手部姿态估计的无动作视频。经过 VLM 预过滤后根据是否存在动作标签或手部轨迹标签来处理剩余数据。对于已有动作或手部轨迹标签的数据包括带动作标签的开源数据集及内部数据执行元数据整理、时间戳对齐、坐标变换及轨迹完整性检查将所有样本转换为标准化的手部轨迹格式。对于不含动作标签的第一人称视角egocentric人类视频运行第一人称 SLAM 以估计相机内参及逐帧相机外参随后应用手部姿态估计在相机坐标系下恢复 MANO 参数。通过结合估计出的手部姿态与相机位姿将手部运动提升至世界坐标系从而获得时间上连续的手部轨迹。随后对重建并标准化后的数据进行轨迹层面的质量控制。剔除有效手部姿态覆盖不足的视频设定有效帧比例 20% 为最低阈值。同时移除 SLAM 轨迹不稳定的片段——即相机运动估计中出现异常二阶变化如突发的平移或旋转加速度的片段。此外还会剔除存在突发不连续性、异常位移、速度、加速度或jerk的手部轨迹以及违反人体生理约束的样本例如不合理的手部位置、双手间距、运动范围或姿态。最终所有有效样本均以世界坐标系下的手部轨迹形式存储。在训练过程中当某帧被采样作为当前观测时利用该帧的相机外参将未来的手部轨迹从世界坐标系变换至当前的相机坐标系pC_t_τ T_C_t ←W pW_τ其中pW_τ 表示世界坐标系下的手部轨迹T_C_t ← W 表示从世界坐标系到采样帧 t 所在相机坐标系的变换。采用这种设计世界坐标系作为统一的轨迹存储空间而当前相机坐标系则作为训练时的动作表征。这统一了开源及内部“以自我为中心”的人体视频中的轨迹格式并在训练过程中将手部运动与“以自我为中心”的相机运动解耦。统一动作表征为了从跨多种具身形态embodiments收集的自我中心视角数据和机器人数据中联合学习状态与动作表征对状态和动作均采用55维的规范向量表征。如图4所示该表征包含14维机械臂关节位置、14维末端执行器位姿、2维夹爪位置、12维手部关节位置、4维腰部位置、2维头部位置以及3维移动信号其余4维为预留维度。机械臂关节位置和末端执行器位姿字段的定义旨在兼容双臂具身形态的最大维度需求。具体而言每只机械臂的末端执行器位姿由XYZ坐标和旋转四元数表示共计7维。对于单臂数据机械臂关节位置仅使用6或7维末端执行器位姿使用7维其余与机械臂相关的维度则进行填充padding处理。同样对于不包含特定身体部位或信号维度较低的机器人具身形态相应的维度也会进行填充。各具身形态的维度配置见表1。2 数据标注VLA预训练受益于那些在任务和子任务层面上与时间对齐的语言监督信息相结合的操作视频。利用基于视觉-语言模型构建的全自动流水线生成这些标注并将该流水线应用于整个预训练数据集。具体来说采用Qwen3.6-27B [25] 模型将每段操作视频分割为一系列时间上连续的子任务并生成相应的语言指令。对于配备多摄像头的机器人平台系统会联合处理俯视视角overhead view和腕部视角wrist view的图像以消除夹爪与物体交互时的歧义。每个子任务都会被分配一个来自包含18个类别的固定词表如表2所示中的原子动作并附带交互的主要对象及简明指令。此外还会生成一条概括整体任务的视频级指令。如图6所示经标注的对象构成了一个多样化的开放式词汇表。为了保持分割粒度的一致性该模型将单次交互中的抓取、搬运和释放阶段归为同一个子任务仅当操作对象变更、动作类型改变或出现标志着向新子目标过渡的持续停顿时模型才会引入时间边界。“移动move”和“转换transit”在统计的频率上占主导地位而“切割”、“折叠”和“搅拌”等细粒度操作虽然较为少见但其平均持续时间却显著更长。1 基于 MoE 的 VLA 模型在现实世界的跨实体机器人数据上预训练的视觉-语言-动作VLA模型必须从异质轨迹中学习这些轨迹的特征是未对准的动作空间、不同的实体动态和任务分布。尽管专家混合 (MoE) 机制提供一种扩展模型容量的自然方法但其在 VLA 预训练中的有效性的根本原因仍然知之甚少。本报告介绍一种用于大规模多实施例 VLA 预训练的token级无损 MoE 架构。通过将专家负载平衡与主要动作学习目标分离并采用基于 sigmoid 的路由置信度来允许每个token独立激活多个专家本文设计使稀疏专家能够捕获跨实施例共享的通用表示和控制逻辑。稀疏 MoE 架构。为了促进跨实施例预训练期间的收敛在动作专家内部实例化稀疏 MoE 层它取代了动作专家中的前馈网络FFN。在默认配置中所有动作专家transformer块blocks都配备了 MoE FFN。此外采用细粒度的专家分割和共享专家隔离其中轻量级共享专家保留通用先验而一组路由专家提供专门的建模能力。与稠密型 FFN 对应模块相比设计的共享专家shared experts和路由专家routed experts均采用较小的中间层宽度这种设计旨在促使共享专家捕捉通用规律同时让路由专家发挥更强的专业化能力。在实际应用中每个 MoE 层包含 1 个共享专家和 N_r 个路由专家对于每个 token仅激活其中的 K 个路由专家。针对 token 选择路由token-choice routing机制利用线性路由模块以 FP32 精度计算路由 Logits。为了避免softmax归一化引起的专家之间的激烈竞争按照DeepSeek-V3对路由器logits应用sigmoid激活函数。为了在 VLA 模型中保持动作控制学习的核心目标借鉴 DeepSeek-V3 的做法采用一种无需辅助损失auxiliary-loss-free的策略以促进 MoE 架构内部的负载均衡。在这种无需辅助损失的均衡机制下每个专家都维护一个路由校正偏置 b_l,j。这种基于偏差的负载均衡机制将专家分配与专家路由解耦。具体而言利用校正偏差来促进负载均衡同时路由置信度仍由模型原始的无偏亲和度分数进行加权。在训练过程中会跨微批次micro-batches和分布式进程distributed ranks累积分配给每个专家的 Token 数量。在每次执行负载均衡更新时系统会根据相对于专家平均负载的偏差正负号来调整校正偏差。可选项是在每次更新后对偏置向量进行中心化处理以防止累积漂移。随后MoE 的输出被注入回动作专家 Transformer 原有的 FFN 残差分支中。2 基于双查询蒸馏的时空-觉察 VLA为了增强 LingBot-VLA 2.0 的几何觉察能力与因果时间理解能力借鉴近期研究 [35] 采用双查询蒸馏框架其中 LingBot-Depth 和针对机器人任务优化的 DINO-Video 充当互补的教师模型。具体而言在视觉和文本 Token 序列中加入两个可学习的查询向量 [Q_t, Q_tT]Q_t 针对当前时刻的观测而 Q_tT 则针对时间跨度为 T即动作块大小后的未来观测。这些融合上下文信息的查询状态通过两个互补的教师模型进行蒸馏一个是提供显式几何监督的深度教师模型 LingBot-Depth [28]另一个是提供具有时间关联性的视觉表征因果视频教师模型 DINO-Video。用于几何监督的 LingBot-Depth。为了将显式的空间与几何先验知识注入 LingBot-VLA 2.0将双查询状态与从 LingBot-Depth 提取的深度 Token 进行对齐。具体来说训练当前查询 Q_t 和未来查询 Q_tT使其分别预测当前操作帧和未来操作帧对应的深度表征 [D_t, D_tT]。深度蒸馏的目标函数。在因果 VLM 架构中Q_t 捕获即时场景几何形状而 Q_tT 学习预测与即将进行的操作相关的未来几何配置。用于时间监督的因果 DINO-Video。尽管深度监督能提供几何结构信息但它无法捕捉机器人控制所需的因果时间动态特性。受潜视觉表征在各类动作与机器人应用中取得成功的启发 [9, 11, 22–24, 27]其提出 DINO-Video ——一种基于 DINOv3 [26] 图像骨干网络的、专为机器人领域设计的视频表征模型。与针对每一帧独立提取图像级特征的方法不同DINO-Video 利用因果时间注意机制生成具备运动-觉察能力的视觉表征确保每个时间步的特征仅依赖于当前及过去的观测信息。在给定上下文查询状态 [Q_t, Q_tT] 的前提下当前查询current query被训练用于预测当前帧的 DINO-Video 特征而未来查询future query则被训练用于预测时间跨度为 T 的未来帧特征。视频蒸馏的目标函数。该目标促使 LingBot-VLA 2.0 恢复当前的运动-觉察表征及其对应的未来表征从而与来自深度蒸馏的几何监督形成互补。面向机器人领域的 DINO-Video。基于 DINOv3 初始化 DINO-Video并引入分块因果时间注意机制block-wise causal temporal attention与 3D 旋转位置编码3D-RoPE[37] 对其进行扩展这种设计既实现因果视频建模又保留源自 DINOv3 的空间语义与几何先验信息。利用针对视频适配的 DINO 和 iBOT 自蒸馏目标 [40]在包含互联网视频、第一人称视角egocentric视频及机器人操作视频的 500 万个视频片段数据集上对 DINO-Video 进行训练。针对每个样本均匀采样 16 帧并根据有效帧率分配绝对时间编码以区分具有不同实际时长跨度的视频片段 [1]。在 LARYBench [24] 评测中DINO-Video 在四个基准测试中的三个上均取得最佳性能这有力证明其作为面向机器人领域的时间维度“教师模型”的有效性。实验设置评分标准。在GM-100基准测试中部分任务的评分标准中每个任务被分解为一系列细粒度的操作步骤并根据任务完成情况为每个步骤赋予相应的分值。这些标准涵盖多种双臂操作能力包括分类、取物、舀取、更换、装箱、推动、挤压以及协同物体操控。这种分步标注方式实现比单纯的“成功/失败”二元判定更为精细的评估能够捕捉长程操作任务中的阶段性进展。双臂操作实验设置。在通用混合训练设置下针对 GM-100 基准测试中的九项任务评估双臂操作能力。与针对特定任务的训练不同该方法针对每种具身形态在所有任务上联合训练单一策略这要求模型在分拣、取物、装箱、推移以及与铰接物体交互等多种双臂操作技能之间共享操作基元。报告各项任务的进度得分与成功率。长时程移动操作实验设置。在图9所示的两种机器人载体上评估长时程移动操作性能。每种载体对应一项代表性任务Astribot S1 在物品分拣任务收集物品并将其放入冰箱上进行评估而 Cobot Magic-ARX X5 则在炉灶清洁任务上进行评估。针对每项任务在两种设置下评估各个模型域内ID设置和分布外OOD设置。每种“任务-设置”组合均通过15次独立试验进行评估。在域内设置中机器人的初始位置和被操作物品均取自训练分布。在分布外设置中机器人的初始位置会在标称初始位姿的基础上沿前、后、左、右四个方向在 ±10 厘米范围内进行扰动。此外对于冰箱分拣任务待放入冰箱的两种水果和水瓶被替换为未见过的物体类别。该设置旨在评估模型在面对未见过的物体和位置条件时的泛化能力。