近年来Vision-Language-ActionVLA模型正在成为通用机器人操作的重要路线。主流做法通常是把视觉观测、语言指令和机器人动作放在一起训练让模型根据当前图像和语言目标直接预测下一步动作。但在这个范式下一个关键问题很少被单独拎出来讨论VLA 模型到底有没有真正学到语言如何约束动作标准 VLA pretraining 从一开始就把 visual grounding 和 action learning 绑定在一起。这样当然可以训练出视觉条件下的机器人策略但也让 language-action learning 始终被包裹在视觉主导的训练过程中。模型看起来是在根据语言执行任务实际上可能更多是在利用视觉和动作之间更直接的关联。这正是 LA4VLA 想要研究的问题Language-Action Pretraining 是否应该从标准 VLA Pretraining 中被解耦出来作为一种独立的预训练信号来研究为了探究这个问题上交 阿里提出 LA4VLA: Learning to Act without Seeing via Language-Action Pretraining。核心思想不是让机器人最终不看图也不是否定视觉的重要性而是把语言-动作监督从视觉主导的 VLA 训练中显式拆出来在没有视觉输入的设置下让模型学习语言指令如何约束连续动作轨迹并进一步研究这种监督如何单独使用、如何与标准 VLA pretraining 结合。论文标题LA4VLA: Learning to Act without Seeing via Language-Action Pretraining项目主页https://github.com/MINT-SJTU/LA4VLA换句话说我们希望机器人不要只依赖视觉捷径而是能够掌握一类更基础的语言-动作规律即使暂时看不见也要知道语言中的动作词、方向词和操作意图应该对应怎样的运动模式。问题的根源在于标准 VLA 训练中视觉、语言和动作的监督密度并不对等。在数据层面一条机器人示范通常包含连续的视觉观测、机器人状态和动作轨迹但只配有一条高层任务指令。比如一条完整轨迹可能对应一句 clean the table而执行过程中实际包含靠近、抓取、抬起、移动、放置等多个局部动作阶段。视觉和动作信号是逐帧变化的而语言信号往往在整条轨迹中保持不变。这意味着模型看到的是大量密集的 visual-action 或 state-action 对但语言与局部动作阶段之间的对应关系并没有被显式标出来。在输入层面也存在类似不平衡。图像通常会被编码成大量 visual tokens而语言指令只占输入中的一小部分。训练时模型更容易从视觉输入中找到直接的动作预测线索而不是充分学习语言指令如何约束动作。因此一个 VLA 模型可能在标准输入下看起来是 language-conditioned 的但其动作预测实际上仍然高度依赖 visual-action association。一旦视觉输入被移除、替换或者视觉线索与语言目标发生冲突模型就可能偏离语言指令。这正是 LA4VLA 想指出的问题VLA 模型不能只是在标准输入下看起来会听指令而应该真正学会语言如何约束动作。如果 language-action supervision 始终被视觉主导的训练过程淹没模型很容易依赖视觉捷径而不是形成稳定的语言-动作关系。因此我们将 Language-Action Pretraining 从标准 VLA Pretraining 中解耦出来把它作为一种独立的预训练信号来研究让模型显式学习不依赖具体图像和场景布局的 language-action priors并进一步验证这种监督如何提升下游 VLA 策略、真实机器人操作和视觉扰动下的鲁棒性。为了判断 VLA 策略到底是在跟随语言还是在依赖视觉线索我们设计了一个诊断实验保持语言指令不变只改变视觉输入观察模型预测出的动作轨迹是否仍然沿着指令方向运动。实验选取方向明确的原子动作指令例如 move upward to approach the target 和 move downward to approach the target并构造四种视觉输入设置在原始配对输入下模型看起来表现很好相反方向的指令对应的轨迹能够分开端点也大致落在指令方向上。但一旦视觉输入被移除或替换轨迹很快变得混乱原本清晰的方向区分消失。最关键的是视觉冲突设置语言仍然要求模型朝一个方向运动但视觉输入来自相反方向的动作片段。此时预测轨迹明显偏向视觉所暗示的方向而不是语言指令指定的方向。也就是说模型并不只是不确定而是在视觉和语言冲突时更倾向于跟随视觉线索。进一步的量化结果也验证了这一观察标准配对输入下看似良好的 direction following在移除、替换或冲突视觉输入后显著下降并且在视觉冲突时出现明显反向偏移。这个诊断实验说明标准 VLA 训练可以产生表面上的 instruction following 行为但这种行为未必稳固建立在 language-action relationship 上。模型看起来是在听指令实际上仍可能高度依赖配对视觉输入。基于上面的诊断实验LA4VLA 提出核心思想不要一开始就把语言、视觉和动作全部耦合在一起训练而是先把 language-action supervision 单独抽出来让模型先学习语言如何约束动作。在标准 VLA pretraining 中模型同时接收视觉观测、语言指令和机器人状态并预测动作。Visual grounding 和 action learning 从一开始就被绑定在一起。这样虽然可以学习视觉条件下的机器人策略但 language-action 关系也容易被更密集的 visual-action 信号淹没。LA4VLA 则将 language-action 部分显式解耦出来。在 LA pretraining 阶段视觉输入被移除模型只能根据语言指令和机器人状态预测动作轨迹。也就是说模型暂时不能依赖图像中的目标位置、物体外观或场景布局而必须关注语言指令本身如何对应到连续动作模式。这里的 language-action supervision 并不是简单的动作类别标签。我们不是只告诉模型当前片段属于 lift 或 grasp而是希望模型学习更完整的局部动作描述与连续动作轨迹之间的对应关系。例如“Lower the object downward toward the target while holding it”对应持物状态下将物体向目标方向下放“Transport the object to the right while holding it”对应持物状态下将物体向右侧水平移动“Open gripper to release and place the object onto the target surface”对应打开夹爪将物体释放并放置到目标表面。这些 instruction 不只是说明做什么动作还包含动作方向、夹爪状态、是否持物以及局部物理效果。更重要的是它们尽量避免物体外观、背景布局和场景特定目标选择因此不同于普通的细粒度 subtask instruction如把红色杯子移动到书本左边。这些知识并不依赖某一张具体图像而是跨任务、跨场景可复用的 language-action 规律。LA4VLA 希望模型先学习这些规律形成 vision-agnostic 的 language-action priors再在后续 VLA 训练和下游微调中结合视觉输入完成具体场景中的操作。因此LA4VLA 的重点不是简单提出一个新的数据集也不是只在标准 VLA pretraining 中加入额外数据而是提出一种新的预训练视角Language-Action Pretraining 可以从 VLA Pretraining 中独立出来作为一种基础的、可单独使用、也可与标准 VLA 训练互补的预训练范式。为了实现这种预训练范式需要构造不依赖视觉输入的 Language-Action 数据。LA4VLA 并没有额外采集新的机器人示范而是提出了一个 pipeline 来重新组织已有的 VLA demonstrations。一条完整的 VLA 轨迹通常只对应一条高层任务指令但轨迹内部其实包含多个局部动作阶段。LA4VLA 将这些长轨迹切分成短的 atomic action segments并为每个片段配上对应的低层动作描述。这样原本隐藏在完整轨迹中的 language-action supervision 就被显式暴露出来每个短片段都有一个更局部的语言指令以及与之对应的连续动作轨迹。在构建过程中使用关键帧检测、原子动作类别约束、VLM temporal segmentation 和人工核验将原始 VLA 数据转化为 vision-agnostic 的 LA 数据。最终得到的 LA episodes 覆盖 move、grasp、lift、transport、place、reorient、lower 等常见原子操作类别。最终构建了 LA-33K包含 33,116 条经过人工核验的 Language-Action episodes。它们来自已有机器人示范不需要额外机器人数据采集。与原始 VLA 轨迹相比LA-33K 的每个 episode 更短、更局部语言描述也更直接对齐到动作执行。但需要强调的是LA-33K 的意义不只是多了一个数据集。更重要的是它让原本被包裹在 VLA demonstrations 中的 language-action supervision 变成了可以被单独训练、单独分析、单独与 VLA pretraining 组合的监督信号。实验在 MetaWorld 和 LIBERO 两个 benchmark 上进行评测以下是核心结论。第一单独 LA pretraining 已经有效且收益覆盖仿真、跨架构和真实机器人这说明 LA pretraining 不是某个模型或某个仿真 benchmark 上的特定 trick。即使预训练阶段不使用视觉输入模型学到的 language-action priors 仍然可以迁移到不同 VLA 架构并显著提升真实机器人中的语言条件操作能力。第二LA pretraining 优于 matched VLA pretraining在相同原子动作片段上保留视觉输入做 VLA pretraining并不如移除视觉输入做 LA pretraining这说明在相同原子动作片段上LA pretraining 不只是改变了预训练信号的形式而且带来了比 matched VLA pretraining 更好的下游效果。相比保留视觉输入继续学习 vision-language-action 关联移除视觉输入后模型需要更直接地学习 instruction 与 action trajectory 之间的对应关系这种更集中的 language-action supervision反而为后续 VLA 策略提供了更有效的预训练信号。第三LA 和 VLA supervision 可以互补这里的 No 表示不做预训练、直接下游微调VLA 表示保留视觉输入的标准 VLA pretrainingLA 表示移除视觉输入的 Language-Action pretrainingLA-VLA 表示两阶段结合 LA 与 VLA supervisionMixPT 表示在同一预训练阶段混合 LA 与 VLA 数据。在 MetaWorld 上No 69.73% → LA 83.00% → LA-VLA 86.75% → MixPT 87.53%在 LIBERO 上No 92.85% → LA 95.30% → MixPT 95.75% → LA-VLA 96.28%我们也在真实机器人上验证了 LA4VLA。三个任务分别是 Press Button、Place Book 和 Place Drink它们都需要机器人根据语言指令选择正确目标。真实机器人平均成功率No 38.3% → VLA 48.3% → LA 81.7% → MixPT 83.3%在视觉扰动下平均成功率为No 27.5% → VLA 42.5% → LA 67.5% → MixPT 70.0%实验结果可以概括为一句话Language-Action Pretraining 是一种独立有效的预训练信号它优于 matched VLA pretraining也可以与标准 VLA supervision 形成互补。 LA supervision 提供不依赖具体图像的 language-action priorsVLA supervision 保留视觉输入并提供 visual grounding。二者结合后在仿真、真实机器人和视觉扰动下都带来稳定收益。除了下游成功率我们还进一步观察了 LA pretraining 对模型行为和内部表示的影响。从方向跟随结果可以看到经过 LA pretraining 后即使没有视觉输入模型仍然能根据语言指令预测出清晰分开的相反方向轨迹。也就是说动作方向不再轻易被其他输入带偏而是更稳定地跟随语言指令。从 t-SNE 可视化可以看到标准 VLA-trained policy 的内部表示中不同方向指令混在一起而 LA-pretrained policy 的表示会按照指令方向形成更清晰的聚类相反方向也被分到不同区域。这说明 LA pretraining 不只是提升了最终成功率也让模型在动作预测前形成了更清晰的 instruction-conditioned representation。换句话说模型内部真的更好地学到了语言如何约束动作。总结来看LA4VLA 的贡献不只是提出一个新的数据集或一个新的模型而是把一个重要问题明确拆了出来Language-Action Pretraining 可以从标准 VLA Pretraining 中被解耦并作为一种独立、有效、可互补的预训练范式。具体来说本文主要贡献包括这些结果共同说明显式的 language-action supervision 是 VLA 学习中一个值得被单独建模和系统研究的关键方向。VLA 模型的目标不是只看图也不是只听语言而是把视觉、语言和动作结合起来让机器人能够在真实世界中执行复杂任务。但如果从训练一开始就把视觉、语言和动作完全耦合在一起语言-动作关系可能会被更密集的视觉-动作信号淹没。模型看起来能执行语言指令但在视觉变化或视觉冲突下可能仍然更倾向于跟着视觉走。LA4VLA 提供了一种新的思路先把 Language-Action Pretraining 从 VLA Pretraining 中解耦出来让模型在没有视觉输入的情况下学习语言如何约束动作再将这种语言-动作先验与视觉 grounding 结合起来用于下游 VLA 策略学习。这不是为了让机器人不看世界而是为了让机器人在看见世界之前先学会理解动作。Learning to Act without Seeing最终是为了更好地 Seeing and Acting with Language.论文LA4VLA: Learning to Act without Seeing via Language-Action Pretraining机构上海交通大学 阿里巴巴代码https://github.com/MINT-SJTU/LA4VLA晓天衡宇评测社区 — 专注 AI 模型评测与技术解读欢迎投稿与交流。