这项由马里兰大学计算机工程学院与思科研究院联合开展的研究以预印本形式于2026年6月26日发布论文编号为arXiv:2606.27755题为《Drop-Then-Recovery: How Redundant Are Vision-Language-Action Models?》感兴趣的读者可通过该编号查阅完整原文。机器人正在变得越来越聪明。它们不再只是按照预设程序运动的机械臂而是能够听懂人类语言指令、看懂眼前场景、然后做出相应动作的智能伙伴。这类能将看、听、动三种能力融为一体的系统研究者称之为视觉-语言-行动模型Vision-Language-Action Model简称VLA。然而这批新型智能机器人身上藏着一个鲜少被人追问的秘密它们的语言大脑可能严重超标——不是不够用而是远远过剩。以目前主流的VLA模型为例它们的语言处理模块通常直接从大型语言模型比如GPT之类能写文章、写代码的AI移植过来。这些语言模型原本是为了处理海量复杂文本而设计的功能强大参数众多。但机器人日常接收的指令往往非常简单不过是把红色杯子拿起来或者把包裹放到传送带上这类短短一句话。把一个能写万字长文的大脑用来理解这几个字难道不是大材小用马里兰大学的研究团队决定把这个直觉变成严谨的科学问题究竟VLA模型的哪些部分是真正必要的哪些又是可以去掉的冗余为了回答这个问题研究者设计了一套名为先丢后恢复Drop-Then-Recovery简称DTR的实验框架。这套框架的核心思路非常直接先把模型里的某些模块剪掉然后让剩下的模型重新学习做机器人任务最后看它的表现有没有明显变差。如果剪掉一块之后模型依然表现良好就说明那块确实是多余的如果表现急剧下降则说明那块是不可或缺的关键部件。实验结果令人颇感意外。研究团队在多个主流VLA架构上、多个机器人操作任务基准上甚至在真实工厂场景中进行了测试得出了一个高度一致的结论语言模块极度冗余而视觉模块和动作执行模块则对任何删减都非常敏感。更戏剧性的是在某些测试中把语言模块砍掉一半之后机器人的任务成功率不降反升。这个发现的背后隐藏着关于当前机器人AI设计理念和测试标准的深层反思。接下来我们就像跟着侦探破案一样一步步走进这项研究的核心。---一、机器人AI是怎么工作的它的大脑有哪几块要理解这项研究首先得搞清楚VLA模型的基本构造。把一个VLA模型想象成一个厨师——这个厨师需要同时使用眼睛、耳朵和双手才能完成工作。眼睛对应的是视觉编码器Vision Encoder。摄像头拍到的画面经过这一模块处理变成机器人能够理解的视觉信息比如桌上有一个红色杯子在绿色盒子旁边。耳朵对应的是语言主干网络Language Backbone。人类说出的指令——把红色杯子拿起来——经过这一模块处理变成模型能够理解的语言信息。这个模块通常是从大型语言模型直接移植过来的拥有几十层的变换器模块Transformer Block每一层都在对语言信息进行深度加工和理解。双手对应的是动作模块Action Module。它把视觉信息和语言信息综合起来输出具体的机器人动作指令比如手臂向左移动3厘米手指闭合。这三个模块都由一种叫做变换器模块的基本单元堆叠而成。每个变换器模块就像厨师食谱中的一个步骤输入食材上一步的信息经过处理输出新的食材加工后的信息然后传给下一个步骤。研究团队发现语言主干网络往往占据了整个模型参数量的绝大部分。以OpenVLA-OFT这个模型为例其语言主干网络使用了Llama-2-7B的32层变换器模块π0.5则使用了PaliGemma的18层。这些语言层处理的不过是拿起红色杯子这样十个字以内的简单指令。而视觉模块和动作模块虽然参数量少得多却要承担对画面进行精确理解和对动作进行精准控制的繁重任务。这种巨大的不对称性正是整个研究的出发点。---二、先丢后恢复——一种像做手术一样的实验方法研究团队设计的DTR框架本质上是一种受控的手术实验。这种实验的逻辑可以用医学类比来理解假设你想知道人体某块肌肉是否真的有用最直接的方法是先暂时停用它观察人的行动受没受影响然后通过康复训练看看能否恢复正常。在DTR中手术就是把变换器模块从模型中物理删除——不是禁用而是真正从网络结构里删掉让该层直接短路输入信息不经任何处理直接传给下一层。康复训练就是让删减后的模型重新在机器人任务数据上进行微调训练让剩余部分适应新的结构。这个框架分两个阶段进行。第一阶段是删减根据某种重要性评分选出最不重要的几个变换器模块将其从模型中物理移除。第二阶段是恢复让删减后的模型在目标任务上重新进行微调训练然后评估最终的任务成功率。研究团队特别强调衡量冗余度的关键不是删掉之后立刻变差多少而是恢复训练之后是否能回到原来的水平。一个模块删掉之后立刻表现很差但经过重新训练后完全恢复说明它原本提供的功能是可以被其他模块替代的而一个模块删掉后无论怎么训练都无法恢复才说明它是真正不可或缺的。研究者将这种删减后能否恢复的能力称为可恢复性Recoverability将其与单纯的立即重要性区分开来。这种区分在机器人控制领域尤为重要。普通语言任务中单步预测出现小误差影响不大但机器人在执行任务时每一步的动作都建立在前一步的基础上一个小误差会像滚雪球一样越来越大最终导致整个任务失败。因此研究团队坚持用任务成功率而非单步预测误差作为最终评判标准。---三、哪个模块最可有可无三组实验揭示惊人差距为了在没有任何选择偏见的情况下观察各模块的冗余程度研究团队先采用两种简单粗暴的删减策略一是删一半每隔一层删一层二是只留2层只保留第一层和最后一层。这两种策略对语言、视觉、动作三个模块分别独立进行然后比较恢复后的任务成功率。测试在LIBERO这个主流机器人操作基准上进行该基准包含四个子任务套件空间任务测试空间位置理解、物体任务测试物体识别、目标任务测试目标理解、长时任务测试长序列操作。结果非常清晰差异触目惊心。以OpenVLA-OFT模型为例基准线完整模型的平均成功率是95.0%。对语言模块执行删一半操作后模型大小缩减到原来的55.5%计算量降至55.0%而任务成功率不降反升达到了98.3%。对语言模块执行只留2层操作后模型缩减到仅剩16.6%的原始大小任务成功率依然保持在95.1%与完整模型几乎持平。与此形成鲜明对比的是视觉模块。对视觉模块执行删一半操作只减少了3.6%的参数任务成功率却跌至83.9%只留2层则更惨成功率跌到80.2%。动作模块的情况类似π0.5模型在动作模块只留2层的情况下任务成功率从91.7%暴跌至26.2%几乎彻底失能。简单翻译一下这组数据的含义从语言模块砍掉84%的参数机器人一点事没有从视觉模块砍掉10%机器人就开始出问题从动作模块稍微动动机器人可能直接罢工。这个不对称的程度超出了许多人的预期。---四、如何精准选择哪些层可以删——GateProbe的设计逻辑知道语言模块总体上是冗余的还不够当你需要删掉特定的几层时选哪几层就变得至关重要。研究团队为此设计了一种名为GateProbe门控探针的评分方法用来衡量每一层变换器模块对任务的实际贡献。现有的一些评分方法大多依赖简单的直觉。有的方法看每层的参数大小参数越小认为越不重要有的方法看相邻两层之间的信号变化是否微小变化越小认为这层越像透明的可以删掉有的方法则干脆逐一删除每层测量困惑度perplexity一种衡量语言模型混乱程度的指标的变化。这些方法的共同问题是它们只衡量删掉之后立刻有多大影响但并不能预测恢复训练后能否回到原来水平。GateProbe的思路不同。它在每一层的残差分支也就是加上这一层的额外处理这个操作上放置一个虚拟的开关——这个开关平时拨到1完全开启相当于正常运行拨到0则等于删掉这层。GateProbe衡量的是如果把这个开关从1轻轻往0方向拨一点点任务损失函数会变化多少变化越大说明这层对任务越重要越不应该删。从数学角度看这个评分是任务损失函数对开关值的偏导数的绝对值——可以用一次标准的反向传播机器学习训练时计算梯度的过程直接得到无需修改模型结构只需要在前向计算时记录一些中间状态。计算代价非常小只需要对少量校准数据跑一次前向加反向传播即可大约在H200 GPU上耗时25秒。研究团队把GateProbe与七种现有方法进行了系统比较包括Taylor灵敏度、Fisher信息矩阵、Hessian迹估计、余弦相似度、困惑度、连续块余弦相似度和参数幅度等方法。测试在π0.5模型上进行针对18层语言模块分别测试了删9层、删12层、删16层、删17层四种激进程度不同的场景。在删9层和删12层这种中等程度的删减下GateProbe和Taylor方法表现相近均能选出较好的保留方案。然而当删减极度激进——只保留2层即删16层或只保留1层即删17层时Taylor方法的表现开始明显下降而GateProbe依然稳定。在删16层场景下GateProbe选出的方案比第二名高出3.9个百分点在删17层场景下差距进一步扩大到4.3个百分点。非梯度类方法余弦相似度、参数幅度、困惑度在所有场景下均显著落后。这个差异的根本原因在于GateProbe直接衡量的是这一层对任务损失的影响而非这一层对模型内部表示的影响。在保留层数极少时每一个选择都举足轻重一个不够精准的评分方法会导致选错关键层使得恢复训练再怎么努力也难以弥补。---五、删的粒度也有讲究——整层删、只删注意力还是只删MLP变换器模块内部由两个子模块组成多头注意力机制MHA负责让模型关注输入序列中不同位置之间的关联和前馈全连接网络MLP负责对信息进行非线性变换和提炼。既然要删减是删整层好还是只删其中某个子模块效果更好研究团队在OpenVLA-OFT和π0.5两个模型上分别测试了三种粒度结果非常有启发性。对OpenVLA-OFT而言删整块Block删减成功率98.3%明显优于只删MHA91.9%和只删MLP65.6%。只删MLP的下降尤为剧烈说明MLP子模块承担了语言模块中更不可或缺的信息变换功能。对π0.5而言三种粒度的成功率差异较小93.3%到94.1%但整块删减能压缩掉最多的参数39.4%性价比最高。这个发现与附录K中的一组独立验证相互印证研究团队发现注意力子层MHA的冗余度远高于MLP子层——零样本不经过恢复训练直接删掉8个注意力子层成功率从98%只降到了98%几乎无损但零样本删掉哪怕4个MLP子层成功率就直接归零。这种极端不对称让研究者得出结论整块删减结合恢复训练是最稳健的策略而非单独针对MHA层做零样本删减。由此研究团队确立了DTR实验的默认策略对语言主干网络进行整层删减辅以GateProbe进行层的重要性排序。---六、这不只是实验室游戏——真实机器人工厂里的测试研究团队将这套方法搬到了真实的工业场景中以检验实验室结论是否在现实中同样成立。测试平台是一台UFACTORY xArm 850机械臂配备腕部摄像头和第三视角摄像头运行在NVIDIA Jetson Thor边缘计算平台上通过Meta Quest 3手柄遥控操作进行数据采集共收集了约11万帧数据约600次抓取动作。所用的VLA模型是π0.5。任务场景来自真实的仓库包裹分拣需求机器人需要从装满软体包裹的容器中逐一抓取包裹放置到传送带或者相邻的卡槽中。这个任务有三大挑战包裹之间紧密堆叠且外形柔软边界模糊难以识别每个包裹内部有瓶状物品外表可抓握面积有限每次必须且只能抓取一个包裹。实验设计了两种环境Env 1是从网格容器抓取放到右侧传送带Env 2是从纸箱抓取放到侧面卡槽。每种环境进行3轮共60次抓取取平均成功率。结果显示删掉一半语言层Drop-9即从18层删至9层后Env 1的成功率为65.0%略高于完整模型的63.3%Env 2的成功率为71.7%接近完整模型的75.0%。这与模拟环境中的实验结论高度一致删掉一半语言层对任务表现几乎没有负面影响。然而当删减更为激进、只保留2层Drop-16时成功率开始出现明显下降Env 1降至55.0%Env 2降至66.7%。研究团队还进一步测试了六种超出训练分布的扰动条件包括粉色光、绿色光、闪烁光三种照明变化以及使用全新物品、改变容器摆放方向、去掉容器三种物理变化。结果揭示了一个重要规律在温和的扰动下如改变容器方向删减一半语言层的模型与完整模型差距极小三种模型分别为75%、70%、70%但在较强扰动下如绿色光照差距明显扩大Drop-16的成功率降至35%而完整模型为50%。这说明语言模块中那些貌似冗余的层可能并非完全无用——它们对于在视觉或物理条件发生变化时保持泛化能力有一定贡献只是在标准任务条件下这种贡献被遮蔽了。---七、相同计算量删减模型反而跑得更好——训练效率的意外红利DTR框架带来了一个出乎意料但逻辑上完全合理的好处由于模型在训练之前就已经被删小了每一步训练的计算代价更低在相同的总计算量预算下可以跑更多训练步数。研究团队专门设计了一组计算量匹配实验将π0.5的基准训练设定为batch size 32、训练3万步然后让不同程度的删减版本在保持相同总FLOPs浮点运算量的前提下通过增大batch size或增加步数来匹配。结果相当振奋人心。Drop-9语言层从18削减至9版本在匹配计算量后达到平均成功率92.3%超过完整模型的91.7%。Drop-12语言层从18削减至6版本成功率进一步提升至93.7%超出基准2个百分点成为所有配置中表现最好的。Drop-16语言层从18削减至2版本成功率为92.6%同样超越基准。即便是最激进的Drop-17语言层从18削减至1版本成功率也达到91.0%与完整模型相当。换句话说在相同的算力预算下用一个参数更少的模型来训练实际上比用完整的大模型更高效——不是因为小模型更聪明而是因为相同的钱可以让小模型训练更多步积累更多经验。除了训练效率推理速度也显著提升。在OpenVLA-OFT模型上的测试显示删减16个语言层DTR-16后单次动作生成延迟从225毫秒降至144毫秒加速1.56倍内存占用从14.40GB降至8.36GB节省42%。考虑到删减后任务成功率实际上提升了从98%到100%失败步骤减少导致总任务步数也略微减少综合下来端到端的任务效率提升了1.64倍。更值得注意的是DTR产生的是标准的、参数更少的密集模型不需要低精度量化的专用硬件内核也不需要稀疏矩阵运算的特殊支持在任何硬件上都可以直接受益。这与量化需要特殊低精度算子支持和结构化稀疏剪枝需要特定稀疏模式匹配硬件形成鲜明对比。研究团队在附录中还专门讨论了边缘机器人平台如Jetson Thor上的部署注意事项指出这种硬件无关的加速方式对于现场部署具有重要的实用价值。---八、四种主流VLA模型全都如此——这是普遍规律而非偶然为了确认这一现象不是某个特定架构的特例研究团队在四种主流VLA模型上重复了删一半语言层的实验全部采用相同的批次大小和训练步数。四种模型分别是π0.5双流流匹配架构PaliGemma语言主干18层、OpenVLA-OFTLlama-2-7B语言主干32层MLP动作头、GigaBrain-0PaliGemma2-3B语言主干26层扩散式动作头约3.5B参数、Lingbot-VLAQwen2.5-VL-3B语言主干36层流匹配解码器约4B参数。这四种模型覆盖了不同的骨干网络家族、不同的模型规模和不同的动作预测设计。结果高度一致四种模型在删掉一半语言层后全部能匹配或超越完整模型的基准成功率。OpenVLA-OFT回弹幅度最大从95.0%上升至98.3%提升了3.3个百分点。GigaBrain-0和Lingbot-VLA的变化幅度较小但均能与基准持平或略有超越。研究者认为这种跨架构、跨规模的一致性表明语言模块的冗余不是某个特定设计决策造成的而是一种结构性矛盾的体现VLA模型继承了为处理复杂长文本而设计的大型语言主干但实际上只需要它处理简短的任务指令这种容量与需求之间的不匹配在当前主流架构中普遍存在。---九、当任务变得更难——语言冗余的边界在哪里既然语言模块在标准LIBERO测试中表现得如此冗余是否意味着机器人训练根本不需要那么多语言理解能力研究团队通过两个更具挑战性的测试基准来进一步审视这个问题。第一个是LIBERO-Plus这是LIBERO的增强版在原始任务基础上叠加了八类扰动背景变化、纹理变化、视角变化、机械臂初始位姿变化、语言指令变化、光照变化、噪声干扰和布局变化。第二个是RoboTwin 2.0专注于双臂协同操作任务包括敲打积木、按响铃铛、抬起锅子、移动扑克牌、开微波炉、摆放双鞋和拨动开关每个任务都有简单版清洁环境和困难版随机化环境两种变体。在LIBERO-Plus上语言冗余的优势有所收窄。删掉9层后的平均成功率下降了3.8个百分点从81.4%降至77.6%。引人注意的是下降最大的子类别不是语言扰动类只降了5.1而是机械臂初始位姿扰动类降了10.6。这意味着语言层的削减不只影响语言理解能力还影响了模型对不同物理起始状态的适应能力说明这些语言层并非纯粹在做语言理解而是对整体的泛化能力有所贡献。在RoboTwin 2.0上简单版任务在删9层后平均成功率只下降了0.6个百分点几乎感知不到但困难版任务下降了6.6个百分点且随着删减加剧而急剧恶化。在敲打积木困难版中删16层后成功率从16%降至3%按响铃铛困难版从50%降至48%但在删12层后先升后降开微波炉困难版从60%降至8%。这个对比揭示了一个重要规律当任务本身难度较低、环境条件稳定时语言层是高度冗余的但当任务需要在更多样化的条件下泛化时那些貌似冗余的语言层实际上在悄悄提供鲁棒性支撑。它们并不是在做复杂的语言推理而更像是在为模型提供一种宽泛的背景知识底座在标准条件下用不上但遇到陌生情况时就发挥了稳定作用。---十、这项研究告诉我们什么关于当前机器人AI的根本问题归根结底这项研究揭示的不只是语言层可以删掉这么简单的工程结论背后指向的是当前机器人AI研究生态中的两个更深层次的问题。第一个问题是**容量分配失衡**。当前主流VLA模型的设计策略是直接继承大型语言模型的完整结构这确实是一种简单有效的知识迁移方式但也带来了严重的容量浪费。语言主干网络占据了模型80%以上的参数却只需要完成最简单的语言理解任务。与此同时对任务成败影响最大的视觉模块和动作模块却在资源分配上相对薄弱。研究团队认为未来VLA架构的设计应当更精细地根据各组件的实际需求来分配容量而不是简单地把语言大脑整个搬过来。第二个问题是**测试基准的局限性**。语言模块之所以表现得如此冗余很大程度上是因为现有标准测试基准包括LIBERO中的任务指令太简单、太固定不需要深度的语言理解能力。把红色杯子拿起来和把蓝色盒子放到橙色碗左边这类指令两三层语言处理就足够了。如果要真正测试VLA模型的语言理解能力需要设计更复杂的指令比如涉及空间关系推理、条件判断、多步骤语言规划的任务。研究团队明确呼吁未来的机器人测试基准应当对语言能力提出更严格的要求否则当前的高成功率可能只是反映了语言能力被严重浪费而非语言能力被充分利用。说到底这项研究做的是一件非常务实的工作用先做手术、再看恢复的方式系统地量化了机器人AI每个组成部分的真实必要性。发现语言大脑极度冗余、视觉和动作模块不可或缺这个结论既对今天的工程师设计更高效的机器人AI有直接的指导意义也对整个领域我们到底在评测什么、我们的基准是否真的有挑战性这个根本问题提出了清醒的质疑。机器人AI的语言大脑到底有多冗余研究给出了一个令人印象深刻的答案在当前主流任务条件下砍掉一半完全没问题。这不是在说语言不重要而是在说——当前的机器人任务还远没有难到需要用那么多语言能力来对付。有兴趣深入探索原始数据和方法细节的读者可以通过arXiv编号2606.27755查阅完整论文或访问研究团队公开的代码库GitHub: s1ghhh/VLADrop复现实验。---QAQ1DTR方法删减语言层后机器人任务成功率为什么反而会提升A删减语言层后模型参数减少在相同计算量预算下可以跑更多训练步数积累更多任务经验。同时较小的模型对当前简单的机器人指令任务而言反而更专注不会被过多语言层的冗余计算干扰因此在某些场景下任务成功率有所提升OpenVLA-OFT就出现了从95.0%上升到98.3%的情况。Q2GateProbe和其他重要性评分方法相比有什么具体优势AGateProbe直接衡量每一层对任务损失函数的灵敏度而非仅看层内信号变化或参数大小。在只保留2层或1层这种极端删减场景下现有方法如Taylor、余弦相似度的准确性明显下降而GateProbe仍能稳定选出更好的保留方案在只留2层场景下比第二名高出近4个百分点计算代价仅需25秒完成一次前向反向传播。Q3VLA模型语言模块冗余的发现对机器人AI未来的设计有什么影响A这个发现说明当前VLA模型直接继承完整大型语言模型的设计策略存在严重的容量浪费。未来的架构设计应更精细地按需分配各组件容量同时机器人测试基准也需要设计更复杂的语言指令任务才能真正考验模型的语言理解能力避免用过于简单的考题掩盖模型的真实能力边界。