1. 视觉-语言-动作模型的核心挑战与TACO框架概述视觉-语言-动作Vision-Language-Action, VLA模型代表了当前多模态人工智能领域的前沿研究方向。这类模型通过整合视觉输入、语言指令和动作输出能够实现从感知到决策的端到端学习。典型的VLA模型架构通常包含三个关键组件视觉编码器处理图像/视频输入、语言编码器解析文本指令以及动作解码器生成控制信号。这种多模态融合的设计使得VLA模型在机器人控制、自动驾驶等需要复杂感知-决策能力的场景中展现出巨大潜力。然而VLA模型在实际应用中面临一个根本性挑战——推理时的不稳定性。这种不稳定性源于模型训练过程中的多模态数据融合特性。在预训练阶段VLA模型需要从包含各种行为模式的大规模数据集中学习这些数据可能来自人类远程操作、脚本策略或其他自动化系统。问题在于这些数据中往往混杂着大量与目标任务无关甚至次优的行为模式。当模型在特定下游任务上进行微调时这些冗余模式会导致策略分布与理想的成功模式之间出现显著偏移。具体来说VLA模型在推理时面临三个主要问题多模态分布导致的采样不确定性模型学习到的动作分布通常是多峰值的包含成功模式和多个次优模式微调数据质量不足用于特定任务微调的数据集往往包含噪声和不完美的示范推理时缺乏有效的选择机制传统方法简单地从模型输出分布中采样无法主动规避次优行为针对这些问题中国电信、中科大、清华和港科大的研究团队提出了TACOTest-time Anti-exploration with Coupled pseudo-cOunt框架。TACO的核心创新在于将离线强化学习中的反探索原则引入VLA模型的推理过程通过轻量级的伪计数估计器在测试时筛选最优动作而不需要修改模型参数或进行额外的训练。关键提示TACO框架的关键优势在于其计算效率——它仅在推理阶段引入额外的验证步骤避免了昂贵的强化学习微调过程这使得它特别适合基于流匹配或扩散的VLA模型这类模型通常难以通过传统RL方法进行优化。2. 反探索原理与伪计数估计技术解析2.1 从离线强化学习到VLA的反探索反探索Anti-exploration概念最初源于离线强化学习领域其核心思想是限制智能体在数据集支持范围之外的状态-动作空间中进行探索。在离线RL设置中由于智能体无法与环境进行实时交互来收集新数据过度探索分布外区域会导致严重的性能下降。Rezaeifar等人在2022年首次系统性地提出了反探索原则通过设计特殊的奖励函数来约束策略行为。将这一原理迁移到VLA模型中我们可以将监督微调SFT阶段使用的数据集类比为离线RL中的静态数据集。理想情况下我们希望VLA模型生成的动作能够保持在SFT数据集中高成功率模式的支持范围内。然而传统的采样方法无法保证这一点因为模型可能会从学习到的多模态分布中采样到次优模式。TACO框架的创新之处在于它不通过修改模型参数来实现反探索这需要复杂的强化学习更新而是在测试时通过动作选择机制来实现相同的目标。具体来说TACO使用伪计数作为衡量动作可靠性的指标——那些在SFT数据中出现频率更高的动作模式被认为更可能成功。2.2 硬币翻转网络与耦合伪计数估计伪计数估计是TACO框架的核心技术组件。传统计数方法在连续状态-动作空间中面临维度灾难问题而伪计数技术通过函数逼近来估计状态-动作对的访问频率。TACO采用了一种称为硬币翻转网络Coin Flipping Network, CFN的轻量级架构来实现高效的伪计数估计。CFN的工作原理基于以下数学直觉对于每个观察-指令-动作三元组(o,l,a)我们将其映射到一个特征空间然后训练网络预测与该特征相关联的随机二元标签可以想象为抛硬币的结果。通过分析网络在预测这些随机标签时的表现我们可以推导出该状态-动作对的伪计数。具体实现上CFN被设计为一个简单的MLP网络它接收VLA模型的内部表示作为输入输出对应的伪计数估计。TACO框架的一个关键设计选择是耦合估计器——即直接使用VLA模型本身的内部表示作为CFN的输入而不是训练单独的编码器。这种设计带来了三个显著优势计算效率复用VLA已有的特征提取过程避免额外计算开销表示质量VLA的预训练表示通常包含丰富的多模态信息架构简洁无需设计复杂的特征提取管道对于基于扩散或流匹配的VLA模型TACO还提出了高保真特征搜索技术解决这些模型在训练时只接触加噪数据而导致的特征不匹配问题。具体做法是对每个干净动作进行多次加噪查询选择那些重构后最接近原始动作的特征作为代表。3. TACO框架的测试时规模化实现3.1 两阶段生成-验证机制TACO在推理时的工作流程可分为清晰的生成和验证两个阶段生成阶段给定当前观察o_t和语言指令l使用基础VLA模型并行生成M个候选动作序列{aˆ_t:tH(i)}对于基于扩散的模型这通过采样不同的初始噪声向量实现同时提取每个候选动作对应的内部表示{h(i)_θ}验证阶段使用预训练的CFN验证器对每个候选动作进行评分计算每个动作的伪计数Nˆ_D_sft 1/||f_φ(h(i)_θ)||2选择伪计数最高的动作作为最终执行输出这种机制确保了被选中的动作不仅在模型看来是合理的而且在SFT数据集中有高频出现的证据支持从而显著降低了执行次优动作的概率。3.2 KV缓存优化与计算效率直接实现上述流程的一个主要挑战是计算开销——生成M个候选动作需要进行M次前向传播这对于大型VLA模型来说成本过高。TACO采用了一种巧妙的优化策略共享KVKey-Value缓存。观察到VLA模型在处理共享上下文观察和指令时其Transformer架构中的K和V矩阵在不同候选动作间是相同的。因此TACO首先计算一次共享上下文的KV缓存然后在所有M个候选动作生成过程中复用这些缓存。仅需要对动作相关的部分进行差异计算。实验数据显示当M32时这种优化可以减少73.2%的推理时间使得测试时规模化在实际应用中变得可行。下表比较了不同采样数量下的计算开销采样数量M原始方法(ms)KV缓存优化(ms)加速比83201202.67x166401903.37x3212803403.76x6425606204.13x实践建议在实际部署中采样数量M需要在性能提升和计算延迟之间进行权衡。实验表明M16~32通常能在合理延迟内提供稳定的性能改进。4. 实验验证与性能分析4.1 仿真环境基准测试研究团队在四个主流机器人仿真基准上评估了TACO框架Simpler基于SAPIEN和ManiSkill2构建专注于WindowX机器人平台的真实模拟Libero用于终身决策学习的挑战性基准包含复杂的长时程任务Robotwin1.0/2.0双臂操作基准包含丰富的资产和任务类型测试涵盖了三种主流VLA架构基于流匹配的π0和π0.5自回归式的OpenVLA下表展示了TACO在不同基准上的成功率提升基准测试基础策略原始成功率TACO提升最终成功率Simplerπ068.2%12.5%80.7%Liberoπ0.559.8%15.2%75.0%Robotwin1.0OpenVLA72.4%9.8%82.2%Robotwin2.0π065.3%14.1%79.4%对比现有测试时规模化方法RoboMonkeyTACO在保持相当计算开销的情况下平均获得了3-5%的额外性能提升。更重要的是TACO的验证器参数量仅为RoboMonkey的1/10左右体现了其轻量级设计的优势。4.2 真实机器人实验为了验证TACO在现实世界中的有效性研究团队在RealMan75双臂机器人平台上进行了五项复杂操作任务的测试书籍接收与归位充电器存放纸笔整理笔记本电脑操作双臂协同取书每项任务都涉及精细操作和长时程规划。实验设置包括主视图RealSense L515摄像头两个腕部RealSense D405摄像头RTX 4090工作站进行实时推理真实实验结果表明TACO将基础策略的成功率从63.7%提升到了78.9%同时显著减少了异常行为的发生。特别是在需要双臂协调的任务中TACO展现出更强的稳定性这得益于其对分布外动作的有效过滤。5. 实施细节与训练配置5.1 模型架构与表示提取不同VLA架构的内部表示提取策略有所差异π0/π0.5使用动作专家最终隐层的第一个token作为表示1024维OpenVLA采用最终隐层的最后一个token4096维这种设计选择基于对各架构注意力机制的深入分析。例如在双向Transformer中第一个动作token的表示会通过自注意力机制聚合整个序列的上下文信息。5.2 数据集构建与特征处理高质量的训练数据是伪计数估计器有效性的关键。研究团队采用了多种策略确保数据质量使用脚本策略自动收集示范数据减少人为噪声对每个干净动作(o,l,a)进行N50次加噪查询构建高保真特征集采用L2距离选择最匹配的噪声-干净对对于Robotwin2.0数据集实验发现将噪声水平设置为100%时能获得最佳特征表示这与直觉相反的结果可能源于扩散模型在训练时接触的噪声分布特性。5.3 优化器与训练策略CFN训练采用以下配置优化器Adam适合处理稀疏梯度学习率调度OneCycleLR初始1e-4峰值1e-3梯度累积每2步更新一次批量大小根据GPU内存动态调整这种配置在保持训练稳定的同时能够高效利用计算资源。实验显示CFN通常能在1-2万训练步内收敛在单个H100 GPU上训练时间不超过2小时。6. 应用前景与扩展方向TACO框架为VLA模型的实际部署提供了一种简单而有效的稳定性增强方案。其核心价值在于不修改基础模型的前提下通过测试时计算显著提升性能。这种方法特别适合以下场景无法进行模型微调的生产环境当模型部署后难以更新时TACO可以作为外部插件提升可靠性计算资源受限的应用相比完整的RL微调TACO的测试时开销可以控制在合理范围内需要快速迭代的任务新任务只需收集少量示范数据即可构建有效的验证器未来的扩展方向可能包括将伪计数估计与其他验证指标如动力学模型预测相结合开发自适应采样机制动态调整候选动作数量探索在在线学习设置中应用反探索原则在实际工程部署中建议首先评估基础模型的失败模式然后有针对性地设计验证策略。对于以特定类型错误为主的场景可以定制伪计数估计器的输入表示和训练目标以获得最佳改进效果。