26年6月来自蚂蚁集团、浙大、港大、深圳河套学院和中科大自动化所的论文“Tactile-WAM: Touch-Aware World Action Model with Tactile Asymmetric Attention”。世界动作模型WAMs在生成动作的同时预测未来状态为机器人决策提供了一个强大的接口。然而在涉及丰富接触的操纵任务中视觉上看似合理的未来预测可能在物理层面是不完整的诸如插入、装配、搜索和重新定向等操作往往依赖于滑动、卡滞、接触法线或微小的对齐误差而这些特征在RGB图像中往往难以察觉或完全不可见。预测未来的触觉状态是一种自然的解决方案但有一种被称为“触觉污染”tactile pollution的失效模式在这种模式下不受约束地注入触觉Token会迫使视觉动力学模型去处理稀疏、局部且由事件触发的接触信号从而导致视频和动作预测性能下降。为了解决这一问题提出Tactile-WAM——一种具备触觉-觉察能力的WAM并引入触觉非对称注意机制TAAM。TAAM结合VIDEOCLEAN掩码该掩码阻止视频查询访问触觉 键/值Token同时允许动作查询访问与针对动作注意的触觉-觉察偏置。VIDEOCLEAN掩码在保护视觉预测的同时确保了接触信息可用于动作生成触觉-觉察偏置则基于预测的触觉变化生成并在去噪过程中调节动作对触觉Token的注意。如图 1所示。仅基于RGB信息的WAM能够生成视觉上合理的未来场景但接触状态往往难以完全确定滑动、卡滞、局部错位以及错误的接触法线等信息在RGB图像中可能难以辨识、被遮挡或完全缺失。Tactile-WAM通过预测未来的触觉接触状态并采用TAAM机制——即结合VIDEOCLEAN掩码与触觉感知偏差——实现了利用触觉信息指导动作修正同时避免了对视频预测产生不受约束的扰动。概览Tactile-WAM 扩展WAM表述引入触觉观测并预测未来的触觉接触状态隐变量。在推理阶段未来触觉状态和动作由噪声初始化并进行联合去噪真实的未来触觉状态仅用作训练目标。Tactile-WAM 在关节 Token 序列上采用一个兼容 Wan/WAM 的单一去噪主干网络。未来触觉寄存器与动作视界action horizo​​n对齐使得动作Token能够在生成纠正动作的时间步读取预测的接触状态。触觉-觉察功能由TAAM实现该模块结合两个注意层面的组件。VIDEOCLEAN掩码阻断视频查询video-query对触觉键/值key/valueToken的访问从而保护视觉动态通路同时保留动作查询action-query的访问权限触觉-觉察偏置touch-aware bias则增强了动作注意对触觉锚点tactile anchors的关注特别是在预测接触状态将发生变化的那些锚点处。如图 2所示Tactile WAM 概述。Tactile WAM 联合去噪未来的视觉 Token、触觉接触 Token 和动作。TAAM 采用选择性触觉路由机制VIDEOCLEAN 保护视频预测免受触觉 Token 干扰而“触觉-觉察偏置”touch-aware bias则利用预测的触觉变化来引导动作去噪。一种朴素的视觉-触觉 WAM 允许所有 Token 组之间相互关注包括通过视频查询访问触觉 Key/Value Token。这种对称的注意模式可能导致“触觉污染”稀疏且局部的触觉事件虽然对未来视频的预测能力较弱却可能直接干扰预训练的视觉动力学路径。VIDEOCLEAN 掩码VIDEOCLEAN 掩码通过阻止视频查询video-query访问触觉键/值key/valuetokens从而保护了视觉预测过程。VIDEOCLEAN 阻断了视频查询对触觉键/值KVtoken的访问但保留动作查询action-query对触觉token的访问权限。这样既防止触觉信息直接干扰视觉预测路径又确保了触觉信息仍可用于动作去噪。触觉状态代理proxy与触觉-觉察偏置为了使触觉隐状态与动作相关联Tactile-WAM 利用两个源自运动的触觉代理对其进行落地grounding触觉状态代理 ctau和触觉变化代理 Delta ctau。触觉状态代理捕捉局部接触载荷而触觉变化代理则突出阶跃式的接触转变例如初始接触、滑动开始、压缩量变化及卡滞jamming。这些代理既非经过校准的力标签也非额外的观测token而是源自触觉图像运动的辅助目标。触觉-觉察偏置touch-aware bias是 TAAM 的第二个组成部分。它由触觉变化代理计算得出并仅应用于“动作查询-触觉-键”action-query–tactile-key的注意 Logit 值。设 delta_tau 为用于构建触觉锚点 i 对应偏置的触觉变化信号在训练期间它采用目标触觉变化代理在推理期间则采用先前预测出的触觉变化代理。该偏置不会对触觉特征进行缩放也不会增加所有token组的触觉注意。它仅促使动作去噪过程更强烈地关注那些预测接触状态正在发生变化的触觉锚点。在训练过程中触觉-觉察偏置基于“教师强制”teacher forcing机制下的目标触觉变化代理构建。在推理过程中首个去噪步骤不使用偏置而后续去噪步骤则使用先前预测出的触觉变化代理。这种做法既避免了在测试时使用不可获取的未来触觉标签又能利用预测的接触变化来引导动作生成。与动作-视界Action-Horizo​​n对齐的触觉表征针对每个演示片段触觉预处理过程会构建一个缓存用于存储与锚点anchor对齐的触觉特征、经清洗的触觉 Token、锚点元数据以及触控状态和触控变化的代理目标proxy targets。由左右视觉触觉传感器捕获的触觉图像帧会被输入到一个冻结参数的触觉表征模型中。在实验中该表征既可以采用 UniT 风格的连续触觉隐变量continuous tactile latents[16] 来实现也可以直接加载预计算并冻结的触觉特征。一个基于交叉注意机制的 Token 适配器cross-attention token adapter负责将对应于每个“锚点-传感器”对的块级patch-level触觉特征压缩为固定数量的紧凑型 Token。具体而言触觉特征首先被映射到模型维度随后可学习的槽位 Tokenslot tokens通过交叉注意力机制对这些特征进行查询并经由残差 MLP 处理最终生成 Q 个 Token。每个动作块action chunk包含 A 个触觉锚点而每个锚点包含 S 2 个触觉传感器。时间、锚点、传感器和槽位嵌入使得动作token能够根据动作预测时域读取未来的接触状态。实验设置在 ManiFeel 仿真基准 [11] 及相应的富含接触交互的真实机器人任务上评估 Tactile-WAM。将该方法与基于 π0.5 的通用动作策略基线以及基于 DreamZero 的纯 RGB WAM 基线进行了对比。图4展示用于评估的真实机器人实验装置。该平台由一台配备Tac-UMI式夹爪的xArm机器人构成。实验装置包含一个用于场景观测的外部RealSense L515相机以及一个安装在夹爪上的鱼眼/触觉传感模块用于局部接触观测。在数据采集方面Tac-UMI夹爪集成了夹持机构、鱼眼相机和Xsens模块。该真实机器人基准测试包含五项涉及丰富接触交互的操作任务销钉插入、螺母旋入、齿轮啮合、灯泡安装和电源插头插入。这些任务涵盖了常见的接触敏感型技能包括销孔对齐、螺纹装配、齿轮与固定装置对齐、灯泡安装以及插头与插座的插入。所有任务均要求在部分视觉可观测的条件下执行局部修正动作因为仅凭外部RGB观测信息难以推断出微小的对齐误差、接触状态转换及卡滞现象。在每次试验中机器人均从针对特定任务随机设定的初始位姿开始执行。若物体在允许的时间范围内按照相应的任务完成标准成功实现了插入、旋入、啮合或装配则该次试验被判定为成功。所有方法均采用相同的观测数据流、动作接口、任务固定装置及评估方案。