触觉也有“通用基础”模型了——跨21种传感器目录01 FTP-1三层核心架构设计MTTS标准化触觉Token空间三类轻量化异构编码器独立触觉Transformer专家02 3000小时大规模混合预训练数据集FTP-1-Dataset03 多机构分布式实测看懂数据与真实边界预训练覆盖传感器平均提升17.2%未参与预训练陌生传感器泛化增益31.6%04 触觉赛道全新技术路线触觉感知是机器人精细操作的核心但触觉算法长期被硬件绑定。由清华、上交、伯克利等多所顶尖高校联合Sharpa推出FTP-1是业内首个可跨传感器、跨机械本体的通用触觉基础策略。依托统一触觉表征、异构编码器与独立触觉专家三大创新基于3000小时混合触觉数据完成预训练经5家机构分布式实测实现全新触觉设备零起点高效微调补齐通用机器人模型在触觉赛道的空白。01 FTP-1三层核心架构设计FTP-1 通过MTTSMorphology-Aware Tactile Token Space标准化触觉Token空间把所有触觉信号转化为统一功能表征搭配独立触觉Transformer让不同硬件共享通用操作知识相当于给触觉领域建立一套通用“交互语言”。▲FTP-1 整体核心成果概览图整套模型输入语言、视觉、本体、触觉多模态信息输出长时序动作块核心三层创新无需复杂公式即可理解。▲FTP-1 整体架构总览图MTTS标准化触觉Token空间行业首个统一触觉分区体系固定24个功能插槽0-14对应手指、手掌触觉区域15-20存储腕部力矩剩余预留拓展。所有硬件按机械结构映射至对应插槽叠加全局共享区域嵌入。▲MTTS 触觉功能分区定义图如光学指尖与阵列夹爪的夹持区域统一映射至0、1号Token模型可识别二者同为指尖夹持天然打通跨硬件特征壁垒新硬件仅需完成结构映射即可接入预训练权重。三类轻量化异构编码器适配图像、阵列、力矩三类主流触觉信号统一输出MTTS标准Token光学图像触觉用轻量化ViT共享T3编码器压力阵列依靠CNN提取空间分布六维力矩采用傅里叶编码浅层MLP。同类传感器复用编码器参数大幅降低微调参数量。独立触觉Transformer专家区别于触觉嵌入视觉主干的方案FTP-1采用多专家解耦架构视觉、触觉、动作Transformer完全独立仅动作层交叉融合。优势清晰微调新传感器不会破坏视觉预训练知识300M专用网络专攻力控、形变等触觉规律陌生硬件微调仅重训专属编码器触觉专家权重完整复用。配套UAS统一动作空间兼容灵巧手、平行夹爪等多种执行器。02 3000小时大规模混合预训练数据集FTP-1-Dataset数据集整合26套数据源、覆盖21类触觉传感器总时长3000小时重采样平衡配比20%人类演示、30%灵巧手机器人数据、50%工业夹爪数据全部通过MTTS标准化处理。▲FTP-1 预训练数据集总览图团队自研Sharpa North子数据集补充4000条长时序双手机械操作样本填补柔性物体、精密装配等长尾触觉场景空白为通用触觉先验提供数据底座。03 多机构分布式实测看懂数据与真实边界实验分为见过传感器、全新陌生传感器两组5家独立机构盲测规避实验室环境偏差客观看待指标实际局限。预训练覆盖传感器平均提升17.2%测试包含仿真UniVTAC、Sharpa灵巧手覆盖插孔、拧瓶盖、擦拭等14项接触任务对比纯视觉π0.5、Tactile-VLA、无预训练FTP骨架三组基线。▲UniVTAC 仿真基准任务成功率表FTP-1平均成功率62.5%相较无触觉预训练模型提升17.2%。浅层融合Tactile-VLA加入触觉后性能反而下滑证明触觉单独分支的必要性。▲已见过传感器真实机器人实验结果表局限该涨幅建立在单任务百条微调样本基础上数据量不足时提升幅度会明显收缩。▲预训练已知传感器微调实验硬件与任务概览图未参与预训练陌生传感器泛化增益31.6%采用Flexiv Xense、Contactile两套全新触觉硬件微调仅初始化专属编码器复用全部预训练触觉模块。基线FTP-π0.5均值仅15%FTP-1达到46.6%涨幅超31%。实操差异显著装配错位时FTP-1依靠通用触觉先验减速微调其余基线刚性推进直接卡件。▲未见过触觉传感器真实机器人测试表局限31%为理想实验室数据真实多变材质、复杂光照工况下增益回落至15%-20%但已是现有模型无法达到的跨硬件能力。▲预训练传感器与陌生测试传感器匹配对照图04 触觉赛道全新技术路线当前机器人模型分为三类FTP-1开辟“原生通用触觉基础策略”细分赛道▲NTP 对照组与 FTP-1 性能对比图纯视觉VLAπ0.5等部署简单但无力控能力无法用于工业装配传感器专属触觉模型同硬件效果稳定但硬件锁死规模化部署成本极高浅层视觉触觉融合改造轻量化但无统一表征跨传感器泛化基本失效FTP-1统一触觉语义、独立触觉主干一套权重适配全品类触觉设备。Ref论文标题FTP-1: A Generalist Foundation Tactile Policy Across Tactile Sensors项目开源地址https://ftp1-policy.github.io/论文链接https://arxiv.org/abs/2606.13102