摸麻将不碰倒牌、挤牙膏不挤歪这类需要“手感”的机器人操作任务最近因为李飞飞团队的工作被更多人看到了。过去我们熟悉的机器人抓取、搬运主要靠视觉定位哪个物体、然后执行规划好的轨迹但麻将、牙膏这类场景里物体表面摩擦、轻微形变、接触力变化都会让纯视觉方案失效。这次的关键词不是“看清”而是“摸到”。机器人需要从力觉和触觉信号里学习怎么控制力道这属于具身智能里更贴近真实操作的部分。这篇文章会拆解这类机器人精细触觉操作任务背后的技术逻辑从传感器选型、仿真环境搭建到控制策略怎么训练、怎么部署到真实机械臂上验证。我还会给出在这个方向做本地实验的通用环境准备、启动流程、功能测试方法和排错清单。无论你是做机器人导航、协作机械臂还是搞工业搬运、PLC 控制这套“以接触反馈为核心”的操作范式都能给你一些新的调试视角。文章里不会编造某个具体模型名或版本号涉及参数的地方会说明“常见配置”和“以自己实验为准”。1. 核心能力速览先把这个方向的能力边界摆出来。需要说明的是李飞飞团队这次工作展示的“摸麻将”“挤牙膏”属于研究性验证不是某个现成的一键启动软件包但它的技术框架可以由当前机器人操作领域的通用组件复现。能力项说明任务类型机器人精细操作、力控操作、触觉反馈控制典型场景麻将牌定位与轻推、牙膏管的可控挤压、小型物体插拔、表面划动感知方式视觉RGB-D 力觉/触觉关节力矩、末端六维力传感器、触觉阵列传感器学习范式强化学习 / 模仿学习 / 行为克隆最近该方法结合了视觉-语言模型先验硬件门槛机械臂UR、Franka、AUBO 等 力/触觉传感器 RGB-D 相机纯仿真实验可降到普通 GPU 电脑显存需求若使用视觉-语言模型或预训练特征8G 显存可以跑基础验证更大模型需按实际环境测试支持平台仿真MuJoCo、Isaac Lab、Gazebo 等 真实机器人ROS、ROS 2启动方式仿真环境命令启动真实机器人需下位机驱动 上位机控制服务是否支持 API可封装成 ROS 服务或 HTTP 接口用于批量实验和数据采集是否支持批量任务支持通过任务队列批量跑不同参数、不同场景、不同物体状态适合读者机器人操作算法研究、机械臂集成工程师、自动化产线调试人员这里要特别点明材料里说的“李飞飞教机器人摸麻将挤牙膏”核心不是某一个神奇网络结构而是让机器人把“接触过程中的力觉变化”当作训练信号再结合视觉输入做出连续动作。这意味着部署重点不只是模型而是整个“传感-控制-学习”闭环。2. 适用场景与使用边界2.1 适合谁用这个方向最适合三类人。第一类是做机器人操作算法研究的学生或研究员。如果你正在做机械臂抓取、插拔、装配过去只靠视觉定位现在可以加一路力觉/触觉输入对比不同控制策略在精细操作上的成功率。这项工作中的“摸麻将”“挤牙膏”本质上都是“视觉定位 接触后调整姿态”的任务很适合作为算法验证场景。第二类是工业机器人集成工程师。你可能在 ABB、埃夫特、法奥、协作机器人上调试过搬运、码垛但遇到需要控制接触力的工序比如电路板插接、轴承压装、阀门拧紧这里积累的力控和数据采集思路可以迁移到产线上。工业场景里末端加装六维力传感器并不罕见下一步是把你手调的下压力阈值改成更智能的“触觉-动作”映射。第三类是对具身智能感兴趣但还没有机器人硬件的人。你可以先从仿真环境开始在一台带 NVIDIA 显卡的电脑上跑 MuJoCo 或 Isaac Lab模拟机械臂接触麻将牌、挤压软管的物理过程。仿真结果不能完全等同于真实硬件但足够验证算法逻辑。2.2 解决什么问题徒手完成“摸麻将牌边缘”和“挤牙膏”这类动作人几乎不费脑但对机器人是三重挑战物体状态不确定。麻将牌摆放受摩擦力影响视觉可能被手指遮挡。接触力不可通过视觉直接获取。视觉只能看到表面位移看不到压力分布。动作序列需要连续调整。不是“走点-停止”而是“接触-感知-微调-再接触”。这个方向把上述挑战转化为一个可学习问题给定当前视觉和触觉观测输出机械臂末端下一时刻的期望位置和期望力。训练目标通常是让机器人学会在接触后主动“退让”或“微调”而不是僵硬地顶着物体运动。2.3 不适合什么场景如果任务是高速节拍下的简单抓取比如流水线上固定位置吸盘取放让机器人“摸来摸去”反而降低效率。这种情况继续用传统运动规划和视觉伺服就够了。另外如果没有力传感器只是靠电流环力矩估计做粗略力控那“摸麻将”这类需要精细力反馈的任务会非常难不建议从零开始强行复现。触觉感知需要硬件本身能感受到接触力这是前提。2.4 使用边界与合规提醒这里涉及两条必须强调的边界。第一仿真环境中的物理参数摩擦系数、软体形变与实际物体差距很大。即使仿真里能挤好牙膏真实场景也可能挤破牙膏管必须先在低速、低力矩模式下验证。第二当机器人需要接触人脸、人体或者他人财产时务必做好安全保护和授权。比如如果是模仿“摸”人的动作或者处理衣物、玩偶等个人物品必须确认不会造成伤害且不侵犯隐私和肖像权。任何把触觉操作迁移到人体交互、医疗按摩或者对非授权物品进行自动处理的应用都要严格遵守设备安全规范和相关法律要求。3. 环境准备与前置条件如果你要在自己电脑上跑一个最小化的“摸麻将/挤牙膏”实验环境需要按仿真和真实两部分准备。3.1 仿真环境的最低配置操作系统Ubuntu 20.04/22.04Windows 也可以但 ROS 工具链在 Linux 下更顺。GPUNVIDIA 显卡至少 4G 显存如果要用视觉-语言模型提取特征建议 8G 以上。内存16G 起步32G 更稳因为物理仿真加渲染同时跑。磁盘至少 50G 空闲空间用于安装仿真器、Python 环境和数据集。Python3.8 或 3.10看你选择的强化学习框架版本。仿真器MuJoCo、Isaac Lab基于 Isaac Sim或 Gazebo。MuJoCo 轻量适合快速验证算法Isaac Lab 物理精度更高但启动更重。3.2 真实机器人硬件准备真实环境硬件门槛变化很大这里给一个常见配置机械臂六轴协作机械臂最好支持外部力控接口。常见型号包括 UR 系列、Franka Emika Panda、AUBO 系列。如果没有外部力传感器也可以先用关节电流环估算力矩但精度会低很多。末端传感器六维力/力矩传感器是“挤牙膏”这类任务的关键。常见品牌有 ATI、坤维、宇立等采样率至少 100Hz越高越好。触觉阵列传感器可选如果希望获得接触点分布可以加装 Tactile Sensor 或自制的压阻阵列但成本会明显上升。相机RGB-D 相机如 RealSense D435、Orbbec Astra用来做物体定位和初始姿态估计。控制机一张能够运行 Python 控制代码的工控机或台式机最好带 NVIDIA 显卡用于后续视觉推理机械臂自身的控制柜负责底层的关节伺服。3.3 前置检查清单在开始安装前先按下面的清单检查环境避免后期踩坑系统里是否安装了 NVIDIA 驱动nvidia-smi能否正常输出CUDA 工具包是否和 PyTorch/Isaac Lab 版本匹配机械臂驱动是否可以从控制柜读取末端位姿和力矩真实机器人实验前是否设置了力控阈值和安全急停这些检查不满足时先解决硬件和驱动问题否则后续仿真与真实转换会很痛苦。不同版本之间差异很大不要盲目照抄博客里的安装命令去查对应版本文档。4. 安装部署与启动方式4.1 仿真项目目录结构一个最小可运行的“触觉操作”项目通常包含这些模块project/ ├── config/ # 仿真参数、物体参数、算法超参 ├── envs/ # 环境定义例如麻将牌环境、牙膏管环境 ├── sensors/ # 力/触觉传感器数据封装 ├── policies/ # 控制策略、强化学习或模仿学习代码 ├── scripts/ # 训练、评估、批量测试脚本 ├── datasets/ # 轨迹数据、演示数据 └── outputs/ # 日志、模型权重、评估结果4.2 安装 MuJoCo 仿真环境以 MuJoCo 为例安装步骤大致如下。注意版本要按你的操作系统和 Python 版本调整# 创建虚拟环境 python -m venv robot_touch_env source robot_touch_env/bin/activate # 安装 MuJoCo 和 mujoco_py也可以直接用 deepmind 的 mujoco 包 pip install mujoco # 安装强化学习工具库 pip install gymnasium pip install stable-baselines3这里只是给你一个最小化的安装模板。实际项目会要求安装额外的依赖比如 dm_control、robomimic、torch。建议把所有依赖写入requirements.txt用pip install -r requirements.txt统一安装。4.3 启动 ROS 2 力控节点真实机器人如果你有真实机械臂建议用 ROS 2 封装底层驱动和传感器数据。启动流程通常分三块启动机械臂驱动节点读取关节状态。启动力传感器驱动节点发布WrenchStamped消息。启动相机驱动节点发布 RGB-D 图像。启动你的控制策略节点订阅视觉和力觉话题发布末端目标位姿。一个典型的命令行启动模板# 1. 启动机械臂驱动 ros2 launch my_arm_driver robot.launch.py # 2. 启动力传感器驱动 ros2 launch my_fts_driver fts_node.launch.py # 3. 启动 RGB-D 相机驱动 ros2 launch realsense2_camera rs_launch.py # 4. 启动上层触觉操作策略 ros2 run tactile_policy tactile_policy_node.py当你看到机械臂能够稳定发布位姿和力矩数据再进入策略训练或部署阶段。4.4 启动训练脚本仿真环境安装完成后可以通过以下命令启动一个最简单的强化学习训练python scripts/train.py \ --env mahjong_touch_v0 \ --algo ppo \ --total_timesteps 100000 \ --seed 42 \ --save_dir ./outputs/mahjong_ppo如果你的环境是“挤牙膏”就把--env换成对应的toothpaste_squeeze_v0。训练开始后日志里应能看到每个回合的平均奖励、成功率等指标。第一次训练不需要追求收敛只要环境能正常 resetagent 能接收视觉和力觉观测说明部署基本通了。4.5 启动参数校验启动后建议立刻校验三件事环境是否初始化成功终端没有报错并输出了观测空间的维度。力传感器是否产生读数变化轻轻在仿真中推动物体观察力/力矩数据是否变化。相机是否拍到目标物体保存一帧 RGB 图像和深度图确认视角正确。如果这三项有一项不对继续训练只会浪费时间。5. 功能测试与效果验证这一部分我们会把“摸麻将”和“挤牙膏”拆成具体的测试用例并给出判断标准。你也可以把方法迁移到其他精细操作任务上。5.1 测试任务一麻将牌摸推测试目的验证机器人能否在接触麻将牌表面后通过力觉反馈调整推力方向使牌被推移但不翻倒。输入条件麻将牌平放在桌面上随机旋转一个小角度。机械臂末端安装力传感器视觉系统输出牌的粗略位置和朝向。初始策略仅依靠视觉到达牌边缘上方然后缓慢下压并水平推进。操作步骤机械臂移动到牌边缘上方 1 cm 处。以恒定速度向下运动直到力传感器 Z 轴读数超过阈值比如 3N。记录此时末端位置作为“接触点”。沿 X 轴以 0.02 m/s 速度推进。实时监测 Y 轴力矩如果力矩超过预设范围立即修正末端朝向。预期结果麻将牌移动距离超过 2 cm且没有翻倒。接触过程中力反馈曲线平滑没有突变。末端位置修正次数少于 3 次。判断是否成功连续执行 20 次成功率达到 80% 以上即可认为该策略在仿真中稳定。常见失败原因麻将牌材质摩擦系数设置不对导致接触后打滑。力控增益过大产生振荡。视觉估计不准末端先碰倒牌而不是摸到牌。5.2 测试任务二挤牙膏测试目的验证机器人能否稳定地对软管施加压力并控制挤出量不挤爆、不挤歪。输入条件一支未开封的软管牙膏水平放置管口朝前。机械臂末端安装平板夹爪夹持牙膏管尾部。视觉系统确定牙膏管位置。操作步骤机械臂移动到牙膏管尾部上方缓慢下爪。夹爪夹持力维持在力控模式目标力设置为 5N。沿牙膏管轴向移动夹爪模拟从尾部向前挤压的动作。每步挤压后视觉检测管口挤出膏体长度。预期结果挤出膏体长度在 1~3 cm 之间没有爆管。夹持力波动范围不超过目标力的 20%。整个挤压过程在 5 秒内完成机械臂没有过冲。判断是否成功统计 10 次挤压合格率 90% 以上。同时对比不同力阈值下挤出量的变化分析力控的稳定性。常见失败原因软管材质在仿真中被建模为刚体导致挤压行为失真。力控频率太低夹爪已经挤爆了才检测到力矩突变。牙膏管位置固定不牢被夹爪推着滑动。5.3 多任务泛化测试真实世界中我们不可能为每个物体单独训练一个策略。因此还要测试模型的泛化能力换成不同颜色、不同尺寸的麻将牌。牙膏管表面贴上标签纸改变其摩擦特性。改变桌面倾角让重力方向发生变化。如果策略在仿真中不能泛化说明它过度依赖于视觉特征或位置记忆。一个更稳的方案是输入视觉特征和力觉特征策略只学习“当前接触状态下的下一步动作”而不是直接输出绝对坐标。这也是当前具身操作领域比较主流的设计思路。6. 接口 API 与批量任务在工程化时你不会只跑一个单次实验。你需要让机器人控制系统暴露接口让数据采集和批量验证可以自动化。6.1 将控制策略封装为 ROS 服务如果使用 ROS 2可以把推理节点封装成 service 或 action。推荐用 action因为动作执行有持续时间并且可以反馈进度和结果ros2 action send_goal /touch_control robot_actions/TouchControl task: squeeze_toothpaste这里TouchControl.action里至少包含task、target_position、target_force等字段。服务端收到目标后结合当前视觉和力觉数据执行控制并返回是否成功。6.2 HTTP API 示例如果你希望把机器人的操作能力接入上层业务系统比如工厂 MES 或自动化任务队列可以增加一个 HTTP 网关。下面是一个通用 Python 接口服务模板实际路径和参数需要根据你的项目调整# serve.py from flask import Flask, request, jsonify import subprocess app Flask(__name__) app.route(/api/robot/task, methods[POST]) def run_task(): data request.get_json() task data.get(task, push_mahjong) params data.get(params, {}) # 这里将任务参数写入临时配置文件然后启动对应的 ROS 2 action try: result subprocess.run( [ros2, action, send_goal, /touch_control, robot_actions/TouchControl, ftask: {task}], capture_outputTrue, textTrue, timeout60 ) return jsonify({ status: success, stdout: result.stdout, stderr: result.stderr }) except subprocess.TimeoutExpired: return jsonify({ status: timeout }), 504 if __name__ __main__: app.run(host0.0.0.0, port5000)调用示例curl -X POST http://127.0.0.1:5000/api/robot/task \ -H Content-Type: application/json \ -d {task: push_mahjong, params: {force: 3.0}}注意真实项目中不应该用subprocess直接调 ROS 2 action这会引入大量环境变量和并发问题。更稳的做法是在你的策略节点里直接维护一个任务队列HTTP 服务只把任务塞进队列。上面的示例仅演示调用方式。6.3 批量实验队列设计精细操作任务非常依赖批量实验来获得统计意义。一个典型批量任务队列可以这样组织{ tasks: [ { name: push_mahjong, episodes: 20, force_range: [2.0, 4.0], random_seed: [0, 1, 2, 3] }, { name: squeeze_toothpaste, episodes: 10, target_force: 5.0, repeat: 3 } ], output_dir: ./outputs/batch_20250218 }批量运行脚本流程读取任务配置文件。对每个任务启动一次仿真环境。每次实验记录轨迹、力传感器曲线、视觉图像、成功标志。实验结果统一输出到output_dir下按任务名和时间戳分目录。最后汇总为 CSV 或 JSON 指标文件。在真实机器人上批量实验前建议每次都执行“回零-检查安全-低速模式”的预检流程。如果某个任务连续失败应自动暂停队列并发出告警而不是继续跑完所有任务。7. 资源占用与性能观察这类触觉操作系统的资源占用比纯视觉抓取要更高一些。它不是单纯“多一个传感器”而是多了一条持续反馈回路。7.1 观察哪些指标力觉采样频率比如 100Hz代表控制循环每 10ms 就要读一次力数据。控制循环延迟从传感器读数到电机指令更新的时间最好在 20ms 以内。视觉推理延迟如果使用深度神经网络做目标检测单帧推理时间会直接影响能否实时调整。GPU 显存和算力视觉模型、RL 策略、物理仿真会同时占资源。CPU 占用仿真器物理引擎以及 ROS 通信节点都会消耗 CPU。7.2 仿真和真实场景的差异仿真中 MuJoCo 只需要 CPU 即可运行但如果同时使用真实相机渲染、NAS 或视觉特征提取则 GPU 占用会明显上升。如果发现仿真卡顿优先降低渲染分辨率减少物体面片数。真实机器人场景中机械臂底层伺服频率通常为 500Hz~1000Hz但你上层策略不必每个周期都推理。常见做法是底层力控以高频运行上层策略以 10~30Hz 输出目标力或目标位置。这样既能保证力反馈的实时性又能减少视觉模型带来的延迟。7.3 降低资源占用的措施力传感器数据直接走实时内核或 RT-Thread 等硬实时通道不要经过大量 Python 线程。视觉模型裁剪输入尺寸从 640×480 降到 320×240可以明显降低推理耗时。用固定帧率相机而不是每帧都触发策略。批量实验时在一个 Python 进程内顺序执行多个 episode避免反复创建仿真环境。关闭不必要的 ROS 日志输出日志写到本地文件而不是全部打印到终端。如果实验中发现力控延迟超过 50ms机械臂基本无法完成“摸牌不可倒”这种任务。先查传感器驱动是否有阻塞再查视觉推理是否占用了主线程。8. 常见问题与排查方法问题现象可能原因排查方式解决方案仿真环境卡顿渲染分辨率过高物理步长过小查看 CPU/GPU 占用降低渲染质量降低相机分辨率增大物理步长力传感器读数为 0传感器驱动未启动或话题名错误检查ros2 topic list和传感器日志正确启动驱动节点核对话题名机械臂接触物体后振荡力控增益过高控制频率太低观察末端位姿和力曲线降低增益提高控制频率麻将牌被推飞接触点位置误差大推力方向不对记录视觉估计的牌位和真实位置增加视觉校准或加一个预接触定位动作挤牙膏时爆管夹爪力控不生效目标力过大检查夹爪是否处于力控模式读取实时力矩设置软件限位和最大力矩先低速测试强化学习训练不收敛奖励函数设计不合理观测缺少力觉检查 episode reward 曲线和观测空间增加接触惩罚或加入力觉特征ROS 2 action 调用超时控制任务时间过长或服务端阻塞查看 action server 日志增加超时时间或者把长任务拆成多个短任务批量任务中途崩溃某个随机种子下环境状态异常查看崩溃前的 episode 日志增加环境 reset 的异常捕获跳过异常 seed真实机器人突然撞桌面视觉深度错误力控阈值未生效查看深度图和力矩监控在运动前做碰撞检测并激活力矩限制这里面的解决方案都是方向性的。实际项目中需要结合你使用的机械臂、传感器和仿真器版本去官方文档里找精确参数。第一次遇到问题时不要急着改算法先把数据录下来。力曲线、位姿曲线、图像帧这三条信息能解决 80% 的调试问题。9. 最佳实践与使用建议9.1 从仿真到真实分成四个阶段直接上真实机器人做“摸麻将”几乎必翻车。建议按下面节奏推进仿真验证算法逻辑只看成功率曲线不在乎绝对数值。仿真加传感器噪声给力传感器施加高斯噪声模拟真实不确定性。真实机器人低速开环测试不执行学习策略只验证底层力控接口。真实机器人闭环部署打开视觉和力觉策略全程有人监控急停。每个阶段都要保留一份可复现配置记录版本号和随机种子。触觉类任务对物理细节非常敏感换一个传感器型号或换一批麻将牌结果可能完全不同。9.2 数据管理习惯精细操作项目会产生大量力觉轨迹、深度图和训练权重。建议每个任务一个目录目录名包含任务名、日期、传感器型号。CSV 日志至少记录时间戳、末端位置、力/力矩、成功标志。训练权重和使用的数据集版本绑定防止“模型只记得旧牌型”。批量实验结果统一记录失败原因而不是只留下成功样本。9.3 安全永远是第一位真实机器人上做力控实验必须明确以下几点机器人工作区设置物理围栏或安全光栅。所有运动指令都经过力控安全层超过最大力矩立即停止。实验前清理桌面确保不会夹到线缆或人体部位。如果涉及模仿人体动作或者处理个人物品必须获得明确授权并注意隐私保护。触觉数据比视觉更敏感因为它直接反映了物理接触过程存储和处理都应符合隐私规范。10. 总结与下一步李飞飞团队的“摸麻将”“挤牙膏”实验可贵之处不是机器人完成了某个特定动作而是展示了“触觉引导操作”这条技术路径的可行性。它把我们从“通过视觉猜物体状态”推进到了“通过接触感受物体状态”这对装配、插拔、软体操作等工业场景有直接参考价值。如果你准备在这个方向试水我建议先做两件事第一在 MuJoCo 里搭一个简单的力控环境让虚拟机械臂接触一个盒子尝试控制接触力稳定在 2N同时记录不同增益下的力曲线第二给自己常用机械臂写一个末端力矩限制节点确保任意指令都不会超过安全阈值。这两件事不涉及复杂算法但能帮你建立对“手感”最基本的感知。接下来你可以继续探索把视觉语言模型的先验引入触觉操作让机器人根据用户口令“轻一点”“慢一点”自动调整力控参数或者把单臂操作扩展为双臂协同模拟人两只手配合挤牙膏的方式。这些方向的核心仍然是“接触反馈”和“阻抗控制”只要基础打得稳扩展并不难。这篇文章适合收藏后跟着动手。触觉操作的门槛比纯视觉抓取高一点但一旦跑通你会明显感受到机器人从“盲操作”到“有手感”的差别。下一步可以尝试加入自己的传感器型号记录不同材质物体的力反馈数据并试试用批量测试来验证策略稳定性。祝你的机器人早日摸清麻将、挤得一手好牙膏。