这项由斯坦福大学与康奈尔大学联合完成的研究于2026年6月24日发布论文编号为arXiv:2606.26428感兴趣的读者可以通过该编号查询完整原文。一、机器人手为什么这么笨拙人类的手是自然界最精妙的工具之一。一个熟练的工人可以把一根细螺丝钉准确拧入螺孔把一块精密零件插入仅比它大半毫米的卡槽——这种操作对人类来说不过是家常便饭但对机器人来说却是一道几乎无法跨越的高墙。多指机器人手类似人类五指的机械手在理论上拥有与人手媲美的灵活性然而现实却很骨感。教机器人做这类精密装配工作目前主流有两条路一是让人类手把手示范然后让机器人模仿二是让机器人自己在模拟环境里反复试错、自我学习也就是所谓的强化学习。这两条路各有各的难处。示范这条路的麻烦在于精密装配本身需要手指传回细腻的触感——螺丝钉有没有对准、卡口有没有咬合——但人类用遥控手套操控机器人时根本感觉不到这些细节就像你戴着厚棉手套去穿针引线几乎是不可能完成的任务。而自我试错这条路的问题则在于机器人必须先学会抓握、翻转、对准最后才能完成装配并获得成功的信号但从随机乱动到完成一次成功的装配这个探索过程极其漫长靠纯粹的运气去撞对计算成本高得离谱。正因如此以往的研究大多选择了曲线救国的方式——要么给机器人装上专门的夹爪两片夹板式的简单夹具让控制问题变简单要么在工作台上设计专用的固定夹具把零件限制在固定位置大幅降低对准难度。这些方法都管用但每换一个新零件就得重新设计一套新夹具或新夹爪根本谈不上通用性。斯坦福与康奈尔的研究团队提出了一个截然不同的思路在让机器人学习精密装配之前先让它玩耍。这个直觉其实来自人类自身的成长经历——孩子在学会写字之前先学会了握笔在学会下象棋之前先学会了移动棋子。玩耍本身不是目的但玩耍过程中积累的基本技能是之后掌握高难度动作的基础。他们把这套框架命名为**Play2Perfect**从玩耍到精通。二、玩耍究竟是什么意思在Play2Perfect的设定里玩耍并不是漫无目的的随机乱动而是一个经过精心设计的预训练阶段。研究团队让机器人在模拟环境里反复练习抓取各种形状各异的积木并把它们移动到随机指定的空间位置——这就是所谓的玩耍。这里有几个细节值得深入了解因为它们直接决定了玩耍的质量。首先是物体的多样性。研究团队设计了一套自动生成程序能随机产生各种长方体和圆柱体积木每块积木的长度、宽度、高度都不一样连重量分布也故意做得不均匀——有的积木一端附加了额外的配重就像一根头重脚轻的棍子。这种设计是有意为之的如果机器人只练习一种积木它很快就会学会专门针对这种积木的偷懒策略而无法形成真正通用的抓握能力。通过1000种不同的积木机器人被迫学会了一套不依赖特定形状的抓握和操控逻辑。其次是训练目标。机器人被要求把积木的位置和姿态都调整到目标状态而不仅仅是把积木搬到某个位置。这个区别至关重要——搬到某个位置只需要练习手臂的移动而调整到某个姿态则需要练习用手指在手心里翻转物体这正是精密装配中最关键的技能之一当你要把一个T形零件插入一个T形卡口时零件的朝向必须和卡口完全吻合差一点都不行。第三个关键设计是轨迹的多样性。每次玩耍的目标序列都是随机生成的而不是一遍遍重复同样的固定路径。第一个目标在整个工作台范围内随机出现第二个目标在第一个目标附近但带有大幅度的旋转变化如此循环。这就像练钢琴的音阶练习——不是把同一首曲子反复弹而是在各种调式、各种速度下练习手指的灵活性让技能真正活起来而不是僵化成肌肉记忆。第四个设计是目标精度的控制。当积木距离目标位置还差一厘米以内时机器人才算成功。听起来标准不算严苛但如果把这个标准放宽到五厘米甚至十厘米机器人就会学会一种更粗放的操控方式——反正差不多就算了根本不需要用手指做精细调整。而一厘米的精度要求迫使机器人真正学会了用指尖做微调而不是靠手臂大幅摆动来将就。在硬件层面整个系统使用的是一个22个自由度的五指机械手来自Sharpa公司加上一个7轴工业机械臂KUKA iiwa 14。训练完全在模拟器里进行使用NVIDIA的Isaac Sim用了24576个并行仿真环境同时跑在一块NVIDIA RTX A6000显卡上训练了整整七天。这相当于让几万个虚拟机器人同时练习把本来需要数年的经验压缩进一周。三、从玩耍到装配迁移的秘密玩了七天积木之后这个预训练的玩耍策略就被保存下来作为后续学习精密装配任务的起点。研究团队把这个起点比作一本技能手册——里面记录了机器人已经学会的抓握方式、翻转技巧和空间感知能力。接下来的装配训练则是另一套完全不同的节奏。这个阶段不再用积木而是用真实的装配零件根据CAD设计图在模拟器里精确重建而且只给一个极其稀疏的奖励信号零件成功装配到位就得分否则什么都没有。没有快到了的提示没有方向对了的鼓励就像一道只有最终答案的考试题。但这里有一个聪明的设计研究团队不是从零件的起始位置直接跳到最终装配位置而是根据CAD图纸把装配过程分解成几个中间里程碑。以插孔装配为例系统会自动生成一个预插入姿态——零件悬停在孔口正上方、对准孔口但尚未插入的状态——作为一个中间目标。对于螺丝拧入任务则沿螺纹路径每隔90度设置一个检查点。这些中间目标全部从CAD图纸里自动推导出来不需要人工设计只要有设计图纸系统就能自动建立训练环境。这个从已有装配成品出发、逆向推导出拆解步骤、再反转回来作为装配顺序的方法研究团队称之为拆卸即装配。其本质是任何能被人类设计出来的装配体都可以按照反物理直觉的方式一步步被拆开把这个拆解过程倒放就是装配过程。这个思路优雅地把CAD设计图直接变成了训练数据而无需任何人工标注。在实际部署时系统用一个叫做FoundationPose的视觉算法实时追踪零件的三维位置和朝向这个算法直接读取CAD模型来匹配摄像头里看到的实物60Hz的控制频率加上30Hz的视觉更新让整个控制循环保持流畅。四、关键对比不玩耍行不行研究团队设计了一系列严格的对照实验核心问题只有一个预训练的玩耍阶段到底有多重要他们设置了两个基准对照组。第一组是从零开始学装配只给最终成功的奖励——也就是完全没有预训练直接上阵。第二组更厉害同样从零开始但额外配备了精心设计的密集奖励——不仅装配成功有奖励靠近零件有奖励抓起零件有奖励沿着10个等距路径点一步步接近目标位置也有奖励。第二组的奖励设计代表了目前领域内最主流的解决思路几乎是为这个任务量身定做的作弊码。结果如何在四个装配任务T形零件插孔、梁结构两步装配、家具腿拧入螺孔上Play2Perfect在约2到5小时的训练后就达到了很高的成功率。与此同时无论是从零稀疏奖励还是从零密集奖励的对照组在整整24小时的训练之后成功率依然接近于零。这里有一个特别有说服力的对比实验。研究团队专门设计了一个简化版的T形插孔任务零件不是随机摆在桌面上而是提前用夹具固定在一个方便抓取的位置。在这个简化版上从零开始加密集奖励的方法终于能学会了——但需要整整100多小时的训练。而Play2Perfect在同样的简化版任务上只用了4小时快了33倍。更值得关注的是两种方法学到的策略质量。用密集奖励从零训练出来的机器人学会了一种偷懒的技巧它不真正用五根手指抓住零件而是用大拇指顶住零件底部把零件平衡在手上就像在手背上顶一本书走路。这种平衡技巧在没有外力干扰时看起来很有效但一旦施加10牛顿的侧向力相当于用手轻轻一推成功率立刻从高位跌到约20%力道再大一点就彻底失败。Play2Perfect的机器人则学会了用多根手指稳固地握住零件即使在最大的测试扰动力下成功率依然维持在75%以上。五、玩耍的四个秘诀研究团队并不满足于证明玩耍有用他们还系统地研究了玩耍的哪些方面最有用。这部分实验对于理解整个方法的本质非常关键。关于物体多样性实验对比了预训练时使用10种、100种、1000种积木的效果。从10种增加到100种效果有明显提升但从100种增加到1000种效果的进一步提升就相对有限了。这说明物体多样性确实重要但并不需要无限多——一定数量之后边际效益递减。100种积木已经足以捕获大部分需要学习的变化。关于训练目标对比了三种方案只要求平移把物体搬到指定位置不管朝向、只要求旋转把物体转到指定朝向不管位置、以及同时要求平移和旋转。结果显示只练习平移的预训练几乎没有迁移价值——机器人学会了用手臂搬运但完全没有学会用手指旋转物体而这种旋转能力对装配至关重要。只练习旋转的预训练效果相当不错但比同时练习两者略差原因在于实际装配需要在搬运过程中同时调整朝向纯旋转练习缺少了这种耦合训练。关于轨迹多样性对比了随机生成轨迹默认方案与固定10条轨迹、固定100条轨迹的效果。固定10条和固定100条轨迹的效果差不多都明显弱于随机轨迹。这说明关键不在于轨迹的数量而在于轨迹分布的覆盖广度——每次训练都遇到新的轨迹逼迫策略真正泛化而不是死记硬背固定路线。关于目标精度1厘米标准的效果明显好于5厘米5厘米又好于10厘米。10厘米精度的预训练几乎完全没有迁移价值原因很直白当目标允许差10厘米就算成功机器人根本不需要学精细操控随便挥舞手臂大概到位就行了这种粗放技能对精密装配毫无帮助。精度要求越高机器人在预训练阶段就越被迫开发用指尖做微调的能力而这恰恰是装配时最需要的技能。综合这四个维度研究团队得出了一个清晰的核心结论让预训练真正有价值的是它是否迫使机器人用手指来控制物体而不是仅仅用手臂来搬运物体。任何削弱这一点的设计选择——不管是降低精度要求、只练平移、还是用固定轨迹——都会显著降低预训练的迁移价值。六、真实世界的考验0.5毫米的间隙所有这些在模拟器里完成的训练最终要面对真实世界的检验。研究团队没有在真实机器人上做任何额外训练直接把模拟器里训练好的策略下载到实体机器人上用真实零件、真实摄像头、真实灯光做测试。T形插孔任务的测试设置了三种难度孔口比零件宽10毫米、2毫米和0.5毫米。10毫米的间隙对应的孔口是31毫米×21毫米零件是30毫米×20毫米——这已经是相当精密的配合想象一下用手把一块刚好能进去的积木插入一个几乎同样大小的孔洞。2毫米间隙更紧0.5毫米几乎是纸张厚度的5倍需要零件和孔口几乎完美对齐才能插入。结果10毫米间隙下10次尝试全部成功2毫米间隙下9/10成功0.5毫米间隙下6/10成功。完成时间随难度增加而延长——10毫米间隙平均6.8秒0.5毫米间隙平均11.1秒因为在更紧的间隙前机器人需要更长时间在孔口附近做局部搜索。梁结构装配需要两步完成第一步成功率8/10第二步7/10每步平均约7秒。家具腿拧入任务分两个阶段先插入定位7/10成功再旋转拧紧5/10成功整个过程平均约15.6秒。这些完成时间本身就很有说服力。一个训练有素的人工操作员完成类似的精密装配可能需要数分钟甚至更长时间在不熟悉的任务上。机器人在6到16秒内完成展示了多指机械手在速度上相对于人工操作的潜在优势。失败案例也很有参考价值。视觉追踪失效是主要故障来源当机器人快速移动时摄像头对零件位置的估计会滞后当手指遮挡了零件时追踪算法有时会迷失方向。在螺丝拧入任务中这个问题尤为突出因为矩形截面的零件每旋转90度看起来都差不多旋转对称性视觉算法容易判断错方向导致机器人向错误方向旋转。研究团队通过给每个侧面贴上不同颜色的胶带来缓解这个问题但在快速旋转时仍然不够完美。另一类失败来自现实与模拟的差异在模拟器里工作台固定不动施力时不会有任何位移但在真实实验台上固定夹具是用胶带粘在泡沫桌面上的出于安全考虑当机器人用力接触时夹具会轻微移动或变形而模拟器里从没出现过这种情况机器人的策略无法适应这种意外。七、只玩不练够不够研究团队还专门回答了另一个有趣问题如果只做预训练、不做装配特化微调能完成精密装配吗他们对比了两种策略在不同间隙的T形插孔任务上的表现。只玩耍策略在40毫米的宽松间隙下能达到75%的成功率这说明预训练的确学到了有用的抓握和定向技能。但随着间隙缩小它的成功率急速下滑到4毫米时接近于零。而Play2Perfect玩耍加微调在4毫米时依然有95%成功率1毫米时92%甚至在比训练时更紧的0.2毫米间隙下也保持了80%的成功率。在真实机器人上只玩耍策略在10毫米间隙下只有60%成功率2毫米间隙下跌到20%0.5毫米间隙下完全失败。从机器人的行为可以看出两种策略的本质区别。只玩耍的机器人在遇到孔口时倾向于直接向目标位置施力——因为它的训练任务就是把物体移动到目标位置接触和阻力在它眼里是干扰而非信号。而Play2Perfect的机器人学会了在孔口附近做小幅度的局部搜索动作当感知到孔口边缘时调整角度等到零件真正对准后才施加插入力。这种感知接触、利用接触的能力必须通过装配特化训练才能获得光靠在自由空间里玩积木是学不来的。---说到底Play2Perfect这套方法告诉了我们一件听起来有点绕但其实很直觉的事要让机器人学会做精密装配这道难题最好的切入点不是直接面对这道难题而是先让它系统性地练好基本功。而这个基本功练习的设计本身也有它的门道——不能太简单练出来的技能迁移不了不能太固定泛化不够不能太粗糙学到的精度不够更不能只练一半平移和旋转缺一不可。这项研究对普通人的意义可能在未来几年才会逐渐显现。当你下次拿到一件需要装配的家具或者当制造工厂里出现了能灵活处理各种新零件的装配机器人Play2Perfect这类框架很可能就是背后的技术基础之一。目前这套系统还只能完成单个装配步骤任务之间的衔接、工件的自动识别与选取都还需要外部系统来辅助。但从0.5毫米间隙的成功到多步骤装配的可靠完成这已经是多指机械手在精密装配领域迈出的一大步。感兴趣的读者可以通过arXiv编号2606.26428找到完整论文研究团队也在play2perfect.github.io公开了演示视频。---QAQ1Play2Perfect的玩耍预训练和普通的机器人强化学习训练有什么区别A普通强化学习通常直接针对目标任务设计奖励机器人从零开始学习完成该任务。Play2Perfect的玩耍预训练则完全不涉及装配任务而是让机器人练习抓取和操控各种形状不同的积木将其移动到随机指定的三维位置和姿态。这个过程积累了通用的抓握、手指翻转和精细控制能力之后面对全新的装配任务时机器人不需要从头摸索如何抓物体只需要在已有基础上学习装配特有的接触动作大幅缩短了学习时间。Q2Play2Perfect的机器人在真实世界装配0.5毫米间隙的零件时具体是怎么完成的A机器人通过视觉追踪算法实时感知零件的三维位置和朝向以60Hz的频率持续输出控制指令。在接近孔口时它不会直接猛插而是先在孔口附近做小范围的搜索动作利用零件与孔口边缘的接触反馈来调整对准角度等感知到对准状态后再施加插入力。这种行为来自装配微调训练阶段是机器人自主学会的策略而非人工编程的固定动作序列。Q3为什么Play2Perfect不直接用密集奖励从零训练而要多此一举地先玩耍再装配A实验结果表明即使配备了精心设计的密集奖励对靠近零件、抓起零件、沿路径前进等每个子动作都给奖励从零开始训练仍然需要超过100小时才能学会一个简化版任务而且学到的策略很脆弱——仅用手指顶住零件保持平衡稍有外力就失败。Play2Perfect用7天预训练加4小时微调解决了同样问题快了33倍而且学到的多指抓握策略在受到扰动时依然稳定。根本原因在于精密装配需要的技能链太长直接探索这条链极其困难预训练把前几个环节提前解决了。