机器人抓取总是偏那么几个毫米调模型、换网络、调参数结果还是偏。这个现象我在视觉引导抓料、上下料、分拣项目里见过很多次。测试到最后发现九成以上不是模型的问题是手眼标定不到位。手眼标定英文是 Hand-Eye Calibration解决的是一个坐标系换算问题相机看到的目标坐标和机器人实际执行动作用的坐标不在同一个坐标系里必须靠一个变换矩阵把它们关联起来。这个矩阵不准确视觉模型就算识别得再准机器人抓取位置照样会偏。如果你正在做视觉抓取、机械臂装配、机器人分拣或者刚接触机器视觉和机械臂联调下面这些排查思路会比直接调模型更值钱。最值得先看的不是标定算法本身而是怎么判断偏移到底来自模型还是标定。只要判断方向错了后面所有优化都可能白做。这里先给一个核心判断偏移是“系统性偏差”还是“随机抖动”决定了你该去调模型还是去重做标定。1. 先判断偏移现象系统性偏差还是随机抖动1.1 系统性偏差的特征系统性偏差最典型的特征是“有规律”偏离方向固定、偏离距离接近换个位置可能方向和大小有变化但在同一位置重复测试时结果稳定。比如机械臂每次从同一个位置抓同一个物体都往 X 正方向偏 3 毫米或者物体放在视野左侧时偏左下放在右侧时偏右下。这种可复现的偏差基本可以排除“模型识别结果不稳定”要把重点放在坐标系变换和标定矩阵上。常见原因包括标定矩阵本身有问题来自不准确的数据或错误的参数设置。相机安装支架在设备运行中发生轻微移位。机器人工具坐标系TCP校准不准确导致末端执行器实际位置与理论位置不一致。视觉系统和机器人使用的坐标单位不一致比如把毫米当成米。在实测中我一般会先在机器人工作范围内的几个固定点位做重复测试记录偏差的方向和大小。如果偏差方向一致我通常不会先去动模型而是先查标定。1.2 随机抖动的特征随机抖动表现为“没有规律”同一位置抓取第一次偏左上第二次偏右下第三次可能又偏回某个位置。偏差方向和大小的分布看起来不稳定。这种情况下主因可能是相机采集时机不一致物体刚到位就拍照或者平台还在抖动。机械臂运动速度过快到位后没有完全稳定就执行抓取。物体本身在台面上有微小移动或者吸盘与物体接触时的挤压导致位置变化。机器人本体的重复定位精度不足尤其是一些低成本的机械臂。遇到随机抖动更合适的做法是优先排查机械稳定性、时序和硬件公差。这个时候如果盲目重做手眼标定往往效果不大因为标定解决的是“固定偏移”解决不了“每次都不一样”的随机偏差。1.3 用简单测试区分两种偏移具体操作在工作区域内放一个固定不动的测试物体机器人连续抓取 10 次每次记录实际抓取点与理论点的偏差。如果偏差方向一致大小接近就是系统性偏差。 如果偏差方向乱大小也不固定就是随机抖动。还可以再加一步用相机连续采集同一位姿 20 次看视觉输出的坐标波动。如果视觉输出本身波动很大说明识别或成像不稳定如果视觉输出稳定但机器人抓取偏差还是随机变化问题更多在机器人执行端或硬件状态。这样区分之后再去决定是重做标定、检查模型还是检查机械结构方向就会清楚很多。2. 手眼标定的核心眼在手外与眼在手上2.1 眼在手外Eye-to-Hand相机固定在机器人外部通常安装在支架上相机能看到机器人工作区域和一部分环境。这种结构要解决的问题是相机坐标系和机器人基坐标系之间的变换关系。物体在相机坐标系里有一个坐标机器人要根据这个坐标走到对应位置必须先把物体坐标转换到机器人基坐标系里。转换矩阵来自手眼标定。眼在手外的优点相机不跟着机械臂动视野相对稳定成像时受机械臂运动影响小。缺点机械臂在工作中可能会遮挡视野有时需要把安装位置抬高或者偏置。这种方案在固定工位、固定视野的上下料和分拣场景里比较常见。优点是标定流程相对简单缺点是如果需要看不同角度或者被机器人本体挡住就需要调整相机位置。2.2 眼在手上Eye-in-Hand相机安装在机械臂末端随机械臂运动。这种结构下标定要解决的是相机坐标系与机器人末端坐标系之间的关系。眼在手上的优点相机可以靠近目标视野范围可以跟随机械臂改变不容易被遮挡。缺点相机姿态会变化每次移动到不同角度时成像条件不同标定难度稍高一些而且末端和相机的连接如果有松动标定很快失效。很多 3D 相机抓取项目会采用眼在手上的方式因为它能避开固定相机被机器人本体遮挡的问题。但不是所有场景都适合具体选择要看工位空间、物体大小和节拍要求。2.3 为什么标定精度直接影响抓取结果视觉模型输出的是物体在图像或相机坐标下的位姿。机器人收到这个位姿后会经过一系列坐标变换变成机器人各轴的关节角度。变换链路上任何一个矩阵不准确都会在末端位置体现为偏差。有一个容易踩的坑模型检测框非常准识别分数高但是标定矩阵里的旋转分量偏了一点点可能表现在远处位置偏几毫米近处位置偏得更明显。这种问题在视觉联调时很难发现因为只在某些区域抓取时才会暴露。我见过一个项目视觉框看起来准机器人抓取时总在工位下半部分偏 5 毫米以上。排查到最后发现是手眼标定数据中标定板姿态覆盖不够导致矩阵旋转分量解算不稳定。重新采了一组包含不同高度和倾斜角度的数据后偏差降到 1 毫米以内。这说明标定矩阵的“准”不是单纯靠算法解决的问题很大程度上依赖数据采集的质量。3. 什么时候该怀疑模型什么时候该查手眼标定3.1 模型问题常见的表现模型识别不准通常表现为检测框偏移比如物体明明在中间框却偏左上或右下。同一物体在不同角度、不同光照下置信度波动大。分割掩码不完整边缘残缺位姿输出抖动。对相似物体误检把背景或相邻物体也框进来。如果问题属于这一类重做手眼标定没有帮助应该先去优化数据集、模型结构、损失函数或后处理策略。3.2 标定问题常见的表现标定问题通常表现为视觉检测结果看起来是对的框很准但机器人实际到达点总偏离固定方向。相机分辨率或内参变化之后抓取开始偏。相机拆装过、支架重新固定过、机械臂更换过之后偏移突然出现。机器人末端工具更换后偏移方向发生变化。这些现象很容易被当成“模型不够好”。实际上图像理解完全正确只是从图像坐标到机器人坐标的变换矩阵已经和当前物理结构不匹配。下面的表格可以帮助快速区分表现更可能的问题方向检测框偏移模型识别同一物体置信度波动大模型识别检测框准确但机器人抓偏手眼标定或TCP相机拆装后开始偏手眼标定偏差方向固定手眼标定或工具坐标系偏差方向随机机械、时序、识别不稳定3.3 快速判断流程我建议按以下顺序判断第一步看视觉输出。把相机识别到的物体框、关键点或位姿直接叠加到图像上确认视觉结果是否在正确位置。如果视觉结果本身就偏先去调模型。第二步做单点验证。在机器人视野范围内固定一个点视觉识别该点坐标控制机器人移动到对应坐标测量实际到达点与目标点的偏差。第三步把所有偏移记录在一个表格里观察规律。如果偏差方向一致基本可以锁定标定矩阵或坐标系问题。这个流程最好在项目初期就做一遍不要等到整机联调时才发现抓偏。前期的 10 分钟验证往往能省下后面几个小时的无效调参。4. 标定实操流程从数据采集到矩阵验证4.1 准备标定板和标定点做手眼标定通常需要一块标定板。小视场固定相机常用棋盘格或圆点标定板大视场和 3D 相机项目可以使用带有特征点的标定板或者高精度标定块。标定板本身要平整不能弯曲、污损、反光。特别是圆点标定板如果打印不平整后续角点提取会有亚像素级误差最终标定矩阵会带偏差。标定板的物理尺寸必须准确测量并在标定程序里正确设置。这一步看着简单实际出错率很高。我也犯过这个问题棋盘格标定板实际边长是 30 毫米程序里填成了 25 毫米标完点后表面上看误差很小实际抓取就偏了几个毫米。4.2 数据采集要点标定数据采集是整个流程里最影响结果的一步。采集时要注意以下要点标定板要覆盖整个工作区域。不能只放在相机视野中间要在左上、右上、左下、右下、中央各放几组。姿态要有变化。包括平移、旋转、倾斜不要把所有标定板都放成同一个正视角度。数量要充足。固定式相机建议至少 10 到 15 组眼在手上建议 15 到 20 组。实际项目中我一般会采集 20 组以上后面再剔除异常数据。每组数据要同时记录机器人末端位姿和相机看到的标定板位姿。时间上要非常接近避免机器人或者标定板在采集过程中移动。排除异常数据。如果在采集过程中机械臂碰撞、标定板滑动、相机曝光异常这组数据应该直接删除不要混进标定计算。数据采集时我习惯把每一组数据单独保存成文件包含机器人位姿、相机位姿、标定板ID和时间戳。这样后续计算时便于回溯。注意如果采集过程中标定板移动、机器人碰撞或者相机曝光异常这组数据要及时删除不要混进标定计算否则会影响整个矩阵。4.3 标定计算计算手眼标定矩阵的常见工具和库包括OpenCV 的 calibrateHandEye 函数适合做眼在手上和固定相机的手眼标定。Halcon 的 hand_eye_calibration 相关算子适合工业视觉项目。ROS 的 easy_handeye 工具包适合基于 ROS 的机器人系统进行自动化标定。一些厂家自己的标定工具比如相机厂家、机械臂厂家提供的向导式标定程序。以 OpenCV 为例输入通常是两组位姿序列一组是机器人末端法兰在基坐标系下的位姿一组是相机检测到的标定板在相机坐标系下的位姿。函数会输出相机到机器人基座眼在手外或相机到机器人末端眼在手上的变换矩阵。这里需要特别注意的是不同工具默认的旋转表示、坐标顺序、手性可能不同。同样一组数据按欧拉角顺序 XYZ 和 ZYX 解出来的矩阵会不一样。使用工具前要确认输入格式。如果项目里没有现成标定程序可以把流程整理成脚本代码结构大致如下示例实际参数要以你的数据和工具为准# 假设你已经准备好了 robot_poses 和 camera_poses # robot_to_camera calibrateHandEye(...) # 这里不展开具体实现重点是理解输入输出含义这段代码我故意没有写完整的函数调用因为不同版本和不同坐标系定义下入参差异很大。真正落地时先用一个已知数据验证输出矩阵是否正确再应用到机器人上。4.4 验证方式和判断标准标定完成后不能只看重投影误差必须做实际抓取验证。因为重投影误差描述的是“标定板角点在图像上有多准”和“机器人实际能不能抓准”是两回事。验证方式在机器人工作区域内选 5 到 10 个点。让相机识别这些点机器人移动到对应位置。记录实际到达点与目标点的偏差。判断标准取决于项目公差。普通视觉分拣项目如果整体偏差能控制在 ±1 毫米以内通常可以接受。高精度装配或精密涂胶项目可能需要 ±0.5 毫米甚至更严。注意判断时要在整个工作区域范围内都验证不能只在工作区域中心点验证。矩阵在视野中心可能看着准在边缘可能明显偏。如果边缘偏差过大优先检查标定数据是否覆盖了边缘区域。5. 标定常见的坑和排查顺序5.1 标定数据不足或姿态覆盖不够这个问题在初次做手眼标定时很常见尤其是没有标定经验的人往往只拍五六张正面图就开始计算。标定数据不足或者姿态覆盖不够矩阵就会在某个方向上解算不准。比如眼在手外的固定相机如果标定板始终以同一个高度、同样的倾斜角度拍摄矩阵中的 Z 方向分量就不可靠。实际抓取时物体高度稍微变化偏移就会明显。解决方式采集时标定板要保持多个高度、多个角度。可以让机械臂夹持标定板在不同高度和姿态下拍摄也可以手动摆放标定板但要多摆几个角度位姿。5.2 参数设置和坐标约定错误标定过程中涉及大量参数任何一个