BEV模型训练好后一般都会先基于训练环境进行评测达到一定标准后才会部署到目标平台以下基于PETR V1官方模型的评测展开讲解基于 nuScenes 数据集或nuScenes 格式制作的数据集的各项 3D 检测评测指标。以下是PETR V1训练好后的模型验证结果要说明的是PETR、BEVFormer、BEVDet、DETR3D、FCOS3D 等所有基于 nuScenes 的相机 3D 检测模型评测工具、指标定义、计算公式、匹配规则 100% 一致mAP: 0.3778mATE: 0.7463mASE: 0.2718mAOE: 0.4883mAVE: 0.9062mAAE: 0.2123NDS: 0.4264Eval time: 242.1sPer-class results:Object Class AP ATE ASE AOE AVE AAEcar 0.556 0.555 0.153 0.091 0.917 0.216truck 0.330 0.805 0.218 0.119 0.859 0.250bus 0.412 0.789 0.205 0.162 2.067 0.337trailer 0.221 0.976 0.233 0.663 0.797 0.146construction_vehicle 0.094 1.096 0.493 1.145 0.190 0.349pedestrian 0.453 0.688 0.289 0.636 0.549 0.235motorcycle 0.368 0.690 0.256 0.622 1.417 0.149bicycle 0.341 0.609 0.270 0.812 0.455 0.017traffic_cone 0.531 0.582 0.320 nan nan nanbarrier 0.472 0.673 0.281 0.145 nan nan基于 nuScenes 数据集做 3D 检测评测整套指标分为两大类检测精度指标 AP/mAP衡量物体有没有检测出来、定位准不准误差类指标 ATE/ASE/AOE/AVE/AAE m 前缀均值衡量 3D 框尺寸、位置、角度、速度、加速度预测误差综合打分 NDSnuScenes 官方综合评价总分Eval time推理评测耗时。一、全局总指标释义 计算公式1. mAP 0.3778含义mean Average Precision各类别 AP 的算术平均值3D 目标检测核心检出精度指标。 nuScenes 3D AP 判定规则以 2D 中心距离阈值0.5m, 1m, 2m, 4m区分匹配满足阈值才算 True Positive。AP单类别下 PR 曲线下面积mAP所有类别 AP 取平均。计算公式2. mATE 0.7463Mean Average Translation Error 平均平移误差含义3D 框中心xy 平面定位误差单位米只对匹配成功的预测框计算mATE 是所有类别 ATE 的均值。 ATE 越大物体位置预测越偏。单类 ATE 计算对该类别所有匹配成功的预测 - 真值对全局本例全局平均定位偏移 0.7463m工程车 construction_vehicle ATE1.096m 定位最差。3. mASE 0.2718Mean Average Scale Error 平均尺寸误差含义3D 框长宽高尺寸预测相对误差无量纲衡量物体大小估得准不准。单类 ASE 公式数值越接近 0物体尺寸预测越精准工程车 ASE0.493 尺寸偏差最大。4. mAOE 0.4883Mean Average Orientation Error 平均朝向角度误差含义航向角 yaw 预测误差单位弧度只对有旋转的动态车辆生效。 traffic_cone、barrier 无朝向定义表格中为nan不计入该类 AOE 统计。trailer、工程车、自行车角度误差明显偏高。5. mAVE 0.9062Mean Average Velocity Error 平均速度误差含义速度矢量预测误差m/s仅动态运动物体锥桶、护栏无速度标注为nan。6. mAAE 0.2123Mean Average Acceleration Error 平均加速度误差含义加速度矢量误差m/s²运动物体时序预测指标锥桶 / 护栏为 nan。7. NDS 0.4264最重要综合指标nuScenes Detection ScorenuScenes 官方综合打分融合检测精度 所有几何 / 运动误差是业界横向对比模型的核心指标值域 [0,1]越高越好。标准计算公式maxErr 为各误差阈值ATE4m, ASE0.5, AOEπ, AVE2m/s, AAE4m/s²误差越大该项得分越低误差超过阈值则该项取 0mAP 权重最高5 份5 个误差项各 1 份总分除以 10 归一化到 0~1。官方 NDS0.4264代表模型综合检测 尺寸 / 位置 / 角度 / 速度预测综合水平。二、指标的计算方法展示2.1 mAP 的计算mAP 是10 个类别 AP 的算术平均2.2 mATE 的计算mATE 是所有类 ATE 的平均10 个类全有2.3 mASE 的计算mASE 是所有类 ASE 的平均10 类全有2.4 mAOE 的计算traffic_cone的 AOE 为nan无朝向真值计算时只平均有效的 9 个类2.5 mAVE 的计算traffic_cone与barrier的 AVE 为nan只平均有速度真值的8 个类2.6 mAAE 的计算属性真值同样缺失于traffic_cone和barrier也只平均8 个类2.7 NDS 的计算将上面得到的 mAP、mATE、mASE、mAOE、mAVE、mAAE 代入 NDS 公式