如何正确衡量地理定位模型University1652-Baseline的R1与AP指标详解【免费下载链接】University1652-BaselineACM Multimedia2020 University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization :helicopter: annotates 1652 buildings in 72 universities around the world.项目地址: https://gitcode.com/gh_mirrors/un/University1652-BaselineUniversity1652-Baseline 是无人机地理定位基准数据集 University-1652ACM MM 2020的官方开源基线覆盖无人机、卫星、街景三视角的跨视角图像检索。本文面向新手详解地理定位模型评测中的两大核心指标——Recall1R1与平均精度 AP 的含义、计算方式和结果读法帮你正确衡量自己的检索模型。 什么是无人机地理定位从查询图到目标建筑地理定位任务本质上是一次图像检索 位置识别给定一张无人机拍摄的查询图query从候选图库gallery中找出最相似的一张从而确定目标建筑的位置。University-1652 收录了全球 72 所大学共 1652 栋建筑的航拍、卫星与街景图像无人机视角正好是连接地面与卫星的桥梁项目定义了 2 个典型任务任务方向实际意义Task 1无人机视角目标定位无人机 → 卫星回答我在哪里在卫星图上定位目标建筑Task 2无人机导航卫星 → 无人机根据飞行历史让无人机自主返回目标位置下面这张 4K 分辨率的无人机视角查询图就是评测时要认出来的对象数据集按训练 33 所大学、测试 39 所大学划分两侧无重叠保证模型必须泛化到从未见过的校园。核心规模如下完整表格见 README.md 的 About Dataset 一节数据集图片数建筑数Train三视角50,218701Query_drone测试查询37,855701Gallery_satellite卫星候选951951Gallery_drone无人机候选51,355951 Recall1R1地理定位检索第一命中率怎么算R1 是地理定位模型最直观、最常被引用的指标计算步骤只有三步提特征对每张 query 图和 gallery 图分别提取特征并做 L2 归一化见test.py中的extract_feature函数算相似度并排序用内积计算查询图与所有候选图的相似度从高到低排序得到检索排名判断 Top-1 是否命中排名第 1 的图与查询图属于同一栋建筑该次查询记为命中。R1 Top-1 命中的查询数 ÷ 查询总数例如 701 张无人机查询图中有 630 张在卫星图库中 Top-1 就检索到了正确建筑则 R1 ≈ 89.87%。R5、R10 同理只要正确建筑出现在前 5 / 前 10 位即算命中数值必然满足 R1 ≤ R5 ≤ R10。这是基线demo.py生成的 Top-10 检索可视化左侧 query 右侧按相似度排序。图中编号1若是正确建筑这张查询就为 R1 贡献一次命中——你可以用这种图直观检查模型到底错在哪。 APAverage Precision排名质量指标完整计算方法只看 R1 会漏掉一个重要信息正确图即使不在第 1 位也可能排在很靠前的位置。AP平均精度就是为衡量整体排名质量而生的指标。通俗理解在排序列表中每当遇到一张正确建筑图就计算一次当前的精确率已找到的正确图数 ÷ 已检查的图数最后用梯形法对这些点求平均得到该查询的 AP对所有查询取平均即 mAP。基线中的实现位于evaluate_gpu.py的compute_mAP函数核心逻辑是找到排序结果中所有正确建筑的位置rows_good每次命中按d_recall 1/n_good递增召回率对前后两次精确率取平均再累加等价于召回-精度曲线下面积梯形法。上图左侧是无人机→卫星、右侧是卫星→无人机的检索示例黄色框为正确匹配True-Matched、蓝色框为错误匹配False-Matched。注意即使 Top-3 里都有正确建筑只要它没排第 1R1 就计为 0——这时 AP 往往比 R1 更能反映模型的真实水平。R1 与 AP 的关系速查场景R1AP说明正确图总是排第 1高高模型理想状态正确图常排 2~3 位低中高排名质量尚可Top-1 需优化正确图位置很随机低低特征区分能力不足 一键运行地理定位模型评测读懂输出结果跑一次完整评测的链路非常短默认设置是 Drone → Satellite获取代码git clone https://gitcode.com/gh_mirrors/un/University1652-Baseline安装依赖pip install -r requirement.txt需 Python 3.6、GPU 显存 ≥ 8G训练或直接下载预训练模型放入model/目录执行python test.py --name 模型名自动提取特征、保存pytorch_result.mat并调用evaluate_gpu.py计算指标结果追加到model/模型名/result.txt最终输出的核心指标行格式如下Recall1:89.87 Recall5:96.43 Recall10:97.86 Recalltop1:97.57 AP:87.32Recall1 / 5 / 10Top-1/5/10 命中率来自 CMC 曲线Recalltop1Top-1% 位置的召回率gallery 为 951 张时约等于 Top-9用于反映放大候选范围后的容错能力AP全部查询的平均精度是排名质量的综合分。⚠️ 地理定位模型评测的 4 个常见误区只报 R1 不报 AP单靠 R1 无法区分正确图稳定排第 2和位置完全随机的模型论文与竞赛如 University-160k 测试通常两个都报。忘记特征归一化相似度计算依赖 L2 归一化后的内积即余弦相似度漏掉这一步会导致排名完全失真。混淆 gallery 规模Rtop1 的含义随 gallery 大小变化951 张 ≈ Top-9167k 张则是另一个量级跨数据集对比时要核对候选池规模。评测顺序错乱query 与 gallery 的标签取自文件夹名建筑 ID打乱目录结构或漏图会直接让指标凭空下跌先检查数据再怀疑模型。 想进一步提升排名质量可以试试仓库自带的 GPU 加速重排序后处理GPU-Re-Ranking/目录基于 GNN 的实时 reranking或在evaluate_gpu.py中对照本文方法逐项核验自己的指标实现。【免费下载链接】University1652-BaselineACM Multimedia2020 University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization :helicopter: annotates 1652 buildings in 72 universities around the world.项目地址: https://gitcode.com/gh_mirrors/un/University1652-Baseline创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 如何正确衡量地理定位模型？University1652-Baseline的R@1与AP指标详解
如何正确衡量地理定位模型University1652-Baseline的R1与AP指标详解【免费下载链接】University1652-BaselineACM Multimedia2020 University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization :helicopter: annotates 1652 buildings in 72 universities around the world.项目地址: https://gitcode.com/gh_mirrors/un/University1652-BaselineUniversity1652-Baseline 是无人机地理定位基准数据集 University-1652ACM MM 2020的官方开源基线覆盖无人机、卫星、街景三视角的跨视角图像检索。本文面向新手详解地理定位模型评测中的两大核心指标——Recall1R1与平均精度 AP 的含义、计算方式和结果读法帮你正确衡量自己的检索模型。 什么是无人机地理定位从查询图到目标建筑地理定位任务本质上是一次图像检索 位置识别给定一张无人机拍摄的查询图query从候选图库gallery中找出最相似的一张从而确定目标建筑的位置。University-1652 收录了全球 72 所大学共 1652 栋建筑的航拍、卫星与街景图像无人机视角正好是连接地面与卫星的桥梁项目定义了 2 个典型任务任务方向实际意义Task 1无人机视角目标定位无人机 → 卫星回答我在哪里在卫星图上定位目标建筑Task 2无人机导航卫星 → 无人机根据飞行历史让无人机自主返回目标位置下面这张 4K 分辨率的无人机视角查询图就是评测时要认出来的对象数据集按训练 33 所大学、测试 39 所大学划分两侧无重叠保证模型必须泛化到从未见过的校园。核心规模如下完整表格见 README.md 的 About Dataset 一节数据集图片数建筑数Train三视角50,218701Query_drone测试查询37,855701Gallery_satellite卫星候选951951Gallery_drone无人机候选51,355951 Recall1R1地理定位检索第一命中率怎么算R1 是地理定位模型最直观、最常被引用的指标计算步骤只有三步提特征对每张 query 图和 gallery 图分别提取特征并做 L2 归一化见test.py中的extract_feature函数算相似度并排序用内积计算查询图与所有候选图的相似度从高到低排序得到检索排名判断 Top-1 是否命中排名第 1 的图与查询图属于同一栋建筑该次查询记为命中。R1 Top-1 命中的查询数 ÷ 查询总数例如 701 张无人机查询图中有 630 张在卫星图库中 Top-1 就检索到了正确建筑则 R1 ≈ 89.87%。R5、R10 同理只要正确建筑出现在前 5 / 前 10 位即算命中数值必然满足 R1 ≤ R5 ≤ R10。这是基线demo.py生成的 Top-10 检索可视化左侧 query 右侧按相似度排序。图中编号1若是正确建筑这张查询就为 R1 贡献一次命中——你可以用这种图直观检查模型到底错在哪。 APAverage Precision排名质量指标完整计算方法只看 R1 会漏掉一个重要信息正确图即使不在第 1 位也可能排在很靠前的位置。AP平均精度就是为衡量整体排名质量而生的指标。通俗理解在排序列表中每当遇到一张正确建筑图就计算一次当前的精确率已找到的正确图数 ÷ 已检查的图数最后用梯形法对这些点求平均得到该查询的 AP对所有查询取平均即 mAP。基线中的实现位于evaluate_gpu.py的compute_mAP函数核心逻辑是找到排序结果中所有正确建筑的位置rows_good每次命中按d_recall 1/n_good递增召回率对前后两次精确率取平均再累加等价于召回-精度曲线下面积梯形法。上图左侧是无人机→卫星、右侧是卫星→无人机的检索示例黄色框为正确匹配True-Matched、蓝色框为错误匹配False-Matched。注意即使 Top-3 里都有正确建筑只要它没排第 1R1 就计为 0——这时 AP 往往比 R1 更能反映模型的真实水平。R1 与 AP 的关系速查场景R1AP说明正确图总是排第 1高高模型理想状态正确图常排 2~3 位低中高排名质量尚可Top-1 需优化正确图位置很随机低低特征区分能力不足 一键运行地理定位模型评测读懂输出结果跑一次完整评测的链路非常短默认设置是 Drone → Satellite获取代码git clone https://gitcode.com/gh_mirrors/un/University1652-Baseline安装依赖pip install -r requirement.txt需 Python 3.6、GPU 显存 ≥ 8G训练或直接下载预训练模型放入model/目录执行python test.py --name 模型名自动提取特征、保存pytorch_result.mat并调用evaluate_gpu.py计算指标结果追加到model/模型名/result.txt最终输出的核心指标行格式如下Recall1:89.87 Recall5:96.43 Recall10:97.86 Recalltop1:97.57 AP:87.32Recall1 / 5 / 10Top-1/5/10 命中率来自 CMC 曲线Recalltop1Top-1% 位置的召回率gallery 为 951 张时约等于 Top-9用于反映放大候选范围后的容错能力AP全部查询的平均精度是排名质量的综合分。⚠️ 地理定位模型评测的 4 个常见误区只报 R1 不报 AP单靠 R1 无法区分正确图稳定排第 2和位置完全随机的模型论文与竞赛如 University-160k 测试通常两个都报。忘记特征归一化相似度计算依赖 L2 归一化后的内积即余弦相似度漏掉这一步会导致排名完全失真。混淆 gallery 规模Rtop1 的含义随 gallery 大小变化951 张 ≈ Top-9167k 张则是另一个量级跨数据集对比时要核对候选池规模。评测顺序错乱query 与 gallery 的标签取自文件夹名建筑 ID打乱目录结构或漏图会直接让指标凭空下跌先检查数据再怀疑模型。 想进一步提升排名质量可以试试仓库自带的 GPU 加速重排序后处理GPU-Re-Ranking/目录基于 GNN 的实时 reranking或在evaluate_gpu.py中对照本文方法逐项核验自己的指标实现。【免费下载链接】University1652-BaselineACM Multimedia2020 University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization :helicopter: annotates 1652 buildings in 72 universities around the world.项目地址: https://gitcode.com/gh_mirrors/un/University1652-Baseline创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考