论文题目D-FINE: REDEFINE REGRESSION TASK IN DETRS AS FINE-GRAINED DISTRIBUTION REFINEMENT将DETRS中的回归任务重新定义为细粒度分布求精会议ICLR 2025摘要我们引入了D-FINE这是一个功能强大的实时目标检测器通过重新定义DETR模型中的包围盒回归任务实现了出色的定位精度。D-FINE由两个关键部分组成细粒度分布求精(FDR)和全局最优局部化自蒸馏(GO-LSD)。FDR将回归过程从预测固定坐标转变为迭代细化概率分布提供了显著提高定位精度的细粒度中间表示。GOLDD是一种双向优化策略它通过自蒸馏将本地化知识从精细化分布转移到较浅的层同时还简化了较深层的剩余预测任务。此外D-FINE在计算密集型模块和操作中结合了轻量级优化在速度和精度之间实现了更好的平衡。具体地说D-FINE-L/X在NVIDIA T4 GPU上以124/78 FPS的速度在COCO数据集上获得了54.0%/55.8%的AP。在对Objects365进行预训练时D-FINE-L/X达到571%/59.3%的AP超过了现有的所有实时检测器。此外我们的方法显著提高了广泛的DETR模型的性能最高可达5.3%的AP而额外参数和培训成本可以忽略不计。我们的代码和预先培训的模型https://github.com/Peterande/D-FINE.D-FINE重新定义 DETR 中的边界框回归任务一、论文背景与核心问题实时目标检测是计算机视觉的基础任务之一在自动驾驶、安防监控、工业质检等场景中有广泛应用。当前实时检测领域主要存在两大阵营YOLO 系列以速度著称拥有庞大的社区生态但通常依赖非极大值抑制NMS引入额外延迟DETR 系列Detection Transformer基于 Transformer 的端到端检测架构无需手工设计 NMS 和 anchor具备全局上下文建模能力但传统 DETR 计算开销大。RT-DETR 的出现将 DETR 推向了实时应用LW-DETR 进一步证明 DETR 在大规模数据集预训练下具有更高的性能天花板。尽管如此这篇论文的作者认为当前实时检测器仍面临两个未解决的核心问题问题一边界框回归方式的局限绝大多数检测器包括 YOLO 和 DETR采用回归固定坐标的方式预测边界框本质上是用狄拉克 delta 分布对边界位置建模——即认为每条边的位置是一个精确、固定的值。这种方式存在三个缺陷无法建模定位不确定性在目标边界模糊或遮挡的情况下单一固定坐标无法表达位置的模糊性优化敏感只能使用 L1 损失和 IoU 损失对坐标的微小变化极为敏感导致收敛慢、性能次优缺乏迭代精化一次性预测无法逐步修正。GFocalLi et al., 2020尝试用离散概率分布替代固定坐标但仍受限于 anchor 依赖、粗粒度定位以及缺乏迭代精化。问题二知识蒸馏在 DETR 中的困境知识蒸馏KD是提升轻量模型性能的有效手段但传统蒸馏方法如 Logit Mimicking、Feature Imitation在 DETR 的一对一匹配机制下表现不佳甚至会降低性能。定位蒸馏LD虽然对检测任务更有效但依赖 anchor 架构且引入大量额外训练开销与 anchor-free 的 DETR 不兼容。二、D-FINE 的核心创新针对上述问题论文提出了D-FINE其核心创新包含两个关键组件细粒度分布精化FDR和全局最优定位自蒸馏GO-LSD并辅以轻量化架构优化。2.1 细粒度分布精化FDR核心思想将边界框回归从预测固定坐标转变为迭代精化概率分布。分布建模方式对于每个目标FDR 不再直接预测四条边的绝对距离而是为每条边维护一个离散的概率分布。第 l 层的精化边距计算为其中是初始边界框的边距是第 l 层输出的四条边各自的概率分布W(n) 是非均匀加权函数。分布的加权求和给出边的偏移量再乘以初始框的高度 H 或宽度 W 进行归一化使调整幅度与框的尺寸成比例。残差更新机制每一层的分布不是独立预测而是在前一层的基础上做残差更新当前层只需预测残差 logits叠加后经 softmax 归一化得到精化分布。这使得每一层聚焦于修正上一层的误差逐步提升定位精度。论文 Figure 2D-FINE 与 FDR 的整体架构示意图展示概率分布如何经过多个解码器层以残差方式迭代精化以及非均匀加权函数的作用。非均匀加权函数 W(n)加权函数 W(n) 是 FDR 的关键设计其中 a、c 是超参数控制函数的上界和曲率。W(n) 的形状设计具有直觉意义预测已接近准确时函数在中心区域曲率平缓偏移候选密集允许更精细的局部调整预测偏差较大时函数在边缘处曲率陡增提供足够的大幅修正空间。这种非均匀设计克服了 GFocal 中等间隔 bins 导致精度受限的问题。细粒度定位损失FGL Loss为了训练分布预测论文提出了Fine-Grained Localization (FGL) Loss受 Distribution Focal LossDFL启发但有所改进其中是相对偏移量、是在 W(n) 坐标轴上的相邻 bin 索引权重、确保插值精确对齐真值偏移。同时IoU 加权鼓励不确定性低的分布更集中使回归更准确可靠。2.2 全局最优定位自蒸馏GO-LSD核心思想利用最终层精化后的分布以自蒸馏方式将定位知识传递给浅层同时简化深层的残差预测任务形成相互促进的协同效应。论文 Figure 3GO-LSD 流程示意图展示最终层的定位知识如何通过 DDF 损失以解耦加权策略蒸馏到浅层。全局最优匹配GO-LSD 在每层独立进行匈牙利匹配获取各层的局部最优匹配索引再将所有层的匹配索引聚合为一个全局联合集合。这样跨层最优候选框都能受益于蒸馏过程。在分类任务上仍保持一对一匹配原则避免冗余框。这导致一个特殊情况联合集合中部分预测框定位精确但分类置信度偏低因分类匹配是一对一的。这类高 IoU 低置信度的框也需要被有效蒸馏不能忽视。解耦蒸馏焦点损失DDF Loss为此论文提出Decoupled Distillation Focal (DDF) Loss其中为 Kullback-Leibler 散度衡量浅层分布与最终层分布的差异T 为温度参数用于平滑 logits已匹配框的权重以 IoU 为主导高 IoU 的框获得更大蒸馏权重未匹配框的权重以分类置信度为主导高置信度的潜在候选获得适当权重、分别为已匹配和未匹配框的数量通过等项平衡两类框的整体贡献比例。这种解耦设计解决了 DETR 中高 IoU 低置信度预测框难以被有效蒸馏的问题。2.3 轻量化架构优化在 RT-DETR-HGNetv2-L 基线上D-FINE 还做了一系列精心设计的架构修改移除解码器投影层减少 GFLOPs降低延迟但 AP 有所下降引入目标门控层Target Gating Layer置于解码器交叉注意力模块之后替代残差连接允许查询在各层动态切换关注目标防止信息纠缠弥补 AP 损失将编码器 CSP 层替换为 GELAN 层提升特征提取能力但参数量和计算量上升缩减 GELAN 隐藏维度将维度减半在性能和效率间取得平衡非均匀采样点分配S:3, M:6, L:3针对不同尺度目标优化采样效率采用 RT-DETRv2 训练策略提升训练收敛质量。最终相比 RT-DETR-HGNetv2-L 基线D-FINE-L 在 AP 提升 1.0%53.0% → 54.0%的同时延迟降低 13%GFLOPs 减少 17%。论文 Table 3从基线模型到 D-FINE 的逐步修改路线图展示每步的 AP、参数量、延迟和 GFLOPs 变化。三、实验结果3.1 与实时检测器的横向对比在 COCO val2017 上D-FINE 与各类实时检测器的全面对比结果如下所示论文 Table 1D-FINE 与各实时检测器在 COCO val2017 上的性能对比包含参数量、GFLOPs、延迟、AP 等多维度指标。核心亮点数据模型AP参数量GFLOPs延迟msD-FINE-L54.0%31M918.07D-FINE-X55.8%62M20212.89YOLOv10-L对比53.2%24M1207.66RT-DETR-R50对比53.1%42M1369.12RT-DETR-R101对比54.3%76M25913.61D-FINE-L 以31M 参数、91 GFLOPs达到 54.0% AP显著优于参数更多、计算量更大的竞争对手。D-FINE-X 的 55.8% AP 超过了 RT-DETR-R10154.3%和 YOLOv10-X54.4%同时拥有更低的参数量和延迟。论文 Figure 1D-FINE 与其他检测器在延迟-AP左、参数量-AP中、FLOPs-AP右三个维度的散点图对比。在 Objects365 预训练后的效果在 Objects365 数据集预训练、再迁移至 COCO 的设置下D-FINE-L达到57.1% AP超过 LW-DETR-X58.3% vs D-FINE-L 57.1%但 LW-DETR-X 参数量高达 118MD-FINE-L 仅需 31MD-FINE-X达到59.3% AP超越所有已有实时检测器包括 LW-DETR-X58.3%D-FINE 仅需21 个预训练 epoch即可达到此效果而 YOLOv10 需 300 个 epoch进一步印证了 DETR 系列对预训练的高效利用能力。3.2 FDR 和 GO-LSD 在不同 DETR 模型上的泛化性为验证方法的普适性论文将 FDR 和 GO-LSD 集成到多种 DETR 变体中论文 Table 2FDR 和 GO-LSD 在 Deformable-DETR、DAB-DETR、DN-DETR、DINO 等模型上的效果对比。结果显示FDR 和 GO-LSD 在所有测试模型上均带来显著提升提升幅度为2.0% 至 5.3% AP且不增加额外参数和计算量。以 DAB-DETR 为例AP 从 44.2% 提升至 49.5%5.3%DINO24 epoch从 50.4% 提升至 52.4%2.0%。3.3 蒸馏方法对比不同蒸馏方法在相同框架下的比较论文 Table 5各蒸馏方法在 AP、训练时间和 GPU 显存方面的对比。方法AP训练时间/epoch显存基线无蒸馏53.0%29 min8552 MBLogit Mimicking52.6%↓31 min8554 MBFeature Imitation52.9%↓31 min8554 MB基线 FDR53.8%30 min8730 MBLocalization Distillation53.7%31 min8734 MBGO-LSD本文54.5%31 min8734 MB传统蒸馏方法不仅未能提升性能Logit Mimicking 反而导致性能下降-0.4%。GO-LSD 获得最高 AP54.5%仅比基线多6% 训练时间和2% 显存开销。3.4 超参数敏感性分析论文对 FDR 和 GO-LSD 的关键超参数进行了消融分析论文 Table 4FDR 超参数a, c、分布 bins 数 N、温度 T 的敏感性消融实验结果。加权函数参数a0.5c0.25 时达到最优 53.3% AP将 a、c 设为可学习参数反而略微降低性能53.1%说明固定值更有利于优化稳定Bins 数 NN32 时达到峰值 53.7%超过后收益递减温度参数 TT5 时取得最优 54.0%平衡了分布平滑与知识迁移效率。四、可视化分析FDR 的可视化清晰展示了其工作机制论文 Figure 4多个检测场景下 FDR 的可视化结果展示初始框红色与精化框绿色以及未加权和加权概率分布的变化。红色框为第一层解码器的初始预测绿色框为最终层的精化预测绿色框与目标对齐更准确上行分布未加权展示四条边left/top/right/bottom的原始概率分布下行分布加权后展示 W(n) 作用后的分布红色曲线为初始分布绿色曲线为精化后分布。加权分布在预测接近准确时更为集中低不确定性在误差较大时展宽以覆盖足够的修正范围直观验证了非均匀加权函数的设计合理性。五、轻量级模型的性能D-FINE 的优势不仅体现在 L/X 量级S/M 量级同样表现优异论文 Table 7S 和 M 量级实时检测器在 COCO val2017 上的性能对比。D-FINE-S10.2M 参数25.2 GFLOPs3.49ms 延迟达到48.5% AP超越 Gold-YOLO-S46.4%和 RT-DETRv2-S48.1%经 Objects365 预训练后提升至50.7%D-FINE-M19.2M 参数56.6 GFLOPs5.55ms 延迟达到52.3% AP超越 YOLOv10-M51.1%和 RT-DETRv2-M49.9%经预训练后提升至55.1%。六、局限性与未来方向论文诚实地指出了当前的局限D-FINE 轻量级变体与其他紧凑模型之间的性能差距仍然有限。可能的原因是较浅的解码器层其最终层预测精度有限制约了定位知识向早期层蒸馏的效果。未来方向包括研究先进架构设计或新型训练范式在训练时引入更深的解码器层以提升蒸馏质量推理时通过丢弃这些层来维持轻量推理效率。七、总结D-FINE 通过两个优雅的设计——FDR 和 GO-LSD——系统性地解决了 DETR 边界框回归和知识蒸馏的核心痛点问题D-FINE 的解法固定坐标回归无法建模不确定性FDR用迭代精化的概率分布替代固定坐标粗粒度定位精度受限非均匀加权函数 $W(n)$精细与灵活兼顾传统蒸馏在 DETR 中失效GO-LSD全局最优匹配 DDF 解耦加权蒸馏计算开销大轻量化架构优化GFLOPs 减少 17%延迟降低 13%最终D-FINE 在实时目标检测领域树立了新的 state-of-the-art 标杆D-FINE-X 在 Objects365 预训练后以 59.3% AP 超越所有已有实时检测器同时保持高效的推理速度。更重要的是FDR 和 GO-LSD 作为通用组件可无缝集成到各类 DETR 架构不增加参数和计算量展现出强大的泛化价值。