这篇GREC其实可以看作是 把经典REC任务重新定义reformulation的一篇工作而不是提出了一个全新的模型。它真正的贡献并不在于网络结构而在于作者发现过去十几年整个Referring Expression Comprehension社区其实一直建立在一个非常强的隐含假设之上一句话一定只对应一个目标。这个假设来自于数据集而不是现实世界。当所有训练集都是一个expression对应一个bbox的时候所有模型自然都会学成输入一句话→输出一个框。作者认为这种定义本身才是限制REC发展的根本原因因此他们首先重新思考任务本身而不是继续设计更复杂的网络。整个工作的出发点其实十分自然。传统REC接受一张图像和一句文本例如the kid in red模型最后输出一个bounding box。无论是MDETR、UNINEXT还是其他REC模型它们最后都会认为答案一定存在而且一定只有一个。因此整个推理过程实际上可以写成一个非常简单的映射(I,E)→b其中I表示图像E表示expression输出始终都是唯一bounding box。问题就在这里。现实中的语言并不会遵守这种限制。用户可能说all people也可能说all sandwiches甚至可能说everyone except the kid in white。这些表达天然对应多个目标。而另一方面用户也可能说the kid in blue但是图片里面根本没有蓝衣服小孩。这时候真正正确的答案应该是什么什么都不要输出。然而经典REC由于训练过程中从来没有见过这种情况因此模型一定会输出一个框。换句话说它被迫在所有图片里面寻找一个最接近文本描述的目标即使目标根本不存在。作者认为这不是模型能力不足而是任务定义错误。因此他们提出Generalized Referring Expression ComprehensionGREC真正改变的是输出空间。过去REC输出b 现在变成输出 B{b1,b2,⋯ ,bn}任务一旦改变评价标准也必须随之改变。很多人在阅读论文时容易把注意力放在模型结构或者数据集上但实际上对于一个新的视觉任务而言评价指标往往比模型更加重要因为评价指标决定了模型究竟在优化什么。如果评价指标设计得不合理那么即使模型不断提升也只是不断优化一个错误的目标。因此这一节其实可以理解为作者在回答两个核心问题第一Generalized Referring Expression Comprehension到底应该如何评价第二经典REC的方法为什么不能直接用于GREC。这两个问题实际上是一体两面的因为只有先明确什么叫做正确的Generalized Grounding才能解释为什么传统REC的输出方式已经不再适用。首先作者重新分析了经典REC评价为什么能够如此简单。传统REC之所以普遍采用Precision0.5或者Top-1 Accuracy并不是因为这个指标天然优秀而是因为经典REC具有一个极其特殊的性质每一个样本都只有一个Ground Truth Bounding Box模型最终也只允许输出一个Bounding Box。于是整个评价过程几乎没有任何歧义。预测框与唯一GT计算IoU如果IoU大于0.5那么这个预测就是True Positive否则就是False Positive。这时候不存在目标匹配问题也不存在重复预测问题更不存在漏检多个目标的问题因为整个世界里从始至终只有一个目标。因此Precision0.5实际上建立在一图一句一目标这一假设之上而不是一种普适的Grounding评价方式。然而一旦进入GREC这个假设立即崩溃。因为现在Ground Truth已经不是一个Bounding Box而是一个Bounding Box集合。同样模型预测结果也不再是一个框而是一个Bounding Box集合。换句话说一个样本可能有零个目标也可能有两个目标也可能有二十个目标而模型同样可能预测零个框、三个框或者十五个框。这时候最核心的问题已经不再是预测框与GT的IoU是多少而变成了预测集合与真实集合之间到底匹配得怎么样。这里最大的困难来自于集合之间的一一对应关系。例如Ground Truth有三个目标而模型预测了四个框那么究竟哪三个预测框分别对应哪三个GT如果两个预测框都覆盖了同一个GT那么它们应该如何计算如果模型额外预测了很多没有意义的框又应该怎样惩罚这些问题都是经典REC从来没有遇到过的因此过去简单计算IoU的方法已经完全无法反映模型真正的Grounding质量。因此作者借鉴目标检测中的Matching思想重新定义了TP、FP和FN的计算方式。对于每一个预测框首先寻找是否存在一个Ground Truth框与它的IoU大于等于0.5。如果存在那么这个预测框具有成为True Positive的资格。但是为了避免多个预测框同时匹配同一个Ground Truth作者进一步规定一个Ground Truth只能匹配一个预测框。如果多个预测框都满足IoU要求那么只有IoU最大的那个预测框被保留为True Positive其余全部记为False Positive。这实际上就是一种一对一匹配策略本质上与Detection中的Hungarian Matching具有相同思想即一个真实目标只能被一个预测解释多余的重复预测全部属于误检。与此同时所有没有任何预测框能够匹配上的Ground Truth全部记为False Negative因为这些目标被漏检了而所有没有匹配任何Ground Truth的预测框全部记为False Positive因为它们属于错误预测。经过这一轮匹配之后每一个样本就可以统计出TP、FP和FN从而进一步计算F1 Score。但作者认为仅仅计算F1仍然不能真正体现Grounding任务的要求。因为Grounding与目标检测最大的不同在于它本质上不是一个统计平均性能的任务而是一个需要完整理解一句语言描述的任务。对于一句表达all people如果图片中有五个人而模型只找到了四个人那么Detection可能仍然认为性能不错但Grounding其实已经失败了因为用户真正需要的是所有人而不是大部分人。因此作者提出了一个极其严格的新评价指标——Precision(F11, IoU≥0.5)。它并不是统计平均F1而是首先计算每一个样本的F1然后只有当F1恰好等于1时这个样本才被认为预测成功否则整个样本直接判定失败。换句话说一个Grounding样本必须做到所有目标全部找到、没有任何漏检、没有任何误检并且所有预测框的IoU全部超过0.5整个样本才记为正确。最后统计所有成功样本所占比例这就是Precision(F11, IoU≥0.5)。可以看到这实际上是一种Sample-level Accuracy而不是Instance-level Accuracy。它评价的不是平均找对多少目标而是整句话是否被完全理解。对于Grounding而言这种评价其实更加合理因为Grounding天然就是一个语言理解任务只要少理解一个目标或者多理解一个目标都意味着整个语义已经发生错误。对于No-target样本这个指标更加自然。如果Ground Truth为空集合那么只有模型同样输出空集合时F1才定义为1一旦模型输出任何Bounding Box无论只有一个还是几十个整个样本立即记为失败。因此Precision(F11)实际上自动兼容了No-target情况不需要再额外设计复杂规则。这也是作者一直推荐未来所有GREC研究都采用这一指标作为主指标的原因因为它能够统一评价单目标、多目标以及无目标三种情况而且真正反映Grounding是否成功而不是简单统计局部预测是否正确。除了总体Grounding性能之外作者还单独设计了一个No-target Accuracy用来专门评价模型的拒识能力。作者认为现实系统不仅要能够找到目标更要能够知道什么时候图片里没有目标。因此对于所有No-target样本如果模型正确输出空集合则记为True Positive否则无论输出多少Bounding Box都记为False Negative。于是最终No-target Accuracy就是正确拒识样本占所有No-target样本的比例。这个指标其实衡量的是模型是否真正具备开放世界理解能力因为过去REC模型由于训练过程中从来没有见过No Target因此几乎都会无条件输出一个Bounding Box也就是说它们根本不会拒绝任何输入。而现实应用中无论机器人、自动驾驶还是遥感目标检索拒识能力都是系统可靠性的基础因此作者单独报告这一指标用来衡量模型是否真正学会了No Object Exists这一概念。在完成评价指标设计之后作者进一步提出一个更加实际的问题既然GREC允许输出任意数量目标那么经典REC一直采用的Top-1或者Top-K输出策略是否仍然可行为了回答这个问题他们没有重新设计模型而是直接利用MDETR已有的100个Proposal输出然后尝试不同的后处理策略。实验结果几乎是意料之中的。首先当采用Top-1策略时Precision(F11)和No-target Accuracy全部为0。这并不是模型不会检测而是因为Top-1这一策略本身已经违背了GREC的任务定义。假设一句表达对应两个目标那么Top-1最多只能输出一个框即使这个框完全正确也只能得到TP1、FN1此时F1最高也只有2/(21)0.67永远不可能达到1因此所有多目标样本全部失败。对于No-target样本情况更加严重由于Top-1无论如何都会输出一个框因此所有No-target样本全部预测错误最终No-target Accuracy自然也是0。作者进一步测试Top-5、Top-10甚至Top-100策略希望固定输出更多框是否能够解决问题。然而实验结果依然全部失败。原因其实更加本质。Top-K方法默认所有样本都应该输出固定数量Bounding Box而GREC最大的特点恰恰是不同表达对应的目标数量完全不同。有的表达没有目标有的表达两个目标有的表达十几个目标因此不存在一个固定的K能够适应所有样本。固定输出一个框会漏检多目标固定输出很多框又会产生大量误检因此Top-K从理论上就已经与Generalized Grounding不兼容而不仅仅是参数没有调好。因此作者提出更合理的方法应该是Confidence Threshold。模型首先预测大量Proposal每一个Proposal都有一个Confidence Score然后通过设定置信度阈值仅保留高于Threshold的Bounding Box作为最终输出。这样不同样本最终保留下来的Bounding Box数量完全由模型自己决定而不是人为固定。例如对于No-target样本所有Proposal置信度都低于Threshold那么最终输出为空集合对于单目标样本可能只有一个Proposal高于Threshold对于多目标样本则自然保留多个Proposal。因此Threshold策略实际上第一次真正让模型具有了动态决定目标数量的能力。从实验结果来看Threshold策略远远优于Top-K而且Threshold越严格整体性能越高。例如Threshold从0.5提高到0.9之后Precision(F11)提升了超过14个百分点。这说明对于Generalized Grounding而言控制输出数量比提升Proposal质量更加重要因为Grounding最终评价的是整个集合是否正确而不是Proposal是否足够丰富。