Joseph RedmonYou Only Look Once:Unified, Real-Time Object Detection特点1、端到端。2、将目标检测视为回归问题。3、与当时最先进的检测系统相比YOLO会产生更多的定位错误但产生假阳性的可能性更小。结论公式核心公式1、测试时将非核心公式1和非核心公式中的2中的条件类别概率相乘表示盒子内出现第i个类别的置信度表示盒子与真实的第i个类别物体的盒子的拟合度即盒子与真实的第i个类别物体的盒子的交并比其中IOU就表示交并比。2、 Leaky ReLU 激活函数。3、YOLO 的损失函数公式表示如果obj对象出现在第i个网格中则值为1否则为0表示obj对象的真实框中心落在第i个网格中并且obj对象与这个网格预测的所有边界框都能得到IOU这些IOU中最大的IOU对应的边界框为第j个那么取值为1也就是说第i个网格负责预测obj对象并且这个网格的第j个边界框也负责预测该对象那么值为1表示当第i个网格的第j个边界框不对应任何真实目标时为1否则为0。这个公式3表达不准确需要意会比如按照原文逻辑、、、、应改为、、、、类似的等也应改为,表示与对应的真实的边界框的x值。图中第一行代表的预测框与真实框的位置的匹配程度值越小越匹配第二行代表的预测框与真实框的大小的匹配程度值越小越匹配这里的根号是为了平衡大小框的误差影响大框的微小偏差比小框更不重要即对小框的偏差比大框的要求高这样公式中直接预测边界框宽高的平方根而非宽高本身。第三行中的恒为0第五行中表示第i个网格单元预测 “目标属于类别c” 的概率表示如果网格内目标是类别c则为 1否则为 0one-hot 编码。非核心公式1、置信度公式框内无目标时置信度应为 0有目标时则等于预测框与真实框的交并比IOU。这里置信度反应的是每个盒子包含物体的置信度以及模型预测这个物体是具体某个东西的准确率。2、每个网格需要预测的值有个。因为每个方框包含 5 个预测值x、y、w、h 和置信度论文中置信度也用的符号C表示。其中x,y是边界框中心相对于网格单元边界的偏移量宽高w,h相对于整幅图像归一化x、y、w、h都是0到1之间的数这四个数都通过图像的宽高进行了归一化置信度反映预测框与真实框的 IOU。而每个网格需要预测每个方框的5个预测值以及 C 个条件类别概率。例如论文中提到在 PASCAL VOC 数据集评估中设置 S7、B2由于 VOC 包含 20 个类别故 C20最终输出为 7×7×30 的张量也就是说可以根据这个非核心公式2计算出最终的输出张量形状。论文整体流程注意1、论文中的概率用的是符号Pr和p。2、一个网格只负责预测一个真实目标。如果网格数越多那么最多预测的目标数就越多那么相当于检测的越细致并且还会让边界框的位置越准但是会带来时间的成本。3、真阳性、假阳性、假阴性首先要明确目标检测会预测出一个框来并且还会预测出一个框的标签目标检测任务其实就是让预测出来的框和真实的框一一匹配注意如果一个真实框对应多个预测出来的框是不行的。预测出来的框与那些图片中的真实框真实框的标签可以任意之间都会有一个IOU对于每个预测出来的框可以找到一个与那些真实框之间的最大的IOU如果这个IOU大于一个阈值那么就认为这个IOU对应的真实框的位置就是与预测框的位置以及框的大小是匹配的这样位置对应关系可以通过最大IOU来定义接下来再看标签是否对应。如果最大的那个IOU大于等于0.5并且对应的真实框标签和预测出来的框的标签相同则这个预测出来的框及其预测出来的标签称为真阳性。如果预测框与所有真实框的 IOU 0.5无匹配的真实框属于无中生有的框或者预测框与某真实框的 IOU ≥ 0.5但预测标签 ≠ 真实标签框位置对了标签认错了则这个预测出来的框及其预测出来的标签称为假阳性。一张图中存在的真实框如果没有任何一个预测框能和它满足IOU≥0.5 标签匹配则这个真实框被判定为假阴性。总结预测框与真实框对应关系通过最大IOU定义位置以及框的大小是否匹配通过最大IOU是否超过阈值来决定标签是否一致通过看两个框的标签是否一致。1、将整个图像划分为SXS的网格如果一个物体的中心落在某个网格中则这个网格就负责检测这个物体。每个网格会预测B个盒子即方框论文中称B个box以及每个方框的置信度所以每个网格需要预测的值有Bx5个因为每个方框需要5个预测值。2、网络结构。网络结构图如上图所示它包括了24个卷积层和2个完全连接层。3、训练。在ImageNet1000-class竞赛数据集上进行预训练预训练的网络结构为上图网络结构中的前20个卷积层然后连接一个平均池化层和一个全连接层草稿想着将论文流程中的2和3合并写。Ren 等人的研究表明在预训练网络中添加卷积层和全连接层可提升性能 [28]。最终层采用线性激活函数其他所有层均使用 Leaky ReLU 激活函数感觉盒子是通过网格构成的网格类似于基本的粒。我们使用平方和误差作为损失函数易于优化但它与 “最大化平均精度” 的目标并非完全一致 —— 平方和误差将定位误差与分类误差同等对待且图像中多数网格单元不含目标会导致这些单元的置信度分数趋近于 0可能掩盖含目标单元的梯度信号造成模型训练早期不稳定甚至发散。为解决这个问题我们通过两个参数调整损失权重\(\lambda_{coord }5\)增大边界框坐标预测的损失和\(\lambda_{noobj }0.5\)减小无目标框的置信度损失同时为平衡大小框的误差影响大框的微小偏差比小框更不重要我们直接预测边界框宽高的平方根而非宽高本身。这使得不同边界框预测器逐渐专业化各自擅长预测特定尺寸、宽高比或类别的目标从而提升整体召回率。看文献33和22问题1、第一次卷积的输入张量的填充是多少。2、当最大的IOU有多个时怎么办。3、对于核心公式2怎样知道网格预测的边界框是哪些。4、核心公式3中的第2和3行怎样理解。