1.本发明涉及目标检测
技术领域：
：，具体是一种基于中心点回归的深度学习目标检测方法。
背景技术：
：：2.遥感图像是由卫星拍摄，包含空间分辨率、时间分辨率、光谱分辨率等。遥感图像中的目标检测在民用和军事上有着重要的意义和应用价值，尤其是遥感图像中的飞机目标检测，可以为民航更高效的管理以及军事作战提供更多有价值的信息。不同于传统飞机图像，遥感图像飞机目标检测面临着多尺度、背景复杂以及图片内存占用大等难点。3.随着深度学习的快速发展，基于卷积神经网络的(convolutionalneuralnetworks,cnn)的目标检测方法已成为处理和识别遥感图像的趋势。当前，主流的深度学习目标检测算法可以分为两类：基于锚的方法和不基于锚的方法。其中，大多数基于锚的方法可分为单阶段和两阶段两类。ssd和yolo等单阶段方法可以在一阶段完成对象的分类和回归，其优点是检测速度非常快。两阶段方法，如r‑cnn、fastr‑cnn、fasterr‑cnn等，通常可以通过引入区域建议网络来获得更准确的检测结果。近年来，在提高基于锚的方法的准确性和效率上已经做了不少工作，并逐渐走向成熟。但由于基于锚的方法在检测性能上很大程度取决于正负样本数以及锚点的超参数，如锚点的大小，纵横比以及数量，目前仍然没有有效的方法来自动调整这些超参数，必须逐个手动进行校准，因此限制了它的普及。此外，基于锚的检测方法引入非极大抑制算法(non‑maximumsuppression,nms)来消除重复目标框，这使得算法复杂度、计算量等相应增加，造成最终检测速度也相应较慢，实时性较差。4.为了提高检测器的灵活性，无锚的方法应运而生，并受到广泛关注。无锚的方法不再依赖于预设的锚，其直接对输入学习图像的关键点或者密集区域进行特征提取与检测，并且可以通过回归适应各种对象。如cornernet使用单一的卷积神经网络来预测同一个对象类别的所有实例的左上角和右下角热图，以及每个检测到的角的嵌入向量，最后借鉴newell等人所提出联想嵌入方法对属于同一对象的一对角点进行匹配分组。extremenet通过预测每个对象类别的四张多峰值图来检测一个对象的四个极值点和中心点，并基于几何的方法将极值点分组到对象中，进而得到最终结果。centernet借鉴了cornernet相关思想，在其基础上改进，通过直接预测目标中心点进行物体检测，并通过回归方法得到其它对象属性，如大小、3d位置、方向、甚至姿态，此外其训练和测试无需nms、rpn等，较基于边界盒的检测器更简单、更快、更准确，真正实现了端到端。liu等人首次尝试使用centernet的无锚方法来解决遥感图像目标的检测问题，并在nwpuvhr‑10遥感数据集上评估centernet的各主干网络性能。zhang等人提出一种特征增强的中心点网络，将不同层之间引入水平连接，通过结合深层特征和浅层特征来提高遥感图像小目标检测精度，但检测速度有待提高。文献“基于单线程的无锚点目标检测模型”提出了一种单线程无锚点目标检测模型，使用沙漏骨干提取网络将多个预测分支整合为一个分支，具有与resnet和fpn结构相结合的模型近似的语义特征表征能力，节省了内存空间，且维持了小目标检测精度，但是存在特征提取效率低的问题。以上方法给经典的无锚方法直接用于遥感图像目标检测提供了一定思路，但对于遥感图像背景复杂、小目标、待测形状不一等问题造成的检测速度和精度上的平衡有待提升。技术实现要素：5.本发明的目的在于提供一种基于中心点回归的深度学习目标检测方法，解决原centernet算法检测遥感图像时的误检高和小目标检测困难等问题。6.本发明的技术方案：7.一种基于中心点回归的深度学习目标检测方法，包括以下具体步骤：8.在原centernet网络结构上引入水平连接模块将不同层之间的特征进行关联，融合了深层特征和浅层特征，以提高小目标检测性能；9.在水平连接模块中引入通道注意力模块，对不同通道间的特征响应进行自适应校准，改善了网络的特征提取能力；10.最后在ucas‑aod和rsod公共遥感数据集上进行对比实验。11.所述水平连接模块为featurefusion模块，即特征融合模块，featurefusion模块包括c‑centernet和t‑centernet，其中c‑centenet经过一个标准1×1卷积使融合前的特征层具有相同的空间大小，t‑centernet将c‑centernet中的标准卷积换成空洞卷积进行测试，由于不同图层中的每个特征值具有不同的比例，在卷积之后需经过批量归一化和relu激活处理。12.所述通道注意力模块为挤压‑激励注意力模块se‑net，所述挤压‑激励注意力模块首先对输入通道数为c的h×w的特征图进行挤压squeeze操作，得到通道数为c的1×1的特征图，然后将得到的特征图进行激发excitation操作，得到各通道之间的权重值，最后通过scale操作将原特征图乘以对应通道的权重得到新的特征图，完成包含有效信息通道的更新和无用信息通道的抑制。13.在ucas‑aod和rsod公共遥感数据集上进行对比实验，对比实验过程对数据集样本随机选取图片作为训练集，保持训练、测试集比为9:1，实验中取下采样率r为4，并使用adam优化器进行迭代训练，将输入图像统一缩放到分辨率为512×512，训练过程中的初始学习率为1e‑3，batch_size为4，训练50个epoch后，将学习率下降10倍，batch_size设为4，再训练50个epoch，此外，为了加快收敛速度，训练过程中对基于resnet‑50的backbone使用imagenet分类任务中得到的预训练权重。14.为验证基于中心点回归的深度学习目标检测方法的检测性能，在相同实验平台和训练数据集的条件下，对不同检测网络性能进行训练和对比测试，对比包含单阶段和两阶段目标检测算法，得到测试结果。15.与现有技术相比，本发明的有益效果是：解决原centernet算法检测遥感图像时的误检高和小目标检测困难等问题，该方法在遥感图像飞机目标检测中不仅有较高的检测精度，同时保持了单阶段检测模型的速度优势，具有一定的实用价值。附图说明16.图1是本发明的方法流程示意图。17.图2是本发明的经过改进的centernet网络结构示意图。18.图3是本发明的水平连接模块网络结构示意图。19.图4是本发明的挤压‑激励注意力模块示意图。20.图5是本发明的引入通道注意力模块后的水平连接模块网络结构示意图。21.图6是本发明引入注意力前后对比图。22.图7是ucas‑aod数据集上训练的总loss变化曲线图。23.图8是针对ucas数据集改进前后pr曲线对比图。24.图9是rsod数据集上训练的总loss变化曲线图。25.图10是针对rsod数据集上改进前后pr曲线对比图。26.图11是改进前后可视化对比结果。27.图12是与其余算法对比图。具体实施方式28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。29.centernet作为一种新的anchor‑free端到端目标检测算法，将对象的边界框中心使用一个点来代表，然后直接从中心位置周围的图像特征进行回归得到其他属性，如对象大小、方向、姿态等，使目标检测问题变成一个标准的关键点估计问题。具体步骤如下：输入一个i∈rw×h×3的图像，其中宽度为w，高度为h。通过卷积神经网络生成热图其中r为缩放尺寸，默认取r＝4，c为关键点类别数。当代表检测到关键点，代表背景。训练阶段，将groundtruth的关键点通过下式(1)高斯核分布到热力图上。[0030][0031]其中为目标真实点，x、y为预测中心点，σp为对象大小自适应的标准偏差。[0032]倘若同一类的两个高斯分布重叠，则取元素的最大值。zhou等人首先使用hourglass、resnet、dla等作为骨干网络来预测热图接着将骨干网络生成的特征图送入到检测模块中，该模块由三个分支组成，分别是heatmap、width‑height以及offset预测分支。每个分支包含一个3×3和一个1×1的卷积层组成，其中heatmap最终输出通道数与数据集所包含的类别数相关，如voc数据集中为20类，此时heatmap输出通道数取20，width‑height和offset最终输出通道数都为2，代表了预测中心点目标的长宽以及中心点横纵坐标的偏移量。最后将网络输出热力图中的相关信息提取出来并得到输入图像检测结果。[0033]centernet在遥感图像飞机目标检测中有很多优势。首先，它没有进行人为设定前景和背景分类的阈值，减少了对数据集正负样本的要求。其次，由于检测过程中每个目标只检测一个中心点，不需要计算量大且耗时的非极大值抑制(nms)，提高了检测速度。同时，也降低了由于锚机制带来的小目标检测和密集目标检测的难度。但是，实际遥感图像由于拍摄高度、角度等问题，图片中存在很多像素为个位数的小目标对象，这给centernet算法带来了很大挑战，直接将其应用于遥感图像检测很难有所突破，因此必须对centernet网络结构进行改进，使其更好的适应遥感图像数据集的检测，提高检测精度。[0034]为了使centernet算法更好地适应遥感图像中的飞机目标检测，解决图像中小目标检测精度低和误检率高的问题。本发明在centernet算法的基础上提出了一种多尺度通道注意力的检测方法。其网络结构如图2所示，较原centernet网络结构，引入了图中扩展结构，主要在以下2个方面改进：[0035](1)为了提高小目标的检测性能，本发明引入一种水平连接模块将不同层之间的特征进行关联，该方法融合了深层特征和浅层特征，有效地结合了深层特征语义信息强和浅层特征位置和纹理信息强的优点，对改善小目标检测有一定效果。[0036](2)为了提高检测的精度，在水平连接模块中加入通道注意力模块，对不同通道间的特征响应进行自适应校准，改善了网络的特征提取能力。[0037]中心点网络采用了“编码‑解码”的结构，能够通过网络的连续卷积操作学习高级语义信息。然而，遥感图像中的目标具有小而密的特点，经过一系列卷积将会使小目标特征聚集，造成漏检和误检等问题。为了改善小目标的特征表示，本发明引入一种水平连接模块将给定特征层与更高层特征图的特征进行融合。如图2所示，在centernet算法的网络结构中，本发明将conv1层和conv7层、conv2层和conv6层、conv3层和conv5层分别进行融合。由于这些特征层具有不同的空间大小，在进行融合之前，先经过一个“featurefusion”模块处理。针对该模块，本发明设计了如图3所示两种结构进行实验，并分别命名为c‑centernet和t‑centernet。其中c‑centenet经过一个标准1×1卷积使融合前的特征层具有相同的空间大小，t‑centernet将c‑centernet中的标准卷积换成空洞卷积进行测试。由于不同图层中的每个特征值具有不同的比例，在卷积之后需经过批量归一化和relu激活处理。[0038]注意力机制能够聚焦图像的局部信息，定位感兴趣信息，抑制无用信息。为了使模型更关注具有有效信息的通道，本发明在水平融合模块中引入挤压‑激励注意力模块(se‑net)。如图4所示，该模块首先对输入通道数为c的h×w的特征图进行挤压(squeeze)操作，得到通道数为c的1×1的特征图，对应图4中的全局池化(globalpooling)操作。然后将得到的特征图进行激发(excitation)操作，对应于图4中的两次全连接层和sigmoid操作，得到各通道之间的权重值。最后通过scale操作将原特征图乘以对应通道的权重得到新的特征图，完成包含有效信息通道的更新和无用信息通道的抑制。[0039]引入通道注意力机制后的“featurefusion”结构如图5所示。引入注意力前后的对比如图5所示，从图中箭头标记处可以看出，无注意力机制时，网络存在一些误检情况，引入注意力机制后，误检率降低，提高了检测精度。[0040]本发明算法的损失函数由中心点预测损失lk、偏置损失loff、宽高损失lsize三部分组成。[0041]centernet在预测热图中心点时，会生成很多目标中心点，而每个目标的中心点却是唯一的，造成负样本和正样本比例过大。因此，作者采用了基于centernet改进后的像素级逻辑回归focal‑loss损失函数来解决正负样本分布不均的问题。公式如下式2所示。[0042][0043]其中，α和β为focalloss的超参数，实验中分别取2和4。n为图像中关键点的数量。主要起将所有focalloss归一化的作用。为预测值，yxyc真实标签值。当yxyc等于1时，对于易区分的样本，预测值接近于1，使和接近于0，使最终lk很小。相反，对于难区分样本，预测值接近于0，则很大，使最终lk很大。当yxyc不等于1时，预测值理论值应该为0，如果该值较大，则会增大以起到一定惩罚作用。如果预测值接近于0，则会很小以减小损失比重。而(1‑yxyc)β在yxyc不等于1时，起到了弱化中心点周围负样本损失比重的作用。[0044]由于骨干提取网络处理后的特征图分辨率变为输入图像的四分之一，相当于输出特征图的一个像素点对应一个原图像4×4的区域，这就造成了很大的误差，因此，作者引入中心点偏置值并对偏置值采用l1损失函数进行训练，公式如下式3所示。[0045][0046]其中，n为图像中关键点的数量，p为目标框中心点，r为下采样因子，本发明取值为4。为偏置值。[0047]centernet预测所有的中心后，对每个对象回归到对象的大小为了减少计算负担，对每个目标种类使用单一的尺寸预测并使用l1损失函数对宽高损失lsize进行训练，公式如下式4所示。[0048][0049]总的损失ldet由上述各分支损失加权求和得到，满足如下式5所示关系：[0050]ldet＝lk λoffloff λsizelsizeꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(5)[0051]其中，权重λoff、λsize和λm分别取1、0.1和0.3。[0052]实验结果及分析[0053]数据集与实验环境[0054]为验证本发明算法结构的可行性，本实验在ucas‑aod遥感影像数据和rsod数据集中选取飞机类别图片进行网络训练和测试。其中，ucas‑aod数据集由中科院大学制作，包含飞机遥感图片1000张，飞机样本7482架，数据较为集中，且目标方向分布较为均匀。rsod数据集由武汉大学制作，包含飞机遥感图片446张，飞机样本4993架，图像中亮度和对比度多样，且存在遮挡、阴影、畸变等干扰。实验过程对数据集样本随机选取图片作为训练集，保持训练、测试集比为9:1，实验环境配置如下表1所示。[0055]表1实验环境配置[0056]table1experimentalenvironmentconfiguration[0057][0058]评价指标[0059]本发明采用当前目标检测的一套标准评价指标，包含准确率(accuacy)、精确度(precision)、召回率(recall)，以及模型每秒处理的图片数(framepersecond,fps)和平均精度(meanaverageprecision,map)，其中fps反应了模型的处理速度指标，map可以更好的衡量多召回率下的模型检测精度，涉及到的相关计算公式如下：[0060][0061][0062][0063]其中，tp代表正样本中被当做正样本的数量，fn代表正样本中被当成负样本的数量，fp代表负样本中被当成正样本的数量，tp fp为全部分为正样本的数量，tp fn为全部分为正样本的数量。[0064]预测结果tp和fp由交并比iou(intersectionoverunion)决定，当iou大于设定阈值，则记为tp，反之记为fp。设定不用置信度的阈值，将得到不同数量的检测框，阈值高，则得到的检测框数量少。反之，阈值低得到的检测框数量多。[0065]其中，iou由可下式9求得：[0066][0067]fps为模型每秒能检测的图片数量，代表了检测速度的快慢，可以由式10求得：[0068][0069]其中，n为被测样本数，t为测试全部样本所需的时间。[0070]训练细节[0071]实验中取下采样率r为4，并使用adam优化器进行迭代训练，将输入图像统一缩放到分辨率为512×512。训练过程中的初始学习率为1e‑3，batch_size为4，训练50个epoch后，将学习率下降10倍，batch_size设为4，再训练50个epoch。此外，为了加快收敛速度，训练过程中对基于resnet‑50的backbone使用imagenet分类任务中得到的预训练权重。[0072]实验结果分析[0073]ucas‑aod遥感影像数据集实验结果[0074]在ucas‑aod遥感影像数据集上经过漫长的100轮训练，损失基本达到稳定状态，训练过程中，原算法与本发明算法的损失函数变化对比如图7所示，该loss值为中心点预测损失、偏置损失和宽高损失三部分加权求和得到。从图中可以看出，改进前后loss都能趋于稳定。但是改进后的四种模型设计收敛速度较改进前都有所提高，且最终收敛值比改进前要好。此外，加入注意力机制后的sc‑centern和st‑centernet分别较其加入前的c‑centernet和t‑centernet收敛速度和收敛值都有所优化。其中，st‑centernet较其余几种改进，效果最优，收敛速度最快且收敛值更低。[0075]根据上述式6和式7可以计算得到改进前后模型检测输出的pr曲线，以效果最优的st‑centernet进行对比，如图8所示，其中图8中(a)为原算法的pr曲线，(b)为本发明算法pr曲线。[0076]为验证本发明算法的检测性能，本发明还在相同实验平台和训练数据集的条件下，对不同检测网络性能进行训练和对比测试，对比包含单阶段和两阶段目标检测算法，得到测试结果如下表2所示。本发明改进的st‑centernet网络结构相对于当前的比较流行的fasterr‑cnn和ssd在平均精度map上分别提高6.22％和7.23％。相对于fasterr‑cnn在检测精度和检测速度上都得到大幅提高。且在相同条件下，比未改进前的网络在map上提高了16％，检测速度略低于原网络，但都达到了实时检测效果，证明了本发明算法的可行性。[0077]表2ucas‑aod遥感飞机数据集测试结果[0078]table2ucas‑aodremotesensingaircraftdatasettestresults[0079][0080]rsod数据集实验结果[0081]为了进一步检验本发明算法，本发明另外选取rsod遥感数据集进行训练和测试，训练、测试集同样按9:1进行随机划分。该数据集较ucas‑aod数据集图片样本更复杂，存在遮挡、阴影、畸变等干扰因素。经过100个epoch后，改进前后的总损失都能达到稳定状态，改进前后总loss变化如图9所示。从图中可以看出，改进后的四种模型设计收敛速度和最终收敛值都优于原算法。分别对比c‑centernet和sc‑centernet以及t‑centernet和st‑centernet的损失变化可以看出，在水平特征融合模块引入注意力机制后，对模型的收敛速度有较大的提升，且最终收敛值优于未引入注意力机制前。[0082]测试过程中经过式6和式7算得改进前后模型检测输出的pr曲线，以效果最优的st‑centernet进行对比，如图10所示，其中图10中(a)为原算法的pr曲线，(b)为本发明算法pr曲线。[0083]同样在相同实验条件下使用两阶段算法faster‑rcnn和单阶段算法ssd与本发明改进的算法进行对比实验，对比结果如表3所示。[0084]表3rsod遥感飞机数据集测试结果[0085]table2rsodremotesensingaircraftdatasettestresults[0086][0087]由表3可以看出，本发明检测效果最优的st‑centernet算法较faster‑rcnn和ssd在精度精度上分别提高26.42％、43.41％，在检测精度上分别提升72frame/s和35frame/s。相比原centernet算法，在检测精度上提高了18.25％，减少了网络的误检和漏检率，且在一定程度上提升了小目标的检测率。此外，fps较原算法减低了0.06％，处于可接受的范围内，但仍优于faster‑rcnn算法和ssd算法，证明了本发明网络结构在遥感图像飞机目标检测上良好的鲁棒性。[0088]3.2.3可视化对比分析[0089]为了更加直观地观察改进前后的网络检测效果，选取改进后精度最高的st‑centernet网络结构，在实验样本中挑选几组有代表性的图片进行测试，对比改进前后算法的可视化图片，检测结果如图11所示。[0090]从图11中对比可以看出，当目标为分散小目标时，改进前后都能很好的检测到目标，但原算法存在误检问题，且改进后的算法目标置信度普遍高于改进前；当目标为密集小目标时，从中黄色标记处可以看出原算法存在大量漏检情况，改进后的算法漏检率降低。但仍存在个别漏检情况，如图中蓝色标记处；当目标处于背景较为复杂的建筑物旁时，原算法存在大量误检情况，改进后的算法误检率降低，只剩下个别误检情况需进一步优化。对比结果显示了本发明改进后的算法对小目标的检测有一定的提升效果，且误检率和漏检率降低。[0091]本发明还将改进后的st‑centernet分别与经典的双阶段检测算法fasterrcnn和单阶段检测算法ssd进行可视乎对比，对比结果如图12所示。[0092]从图12可以看出，fasterrcnn在检测目标的置信度方面优于本发明算法，但是仍存在小目标漏检情况，且由实验对比单张图片检测速度，本发明算法的检测速度高出fasterrcnn算法的8倍以上。相对于ssd算法，当目标与背景区分度较高时，本发明算法和ssd算法检测效果都很好，但是涉及到小目标时，ssd算法只能检测出两个有效目标，漏检率高，而本发明算法对小目标仍能有效检测。对比结果体现了本发明算法良好的鲁邦性和较好的检测效果。[0093]消融实验[0094]为进一步验证本发明算法中每个改进模块的有效性，本发明选取数据样本较为复杂的rsod遥感影像飞机数据集和实验结果精度最高的st‑centernet模型进行消融实验。实验结果如下表4所示。[0095]表4在rsod数据集上的消融实验[0096]table4ablationexperimentonrsoddataset[0097][0098]从表4可以看出，单独加入水平融合模块，准确率和召回率较原算法都有所提高，精度提高了16.63％。在水平融合模块中引入注意力机制进行优化各通道权重后，准确进一步提升，平均精度较未加入前和原算法分别提高了1.62％和18.25％，证明了本发明算法各模块的有效性。[0099]本发明尝试将精度和速度更为平衡的无锚框centernet算法应用到遥感图像飞机目标检测上，为了解决原centernet算法检测遥感图像时的误检高和小目标检测困难等问题，提出了一种多尺度通道注意力的检测方法。首先，使用“编码‑解码”结构进行特征提取。其次，[0100]针对小目标检测精度低的问题，引入一种水平连接模块融合了深层特征和浅层特征，以提高小目标检测性能。接着，为了提高检测精度和降低误检率，在水平连接模块中引入通道注意力模块优化各通道间的响应，聚焦感兴趣信息，抑制无用信息。最后在ucas‑aod和rsod公共遥感数据集上与其它主流算法进行对比实验，在ucas‑aod数据集上ap达到96.78％，相比于原centernet、fasterr‑cnn、ssd300分别提高了16％、6.22％、7.23％，且保持了一定的检测速度。实验结果表明，该方法在遥感图像飞机目标检测中不仅有较高的检测精度，同时保持了单阶段检测模型的速度优势，具有一定的实用价值。[0101]此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。当前第1页12当前第1页12
技术领域：
：，具体是一种基于中心点回归的深度学习目标检测方法。
背景技术：
：：2.遥感图像是由卫星拍摄，包含空间分辨率、时间分辨率、光谱分辨率等。遥感图像中的目标检测在民用和军事上有着重要的意义和应用价值，尤其是遥感图像中的飞机目标检测，可以为民航更高效的管理以及军事作战提供更多有价值的信息。不同于传统飞机图像，遥感图像飞机目标检测面临着多尺度、背景复杂以及图片内存占用大等难点。3.随着深度学习的快速发展，基于卷积神经网络的(convolutionalneuralnetworks,cnn)的目标检测方法已成为处理和识别遥感图像的趋势。当前，主流的深度学习目标检测算法可以分为两类：基于锚的方法和不基于锚的方法。其中，大多数基于锚的方法可分为单阶段和两阶段两类。ssd和yolo等单阶段方法可以在一阶段完成对象的分类和回归，其优点是检测速度非常快。两阶段方法，如r‑cnn、fastr‑cnn、fasterr‑cnn等，通常可以通过引入区域建议网络来获得更准确的检测结果。近年来，在提高基于锚的方法的准确性和效率上已经做了不少工作，并逐渐走向成熟。但由于基于锚的方法在检测性能上很大程度取决于正负样本数以及锚点的超参数，如锚点的大小，纵横比以及数量，目前仍然没有有效的方法来自动调整这些超参数，必须逐个手动进行校准，因此限制了它的普及。此外，基于锚的检测方法引入非极大抑制算法(non‑maximumsuppression,nms)来消除重复目标框，这使得算法复杂度、计算量等相应增加，造成最终检测速度也相应较慢，实时性较差。4.为了提高检测器的灵活性，无锚的方法应运而生，并受到广泛关注。无锚的方法不再依赖于预设的锚，其直接对输入学习图像的关键点或者密集区域进行特征提取与检测，并且可以通过回归适应各种对象。如cornernet使用单一的卷积神经网络来预测同一个对象类别的所有实例的左上角和右下角热图，以及每个检测到的角的嵌入向量，最后借鉴newell等人所提出联想嵌入方法对属于同一对象的一对角点进行匹配分组。extremenet通过预测每个对象类别的四张多峰值图来检测一个对象的四个极值点和中心点，并基于几何的方法将极值点分组到对象中，进而得到最终结果。centernet借鉴了cornernet相关思想，在其基础上改进，通过直接预测目标中心点进行物体检测，并通过回归方法得到其它对象属性，如大小、3d位置、方向、甚至姿态，此外其训练和测试无需nms、rpn等，较基于边界盒的检测器更简单、更快、更准确，真正实现了端到端。liu等人首次尝试使用centernet的无锚方法来解决遥感图像目标的检测问题，并在nwpuvhr‑10遥感数据集上评估centernet的各主干网络性能。zhang等人提出一种特征增强的中心点网络，将不同层之间引入水平连接，通过结合深层特征和浅层特征来提高遥感图像小目标检测精度，但检测速度有待提高。文献“基于单线程的无锚点目标检测模型”提出了一种单线程无锚点目标检测模型，使用沙漏骨干提取网络将多个预测分支整合为一个分支，具有与resnet和fpn结构相结合的模型近似的语义特征表征能力，节省了内存空间，且维持了小目标检测精度，但是存在特征提取效率低的问题。以上方法给经典的无锚方法直接用于遥感图像目标检测提供了一定思路，但对于遥感图像背景复杂、小目标、待测形状不一等问题造成的检测速度和精度上的平衡有待提升。技术实现要素：5.本发明的目的在于提供一种基于中心点回归的深度学习目标检测方法，解决原centernet算法检测遥感图像时的误检高和小目标检测困难等问题。6.本发明的技术方案：7.一种基于中心点回归的深度学习目标检测方法，包括以下具体步骤：8.在原centernet网络结构上引入水平连接模块将不同层之间的特征进行关联，融合了深层特征和浅层特征，以提高小目标检测性能；9.在水平连接模块中引入通道注意力模块，对不同通道间的特征响应进行自适应校准，改善了网络的特征提取能力；10.最后在ucas‑aod和rsod公共遥感数据集上进行对比实验。11.所述水平连接模块为featurefusion模块，即特征融合模块，featurefusion模块包括c‑centernet和t‑centernet，其中c‑centenet经过一个标准1×1卷积使融合前的特征层具有相同的空间大小，t‑centernet将c‑centernet中的标准卷积换成空洞卷积进行测试，由于不同图层中的每个特征值具有不同的比例，在卷积之后需经过批量归一化和relu激活处理。12.所述通道注意力模块为挤压‑激励注意力模块se‑net，所述挤压‑激励注意力模块首先对输入通道数为c的h×w的特征图进行挤压squeeze操作，得到通道数为c的1×1的特征图，然后将得到的特征图进行激发excitation操作，得到各通道之间的权重值，最后通过scale操作将原特征图乘以对应通道的权重得到新的特征图，完成包含有效信息通道的更新和无用信息通道的抑制。13.在ucas‑aod和rsod公共遥感数据集上进行对比实验，对比实验过程对数据集样本随机选取图片作为训练集，保持训练、测试集比为9:1，实验中取下采样率r为4，并使用adam优化器进行迭代训练，将输入图像统一缩放到分辨率为512×512，训练过程中的初始学习率为1e‑3，batch_size为4，训练50个epoch后，将学习率下降10倍，batch_size设为4，再训练50个epoch，此外，为了加快收敛速度，训练过程中对基于resnet‑50的backbone使用imagenet分类任务中得到的预训练权重。14.为验证基于中心点回归的深度学习目标检测方法的检测性能，在相同实验平台和训练数据集的条件下，对不同检测网络性能进行训练和对比测试，对比包含单阶段和两阶段目标检测算法，得到测试结果。15.与现有技术相比，本发明的有益效果是：解决原centernet算法检测遥感图像时的误检高和小目标检测困难等问题，该方法在遥感图像飞机目标检测中不仅有较高的检测精度，同时保持了单阶段检测模型的速度优势，具有一定的实用价值。附图说明16.图1是本发明的方法流程示意图。17.图2是本发明的经过改进的centernet网络结构示意图。18.图3是本发明的水平连接模块网络结构示意图。19.图4是本发明的挤压‑激励注意力模块示意图。20.图5是本发明的引入通道注意力模块后的水平连接模块网络结构示意图。21.图6是本发明引入注意力前后对比图。22.图7是ucas‑aod数据集上训练的总loss变化曲线图。23.图8是针对ucas数据集改进前后pr曲线对比图。24.图9是rsod数据集上训练的总loss变化曲线图。25.图10是针对rsod数据集上改进前后pr曲线对比图。26.图11是改进前后可视化对比结果。27.图12是与其余算法对比图。具体实施方式28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。29.centernet作为一种新的anchor‑free端到端目标检测算法，将对象的边界框中心使用一个点来代表，然后直接从中心位置周围的图像特征进行回归得到其他属性，如对象大小、方向、姿态等，使目标检测问题变成一个标准的关键点估计问题。具体步骤如下：输入一个i∈rw×h×3的图像，其中宽度为w，高度为h。通过卷积神经网络生成热图其中r为缩放尺寸，默认取r＝4，c为关键点类别数。当代表检测到关键点，代表背景。训练阶段，将groundtruth的关键点通过下式(1)高斯核分布到热力图上。[0030][0031]其中为目标真实点，x、y为预测中心点，σp为对象大小自适应的标准偏差。[0032]倘若同一类的两个高斯分布重叠，则取元素的最大值。zhou等人首先使用hourglass、resnet、dla等作为骨干网络来预测热图接着将骨干网络生成的特征图送入到检测模块中，该模块由三个分支组成，分别是heatmap、width‑height以及offset预测分支。每个分支包含一个3×3和一个1×1的卷积层组成，其中heatmap最终输出通道数与数据集所包含的类别数相关，如voc数据集中为20类，此时heatmap输出通道数取20，width‑height和offset最终输出通道数都为2，代表了预测中心点目标的长宽以及中心点横纵坐标的偏移量。最后将网络输出热力图中的相关信息提取出来并得到输入图像检测结果。[0033]centernet在遥感图像飞机目标检测中有很多优势。首先，它没有进行人为设定前景和背景分类的阈值，减少了对数据集正负样本的要求。其次，由于检测过程中每个目标只检测一个中心点，不需要计算量大且耗时的非极大值抑制(nms)，提高了检测速度。同时，也降低了由于锚机制带来的小目标检测和密集目标检测的难度。但是，实际遥感图像由于拍摄高度、角度等问题，图片中存在很多像素为个位数的小目标对象，这给centernet算法带来了很大挑战，直接将其应用于遥感图像检测很难有所突破，因此必须对centernet网络结构进行改进，使其更好的适应遥感图像数据集的检测，提高检测精度。[0034]为了使centernet算法更好地适应遥感图像中的飞机目标检测，解决图像中小目标检测精度低和误检率高的问题。本发明在centernet算法的基础上提出了一种多尺度通道注意力的检测方法。其网络结构如图2所示，较原centernet网络结构，引入了图中扩展结构，主要在以下2个方面改进：[0035](1)为了提高小目标的检测性能，本发明引入一种水平连接模块将不同层之间的特征进行关联，该方法融合了深层特征和浅层特征，有效地结合了深层特征语义信息强和浅层特征位置和纹理信息强的优点，对改善小目标检测有一定效果。[0036](2)为了提高检测的精度，在水平连接模块中加入通道注意力模块，对不同通道间的特征响应进行自适应校准，改善了网络的特征提取能力。[0037]中心点网络采用了“编码‑解码”的结构，能够通过网络的连续卷积操作学习高级语义信息。然而，遥感图像中的目标具有小而密的特点，经过一系列卷积将会使小目标特征聚集，造成漏检和误检等问题。为了改善小目标的特征表示，本发明引入一种水平连接模块将给定特征层与更高层特征图的特征进行融合。如图2所示，在centernet算法的网络结构中，本发明将conv1层和conv7层、conv2层和conv6层、conv3层和conv5层分别进行融合。由于这些特征层具有不同的空间大小，在进行融合之前，先经过一个“featurefusion”模块处理。针对该模块，本发明设计了如图3所示两种结构进行实验，并分别命名为c‑centernet和t‑centernet。其中c‑centenet经过一个标准1×1卷积使融合前的特征层具有相同的空间大小，t‑centernet将c‑centernet中的标准卷积换成空洞卷积进行测试。由于不同图层中的每个特征值具有不同的比例，在卷积之后需经过批量归一化和relu激活处理。[0038]注意力机制能够聚焦图像的局部信息，定位感兴趣信息，抑制无用信息。为了使模型更关注具有有效信息的通道，本发明在水平融合模块中引入挤压‑激励注意力模块(se‑net)。如图4所示，该模块首先对输入通道数为c的h×w的特征图进行挤压(squeeze)操作，得到通道数为c的1×1的特征图，对应图4中的全局池化(globalpooling)操作。然后将得到的特征图进行激发(excitation)操作，对应于图4中的两次全连接层和sigmoid操作，得到各通道之间的权重值。最后通过scale操作将原特征图乘以对应通道的权重得到新的特征图，完成包含有效信息通道的更新和无用信息通道的抑制。[0039]引入通道注意力机制后的“featurefusion”结构如图5所示。引入注意力前后的对比如图5所示，从图中箭头标记处可以看出，无注意力机制时，网络存在一些误检情况，引入注意力机制后，误检率降低，提高了检测精度。[0040]本发明算法的损失函数由中心点预测损失lk、偏置损失loff、宽高损失lsize三部分组成。[0041]centernet在预测热图中心点时，会生成很多目标中心点，而每个目标的中心点却是唯一的，造成负样本和正样本比例过大。因此，作者采用了基于centernet改进后的像素级逻辑回归focal‑loss损失函数来解决正负样本分布不均的问题。公式如下式2所示。[0042][0043]其中，α和β为focalloss的超参数，实验中分别取2和4。n为图像中关键点的数量。主要起将所有focalloss归一化的作用。为预测值，yxyc真实标签值。当yxyc等于1时，对于易区分的样本，预测值接近于1，使和接近于0，使最终lk很小。相反，对于难区分样本，预测值接近于0，则很大，使最终lk很大。当yxyc不等于1时，预测值理论值应该为0，如果该值较大，则会增大以起到一定惩罚作用。如果预测值接近于0，则会很小以减小损失比重。而(1‑yxyc)β在yxyc不等于1时，起到了弱化中心点周围负样本损失比重的作用。[0044]由于骨干提取网络处理后的特征图分辨率变为输入图像的四分之一，相当于输出特征图的一个像素点对应一个原图像4×4的区域，这就造成了很大的误差，因此，作者引入中心点偏置值并对偏置值采用l1损失函数进行训练，公式如下式3所示。[0045][0046]其中，n为图像中关键点的数量，p为目标框中心点，r为下采样因子，本发明取值为4。为偏置值。[0047]centernet预测所有的中心后，对每个对象回归到对象的大小为了减少计算负担，对每个目标种类使用单一的尺寸预测并使用l1损失函数对宽高损失lsize进行训练，公式如下式4所示。[0048][0049]总的损失ldet由上述各分支损失加权求和得到，满足如下式5所示关系：[0050]ldet＝lk λoffloff λsizelsizeꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(5)[0051]其中，权重λoff、λsize和λm分别取1、0.1和0.3。[0052]实验结果及分析[0053]数据集与实验环境[0054]为验证本发明算法结构的可行性，本实验在ucas‑aod遥感影像数据和rsod数据集中选取飞机类别图片进行网络训练和测试。其中，ucas‑aod数据集由中科院大学制作，包含飞机遥感图片1000张，飞机样本7482架，数据较为集中，且目标方向分布较为均匀。rsod数据集由武汉大学制作，包含飞机遥感图片446张，飞机样本4993架，图像中亮度和对比度多样，且存在遮挡、阴影、畸变等干扰。实验过程对数据集样本随机选取图片作为训练集，保持训练、测试集比为9:1，实验环境配置如下表1所示。[0055]表1实验环境配置[0056]table1experimentalenvironmentconfiguration[0057][0058]评价指标[0059]本发明采用当前目标检测的一套标准评价指标，包含准确率(accuacy)、精确度(precision)、召回率(recall)，以及模型每秒处理的图片数(framepersecond,fps)和平均精度(meanaverageprecision,map)，其中fps反应了模型的处理速度指标，map可以更好的衡量多召回率下的模型检测精度，涉及到的相关计算公式如下：[0060][0061][0062][0063]其中，tp代表正样本中被当做正样本的数量，fn代表正样本中被当成负样本的数量，fp代表负样本中被当成正样本的数量，tp fp为全部分为正样本的数量，tp fn为全部分为正样本的数量。[0064]预测结果tp和fp由交并比iou(intersectionoverunion)决定，当iou大于设定阈值，则记为tp，反之记为fp。设定不用置信度的阈值，将得到不同数量的检测框，阈值高，则得到的检测框数量少。反之，阈值低得到的检测框数量多。[0065]其中，iou由可下式9求得：[0066][0067]fps为模型每秒能检测的图片数量，代表了检测速度的快慢，可以由式10求得：[0068][0069]其中，n为被测样本数，t为测试全部样本所需的时间。[0070]训练细节[0071]实验中取下采样率r为4，并使用adam优化器进行迭代训练，将输入图像统一缩放到分辨率为512×512。训练过程中的初始学习率为1e‑3，batch_size为4，训练50个epoch后，将学习率下降10倍，batch_size设为4，再训练50个epoch。此外，为了加快收敛速度，训练过程中对基于resnet‑50的backbone使用imagenet分类任务中得到的预训练权重。[0072]实验结果分析[0073]ucas‑aod遥感影像数据集实验结果[0074]在ucas‑aod遥感影像数据集上经过漫长的100轮训练，损失基本达到稳定状态，训练过程中，原算法与本发明算法的损失函数变化对比如图7所示，该loss值为中心点预测损失、偏置损失和宽高损失三部分加权求和得到。从图中可以看出，改进前后loss都能趋于稳定。但是改进后的四种模型设计收敛速度较改进前都有所提高，且最终收敛值比改进前要好。此外，加入注意力机制后的sc‑centern和st‑centernet分别较其加入前的c‑centernet和t‑centernet收敛速度和收敛值都有所优化。其中，st‑centernet较其余几种改进，效果最优，收敛速度最快且收敛值更低。[0075]根据上述式6和式7可以计算得到改进前后模型检测输出的pr曲线，以效果最优的st‑centernet进行对比，如图8所示，其中图8中(a)为原算法的pr曲线，(b)为本发明算法pr曲线。[0076]为验证本发明算法的检测性能，本发明还在相同实验平台和训练数据集的条件下，对不同检测网络性能进行训练和对比测试，对比包含单阶段和两阶段目标检测算法，得到测试结果如下表2所示。本发明改进的st‑centernet网络结构相对于当前的比较流行的fasterr‑cnn和ssd在平均精度map上分别提高6.22％和7.23％。相对于fasterr‑cnn在检测精度和检测速度上都得到大幅提高。且在相同条件下，比未改进前的网络在map上提高了16％，检测速度略低于原网络，但都达到了实时检测效果，证明了本发明算法的可行性。[0077]表2ucas‑aod遥感飞机数据集测试结果[0078]table2ucas‑aodremotesensingaircraftdatasettestresults[0079][0080]rsod数据集实验结果[0081]为了进一步检验本发明算法，本发明另外选取rsod遥感数据集进行训练和测试，训练、测试集同样按9:1进行随机划分。该数据集较ucas‑aod数据集图片样本更复杂，存在遮挡、阴影、畸变等干扰因素。经过100个epoch后，改进前后的总损失都能达到稳定状态，改进前后总loss变化如图9所示。从图中可以看出，改进后的四种模型设计收敛速度和最终收敛值都优于原算法。分别对比c‑centernet和sc‑centernet以及t‑centernet和st‑centernet的损失变化可以看出，在水平特征融合模块引入注意力机制后，对模型的收敛速度有较大的提升，且最终收敛值优于未引入注意力机制前。[0082]测试过程中经过式6和式7算得改进前后模型检测输出的pr曲线，以效果最优的st‑centernet进行对比，如图10所示，其中图10中(a)为原算法的pr曲线，(b)为本发明算法pr曲线。[0083]同样在相同实验条件下使用两阶段算法faster‑rcnn和单阶段算法ssd与本发明改进的算法进行对比实验，对比结果如表3所示。[0084]表3rsod遥感飞机数据集测试结果[0085]table2rsodremotesensingaircraftdatasettestresults[0086][0087]由表3可以看出，本发明检测效果最优的st‑centernet算法较faster‑rcnn和ssd在精度精度上分别提高26.42％、43.41％，在检测精度上分别提升72frame/s和35frame/s。相比原centernet算法，在检测精度上提高了18.25％，减少了网络的误检和漏检率，且在一定程度上提升了小目标的检测率。此外，fps较原算法减低了0.06％，处于可接受的范围内，但仍优于faster‑rcnn算法和ssd算法，证明了本发明网络结构在遥感图像飞机目标检测上良好的鲁棒性。[0088]3.2.3可视化对比分析[0089]为了更加直观地观察改进前后的网络检测效果，选取改进后精度最高的st‑centernet网络结构，在实验样本中挑选几组有代表性的图片进行测试，对比改进前后算法的可视化图片，检测结果如图11所示。[0090]从图11中对比可以看出，当目标为分散小目标时，改进前后都能很好的检测到目标，但原算法存在误检问题，且改进后的算法目标置信度普遍高于改进前；当目标为密集小目标时，从中黄色标记处可以看出原算法存在大量漏检情况，改进后的算法漏检率降低。但仍存在个别漏检情况，如图中蓝色标记处；当目标处于背景较为复杂的建筑物旁时，原算法存在大量误检情况，改进后的算法误检率降低，只剩下个别误检情况需进一步优化。对比结果显示了本发明改进后的算法对小目标的检测有一定的提升效果，且误检率和漏检率降低。[0091]本发明还将改进后的st‑centernet分别与经典的双阶段检测算法fasterrcnn和单阶段检测算法ssd进行可视乎对比，对比结果如图12所示。[0092]从图12可以看出，fasterrcnn在检测目标的置信度方面优于本发明算法，但是仍存在小目标漏检情况，且由实验对比单张图片检测速度，本发明算法的检测速度高出fasterrcnn算法的8倍以上。相对于ssd算法，当目标与背景区分度较高时，本发明算法和ssd算法检测效果都很好，但是涉及到小目标时，ssd算法只能检测出两个有效目标，漏检率高，而本发明算法对小目标仍能有效检测。对比结果体现了本发明算法良好的鲁邦性和较好的检测效果。[0093]消融实验[0094]为进一步验证本发明算法中每个改进模块的有效性，本发明选取数据样本较为复杂的rsod遥感影像飞机数据集和实验结果精度最高的st‑centernet模型进行消融实验。实验结果如下表4所示。[0095]表4在rsod数据集上的消融实验[0096]table4ablationexperimentonrsoddataset[0097][0098]从表4可以看出，单独加入水平融合模块，准确率和召回率较原算法都有所提高，精度提高了16.63％。在水平融合模块中引入注意力机制进行优化各通道权重后，准确进一步提升，平均精度较未加入前和原算法分别提高了1.62％和18.25％，证明了本发明算法各模块的有效性。[0099]本发明尝试将精度和速度更为平衡的无锚框centernet算法应用到遥感图像飞机目标检测上，为了解决原centernet算法检测遥感图像时的误检高和小目标检测困难等问题，提出了一种多尺度通道注意力的检测方法。首先，使用“编码‑解码”结构进行特征提取。其次，[0100]针对小目标检测精度低的问题，引入一种水平连接模块融合了深层特征和浅层特征，以提高小目标检测性能。接着，为了提高检测精度和降低误检率，在水平连接模块中引入通道注意力模块优化各通道间的响应，聚焦感兴趣信息，抑制无用信息。最后在ucas‑aod和rsod公共遥感数据集上与其它主流算法进行对比实验，在ucas‑aod数据集上ap达到96.78％，相比于原centernet、fasterr‑cnn、ssd300分别提高了16％、6.22％、7.23％，且保持了一定的检测速度。实验结果表明，该方法在遥感图像飞机目标检测中不仅有较高的检测精度，同时保持了单阶段检测模型的速度优势，具有一定的实用价值。[0101]此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
