一种图像目标检测方法及系统与流程

1.本发明涉及图像目标检测技术领域，特别涉及一种图像目标检测方法及系统。


背景技术：

2.图像目标检测，也叫目标提取，是一种基于目标几何和统计特征的图像分割。它将目标的分割和识别合二为一，其准确性和实时性是整个系统的一项重要能力。尤其是在复杂场景中，需要对多个目标进行实时处理时，目标自动提取和识别就显得特别重要。
3.从过去的十多年来看，自然图像的目标检测算法大体上可以分为基于传统手工特征的时期，以及基于深度学习的目标检测时期。从技术发展上来讲，目标检测的发展则分别经历了“包围框回归”、“深度神经网络兴起”、“多参考窗口(multi-references，又称anchors)”、“难样本挖掘与聚焦”以及“多尺度多端口检测”几个里程碑式的技术进步。
4.最近两年基于深度学习的目标检测算法的发展有两条主线，第一条是基于objectproposal的检测主线，这条主线基本是按照r-cnn》》sppnet》》fast-rcnn》》faster-rcnn》》fpn发展的；另一条是最近一年提出的一体化卷积网络的检测主线，这条主线基本是按照yolo》》ssd》》retina-net发展的。在第二条主线中，人们抛弃了传统的粗检测 精检测的检测流程，经过单次检测即可直接得到最终的检测结果，因此有着更快的检测速度。
5.目前，虽然针对图像目标检测已有一些很成熟的算法，但存在部分算法ap(准确率)较低，尤其是对于小目标的物体检测准确率较低等问题。


技术实现要素：

6.本发明要解决的技术问题，在于提供一种图像目标检测方法及系统，通过基于注意力机制的图像目标检测方法，在提升总体识别准确率的情况下，进一步提升小目标物体的检测识别能力。
7.第一方面，本发明提供了一种图像目标检测方法，包括：
8.获取待检测图像，将所述待检测图像输入主干网络模块和空间网络模块分别提取特征，所述主干网络模块将多个卷积层提取的图像特征数据分别输入到空间网络模块和融合网络模块；
9.所述空间网络模块通过输入的待检测图像和主干网络模块输入的多个卷积层的图像特征数据获取高分辨率的空间特征，并在每一卷积层之后加入空间注意力机制加强空间信息，最后集成多个不同尺度的空间信息并输出；
10.所述融合网络模块将主干网络模块输入的多个卷积层的图像特征数据组合为深层特征和浅层特征，然后将所述深层特征和浅层特征进行组合并输出；
11.将所述空间网络模块和融合网络模块的输出特征以及主干网络模块后添加的卷积模块提取的输出特征作为回归和分类的依据，通过检测识别模块产生多个候选区域，然后通过过滤模块消除冗余候选区域，最后输出目标检测结果。
12.进一步地，所述主干网络模块的多个卷积层提取的图像特征数据分别通过对应的
多级注意力模块mam输入到空间网络模块的空间注意力机制sam，所述多级注意力模块mam用于获取多级别的特征信息，然后组合所述多级别的特征信息实现特征增强。
13.进一步地，所述多级注意力模块mam具体用于，将fn上采样后获得f
n-1
，将两个级别的特征fn和f
n-1
连接起来以获得组合特征f，然后通过具有批量正则化和非线性单元的3
×
3卷积来变换特征f，获得特征f'，所述多级注意力模块mam具有两个超参数：膨胀率d和压缩率r，当d＝4，r＝16时，最终特征m的公式如下：
[0014][0015]
其中，f'表示组合特征f卷积后的特征值，σ是sigmoid函数，bn是批量正则化，f3×3表示3
×
3空洞卷积，f7×7表示7
×
7空洞卷积，con表示卷积，maxpool表示最大池化。
[0016]
进一步地，所述主干网络模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层，所述融合网络模块将主干网络模块的第五卷积层以及第四卷积层的特征组合作为深层特征，将主干网络模块的第三卷积层和第二卷积层的特征组合作为浅层特征，然后所述深层特征和浅层特征组合形成融合注意力模块的输入特征，使用反卷积统一来自不同残差网络块的特征大小，让输入的w
×
h维特征具有d维通道；然后输入特征分两个路径进行池化，两个池化层的内核大小分别为2
×
2和4
×
4；接着对较小尺寸的特征进行上采样以获得与原始特征图相同的尺寸特征；最后，将两个特征的连接特征与输入特征相加，获得空间大小为w
×h×
2d的输出特征。
[0017]
进一步地，所述检测识别模块通过候选框提取算法产生多个先验框作为候选区域，所述过滤模块采用非极大抑制方法消除冗余候选区域。
[0018]
第二方面，本发明提供了一种图像目标检测系统，包括：主干网络模块、空间网络模块以及融合网络模块；
[0019]
所述主干网络模块和空间网络模块分别与输入端连接，所述主干网络模块中的多个卷积层分别与空间网络模块和融合网络模块连接，所述主干网络模块的输出端通过卷积模块与检测识别模块连接，所述空间网络模块和融合网络模块的输出端分别与所述检测识别模块连接，所述检测识别模块与过滤模块连接。
[0020]
进一步地，所述主干网络模块包括：包括第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层，所述第二卷积层与第一多级注意力模块mam连接，所述第三卷积层与第二多级注意力模块mam连接，所述第四卷积层与第三多级注意力模块mam连接，所述第三多级注意力模块、第二多级注意力模块与第一多级注意力模块依次连接，所述第三多级注意力模块、第二多级注意力模块以及第一多级注意力模块与空间网络模块连接，所述第二卷积层、第三卷积层、第四卷积层以及第五卷积层均分别与所述融合网络模块连接。
[0021]
进一步地，所述空间网络模块包括第一卷积层、第二卷积层、第三卷积层以及ppm模块，所述第一卷积层通过第一空间注意力机制sam与第二卷积层连接，所述第二卷积层通过第二空间注意力机制sam与第三卷积层连接，所述第三卷积层通过第三空间注意力机制sam与ppm模块连接，所述第一空间注意力机制sam的输入端与所述主干网络模块的第一多级注意力模块mam连接，所述第二空间注意力机制sam的输入端与所述主干网络模块的第二多级注意力模块mam连接，所述第三空间注意力机制sam的输入端与所述主干网络模块的第三多级注意力模块mam连接。
[0022]
进一步地，所述融合网络模块将主干网络模块的第五卷积层以及第四卷积层的特
征组合作为深层特征，将主干网络模块的第三卷积层和第二卷积层的特征组合作为浅层特征，然后所述深层特征和浅层特征组合形成融合注意力模块的输入特征，使用反卷积统一来自不同残差网络块的特征大小，让输入的w
×
h维特征具有d维通道；然后输入特征分两个路径进行池化，两个池化层的内核大小分别为2
×
2和4
×
4；接着对较小尺寸的特征进行上采样以获得与原始特征图相同的尺寸特征；最后，将两个特征的连接特征与输入特征相加，获得空间大小为w
×h×
2d的输出特征。
[0023]
进一步地，所述主干网络模块的多个卷积层提取的图像特征数据分别通过对应的多级注意力模块mam输入到空间网络模块的空间注意力机制sam，所述多级注意力模块mam用于获取多级别的特征信息，然后组合所述多级别的特征信息实现特征增强；
[0024]
所述多级注意力模块mam具体用于，将fn上采样后获得特征f
n-1
，将两个级别的特征fn和f
n-1
连接起来以获得组合特征f，然后通过具有批量正则化和非线性单元的3
×
3卷积来变换特征f，获得特征f'，所述多级注意力模块mam具有两个超参数：膨胀率d和压缩率r，当d＝4，r＝16时，最终特征m的公式如下：
[0025][0026]
其中，f'表示组合特征f卷积后的特征值，σ是sigmoid函数，bn是批量正则化，f3×3表示3
×
3空洞卷积，f7×7表示7
×
7空洞卷积，con表示卷积，maxpool表示最大池化。
[0027]
本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
[0028]
1、通过增加空间网络模块，并在融合网络模块中对深层特征、浅层特征进行组合，解决了传统卷积神经网络中多层卷积后浅层信息丢失的问题，对于小物体的目标检测方面有一定的提升；
[0029]
2、利用主干网络中的mam模块(多级注意力模块)集成多级特征可以显着提高性能。与没有多级注意力模块的基线网络相比，可以大力提升map(均值平均精度)指标。
[0030]
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
[0031]
下面参照附图结合实施例对本发明作进一步的说明。
[0032]
图1为本发明实施例一方法的流程图；
[0033]
图2为本发明实施例一中整体网络结构示意图；
[0034]
图3为本发明实施例一中空间网络结构示意图；
[0035]
图4为本发明实施例一中主干网络结构示意图；
[0036]
图5为本发明实施例一中融合网络结构示意图；
[0037]
图6为本发明实施例二中装置的结构示意图。
具体实施方式
[0038]
本技术实施例通过提供一种图像目标检测方法及系统，通过基于注意力机制的图像目标检测方法，在提升总体识别准确率的情况下，进一步提升小目标物体的检测识别能力。
[0039]
本技术实施例中的技术方案，总体思路如下：
[0040]
基于two-stage的技术路线，采用基于注意力机制的网络结构提取图像特征，而后采用区域生成网络(region proposal network，rpn)生成候选区域方法，最后采用非极大值抑制(nms，non-maximum suppression)去除多余的侯选框，得到最终的检测结果。
[0041]
整体过程为：输入图片，图片经主干网络(本发明基于resnet101)和空间网络提取特征。主干网络将卷积后的图像特征数据输入到空间网络模块和融合网络模块。空间网络、主干网络和融合网络模块的输出特征，以及后续添加的卷积层的输出特征，作为后续回归和分类的依据。rpn算法产生多个先验框，通过nms进行过滤，得到最终的目标检测结果。
[0042]
1、采用多分支目标检测网络，有效提升小物体的检测效果
[0043]
一阶段目标检测算法精度不够高的问题，这主要是因为基于自底向上的深度学习卷积神经网络，对所有特征一视同仁的处理，往往浅层信息在经过多层卷积后会被丢失。在本发明方案中，通过增加空间网络模块，在融合网络模块中对深层特征、浅层特征进行组合，解决了传统卷积神经网络中多层卷积后浅层信息丢失的问题，对于小物体的目标检测方面有一定的提升。
[0044]
2、采用多级注意力模块，提升目标检测准确率
[0045]
注意力机制研究重点就是使得卷积神经网络像人类一样关注重要信息忽略无关信息。视觉注意力机制应用到目标检测中，可以有效增强目标在复杂场景中的显著性，从而使注意力集中在这些显著性区域，有针对性地提高目标检测的准确率。本发明利用主干网络中的mam模块(多级注意力模块)集成多级特征可以显着提高性能。与没有多级注意力模块的基线网络相比，可以大力提升map(均值平均精度)指标。
[0046]
实施例一
[0047]
本实施例提供一种图像目标检测方法，如图1所示，包括：
[0048]
获取待检测图像，将所述待检测图像输入主干网络模块和空间网络模块分别提取特征，所述主干网络模块将多个卷积层提取的图像特征数据分别输入到空间网络模块和融合网络模块；
[0049]
所述空间网络模块通过输入的待检测图像和主干网络模块输入的多个卷积层的图像特征数据获取高分辨率的空间特征，并在每一卷积层之后加入空间注意力机制加强空间信息，最后集成多个不同尺度的空间信息并输出；
[0050]
所述融合网络模块将主干网络模块输入的多个卷积层的图像特征数据组合为深层特征和浅层特征，然后将所述深层特征和浅层特征进行组合并输出；
[0051]
将所述空间网络模块和融合网络模块的输出特征以及主干网络模块后添加的卷积模块提取的输出特征作为回归和分类的依据，通过检测识别模块产生多个候选区域，然后通过过滤模块消除冗余候选区域，最后输出目标检测结果。
[0052]
本发明方法的一种具体实施方式：
[0053]
所述主干网络模块的多个卷积层提取的图像特征数据分别通过对应的多级注意力模块mam输入到空间网络模块的空间注意力机制sam，所述多级注意力模块mam用于获取多级别的特征信息，然后组合所述多级别的特征信息实现特征增强。
[0054]
所述多级注意力模块mam具体用于，将fn上采样后获得f
n-1
，将两个级别的特征fn和f
n-1
(fn表示第n层卷积后的特征，f
n-1
表示对fn进行上采样后的特征)连接起来以获得组合特
征f，然后通过具有批量正则化和非线性单元的3
×
3卷积来变换特征f，获得特征f'，所述多级注意力模块mam具有两个超参数：膨胀率d和压缩率r，当d＝4，r＝16时，最终特征m的公式如下：
[0055][0056]
其中，f'表示组合特征f卷积后的特征值，σ是sigmoid函数，bn是批量正则化，f3×3表示3
×
3空洞卷积，f7×7表示7
×
7空洞卷积，con表示卷积，maxpool表示最大池化。
[0057]
所述主干网络模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层，所述融合网络模块将主干网络模块的第五卷积层以及第四卷积层的特征组合作为深层特征，将主干网络模块的第三卷积层和第二卷积层的特征组合作为浅层特征，然后所述深层特征和浅层特征组合形成融合注意力模块的输入特征，使用反卷积统一来自不同残差网络块的特征大小，让输入的w
×
h维特征具有d维通道；然后输入特征分两个路径进行池化，两个池化层的内核大小分别为2
×
2和4
×
4；接着对较小尺寸的特征进行上采样以获得与原始特征图相同的尺寸特征；最后，将两个特征的连接特征与输入特征相加，获得空间大小为w
×h×
2d的输出特征。
[0058]
所述检测识别模块通过候选框提取算法产生多个先验框作为候选区域，所述过滤模块采用非极大抑制方法消除冗余候选区域。
[0059]
如图2所示，一种具体实现方式如下：
[0060]
一、网络模型设计
[0061]
1.空间网络
[0062]
目的：解决自底向上的cnn结构中空间信息缺失的问题，提高网络对物体空间结构信息的处理能力。
[0063]
本发明实施例的空间网络模块，可以使用三个步长为2的3
×
3卷积核获取高分辨率的空间特征，并在卷积层之间加入空间注意力机制(spatial attention module，sam)来有所针对的加强空间信息，接着特征中不同位置的空间信息由特征金字塔模块(feature pyramid networks，fpn)处理，最后输出图像的特征。
[0064]
空间网络模块通过三个步长为2的3
×
3卷积层组成(conv1、conv2和conv3)，在保留大量丰富的空间细节同时，参数量增加不多。卷积操作之后，利用批量正则化(batch normalization，bn)和修正线性单元(rectified linear unit,relu)进行归一化和激活。空间视觉注意模块被附加到每个卷积层之后，它被设计用来调整输出特征，以自适应的获取感兴趣的空间区域。空间注意力机制的应用体现在空间注意力模块的使用。
[0065]
空间网络模块的结构如图3，其中空间注意力机制(spatial attention module，sam)被用来学习多个等级类型特征的权重，其输入来源于主干网络mam(multi-level attention module，多级注意力模块)模块的输出特征，以及本模块中前置卷积层的输出特征。较小尺寸的特征图将进行上采样，以匹配不同输入特征的尺寸。将这些特征连接起来以形成组合特征，然后用具有批量正则化和修正线性单元的3
×
3卷积进行卷积形成特征m。接着特征m进行全局平均池化。全局平均池化输出结果与特征m相乘用于生成全局空间信息。池化的目的是识别出更有差别性的区域，推断出更细微的注意力。最后，将经卷积后的特征m与全局空间信息相加得到空间注意力模块的输出特征。空间注意力模块不仅结合了空间网络和主干网络的特征，并通过学习特征权重来进行特征细化，以提高网络的性能。
[0066]
这些层之后是一个空间金字塔池化模块(spatial pyramid pooling,spp)，用于集成多个不同尺度的空间信息。其目的是通过空间金字塔池化层，将多尺度特征数据转换到固定纬度，作为全连接层的输入，送入全连接层，如下图所示。其使得任意大小的特征图都能够转换成固定大小的特征向量。
[0067]
2.主干网络
[0068]
目的：引入新颖的多级注意力模块，以结合多级特征并向空间网络提供增强后的特征。其次，将不同块之间的特征图连接起来，来生成用于融合网络模块的深层特征块和浅层特征块。
[0069]
主干网络完整结构如图4。本实施例提出的算法中，采用resnet101并在采用多个公开的数据集上进行了预训练，作为所设计的主干网络的主干网。本方案采用的公开数据集包括：voc-2012、ilsvrc-2017、ms-coco-2018、oid-2018等。
[0070]
本模块中的多级注意力模块(multi-level attention module，mam)，其目的是利用cnn拥有的多个级别的特征，并组合这些特征。mam捕获这些多级别的特征信息，优化特征信息，并将处理后的特征输入到空间网络模块中进一步加工。本模块主干网络卷积层的输出特征进行下一步的回归和分类。
[0071]
mam采用级联来组合多级特征。将fn上采样后获得f
n-1
，两个级别的特征fn和f
n-1
(fn表示第n层卷积后的特征，f
n-1
表示对fn进行上采样后的特征)连接起来以获得组合特征f。通过具有批量正则化和非线性单元的3
×
3卷积来变换特征f，获得特征f'。
[0072]
在使用1
×
1卷积减少特征通道后，并行使用3
×
3空洞卷积，7
×
7空洞卷积来扩大感受野。1
×
1卷积的作用不仅是升维与降维，还有融合各类特征信息的作用。该模块具有两个超参数：膨胀率(d)和压缩率(r)。膨胀率决定了感受野的大小，并有助于聚集上下文信息。压缩率改变通道的数量，从而决定计算开销。经过对比实验验证，我们设置{d＝4,r＝16}时，可以获得最佳性能。最终特征m可以用公式如下：
[0073][0074]
其中σ是sigmoid函数，bn是批量正则化，f3x3和f7
×
7分别各自表示3
×
3空洞卷积以及7
×
7空洞卷积。
[0075]
3.融合网络模块
[0076]
目的：为了进一步提高目标检测算法的性能，设计本融合网络模块，该模块组合了不同比例的特征信息，以确保实现复杂背景中目标的精确定位。
[0077]
融合网络模块的网络结构图如图5所示。将conv5和conv4的特征组合作为深层特征，将conv2和conv3的特征组合作为浅层特征，然后深层块特征和浅层块特征组合以形成融合注意力模块的输入特征。我们使用反卷积来统一来自不同残差网络块的特征大小，让输入的w
×
h维特征具有d维通道。
[0078]
然后输入特征分两个路径进行池化，两个池化层的内核大小分别为2
×
2和4
×
4。接着对较小尺寸的特征进行上采样以获得与原始特征图相同的尺寸特征。最后，将两个特征的连接特征与输入特征相加，以获得空间大小为w
×h×
2d的输出特征。输出的特征作为多尺度预测特征之一，用来进行最终的预测。
[0079]
本模块中，通过采用不同位置特征的局部上下文来增强输入特征图的每个空间位置。不同池化层特征的组合不仅扩大了感受野，且更好地利用了多尺度上下文信息。
[0080]
二、候选区域生成
[0081]
本实施例采用fpn(feature pyramid networks，特征金字塔)生成候选区域，也可以采用其它现有技术生成候选区域。
[0082]
三、候选区域筛选
[0083]
本实施例采用非极大值抑制(non-maximum suppression，nms)对上一步骤产生的获选区域进行筛选，其目的是提取置信度高的目标检测框，而抑制置信度低的误检框。其执行步骤为：将所有框的得分排序，选中最高分及其对应的框；遍历其余的框，如果和当前最高分框的重叠面积(iou)大于一定阈值，就将框删除。从未处理的框中继续选一个得分最高的，重复上述过程。直到完成最终的筛选。
[0084]
本发明实施例通过设计新的三分支注意力目标检测模型，由空间网络，主干网络和融合网络模块三个分支组成。后续实验将证明，它在目标检测性能上能达到非常有竞争力的结果。新颖的空间注意力模块、多级注意力模块、上下文注意力模块以及金字塔池化模块，这些模块稍加修改后可以适用于其它视觉任务的网络架构中。
[0085]
基于同一发明构思，本技术还提供了与实施例一中的方法对应的装置，详见实施例二。
[0086]
实施例二
[0087]
在本实施例中提供了一种图像目标检测系统，如图6所示，包括：主干网络模块、空间网络模块以及融合网络模块；
[0088]
所述主干网络模块和空间网络模块分别与输入端连接，所述主干网络模块中的多个卷积层分别与空间网络模块和融合网络模块连接，所述主干网络模块的输出端通过卷积模块与检测识别模块连接，所述空间网络模块和融合网络模块的输出端分别与所述检测识别模块连接，所述检测识别模块与过滤模块连接。
[0089]
图像目标检测系统的一具体实现方式，所述主干网络模块包括：包括第一卷积层、第二卷积层、第三卷积层、第四卷积层以及第五卷积层，所述第二卷积层与第一多级注意力模块mam连接，所述第三卷积层与第二多级注意力模块mam连接，所述第四卷积层与第三多级注意力模块mam连接，所述第三多级注意力模块、第二多级注意力模块与第一多级注意力模块依次连接，所述第三多级注意力模块、第二多级注意力模块以及第一多级注意力模块与空间网络模块连接，所述第二卷积层、第三卷积层、第四卷积层以及第五卷积层均分别与所述融合网络模块连接。
[0090]
所述空间网络模块包括第一卷积层、第二卷积层、第三卷积层以及ppm模块，所述第一卷积层通过第一空间注意力机制sam与第二卷积层连接，所述第二卷积层通过第二空间注意力机制sam与第三卷积层连接，所述第三卷积层通过第三空间注意力机制sam与ppm模块连接，所述第一空间注意力机制sam的输入端与所述主干网络模块的第一多级注意力模块mam连接，所述第二空间注意力机制sam的输入端与所述主干网络模块的第二多级注意力模块mam连接，所述第三空间注意力机制sam的输入端与所述主干网络模块的第三多级注意力模块mam连接。
[0091]
所述融合网络模块将主干网络模块的第五卷积层以及第四卷积层的特征组合作为深层特征，将主干网络模块的第三卷积层和第二卷积层的特征组合作为浅层特征，然后所述深层特征和浅层特征组合形成融合注意力模块的输入特征，使用反卷积统一来自不同
残差网络块的特征大小，让输入的w
×
h维特征具有d维通道；然后输入特征分两个路径进行池化，两个池化层的内核大小分别为2
×
2和4
×
4；接着对较小尺寸的特征进行上采样以获得与原始特征图相同的尺寸特征；最后，将两个特征的连接特征与输入特征相加，获得空间大小为w
×h×
2d的输出特征。
[0092]
所述主干网络模块的多个卷积层提取的图像特征数据分别通过对应的多级注意力模块mam输入到空间网络模块的空间注意力机制sam，所述多级注意力模块mam用于获取多级别的特征信息，然后组合所述多级别的特征信息实现特征增强；
[0093]
所述多级注意力模块mam具体用于，将fn上采样后获得f
n-1
，将两个级别的特征fn和f
n-1
连接起来以获得组合特征f，然后通过具有批量正则化和非线性单元的3
×
3卷积来变换特征f，获得特征f'，所述多级注意力模块mam具有两个超参数：膨胀率d和压缩率r，当d＝4，r＝16时，最终特征m的公式如下：
[0094][0095]
其中，f'表示组合特征f卷积后的特征值，σ是sigmoid函数，bn是批量正则化，f3×3表示3
×
3空洞卷积，f7×7表示7
×
7空洞卷积，con表示卷积，maxpool表示最大池化。
[0096]
本技术实施例中提供的技术方案，通过增加空间网络模块，并在融合网络模块中对深层特征、浅层特征进行组合，解决了传统卷积神经网络中多层卷积后浅层信息丢失的问题，对于小物体的目标检测方面有一定的提升；利用主干网络中的mam模块(多级注意力模块)集成多级特征可以显着提高性能。与没有多级注意力模块的基线网络相比，可以大力提升map(均值平均精度)指标。
[0097]
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。