一种基于特征融合与注意力机制的目标检测方法

1.本发明属于红外目标检测领域，具体涉及基于一种基于特征融合与注意力机制的目标检测方法。


背景技术：

2.目标检测技术作为图像处理与计算机视觉领域的重要分支，一直都是人们研究关注的焦点。目标检测，也叫目标提取，其本质是在给定图像中对多目标进行分类与精确定位。与可见光成像不同，红外成像是一种被动的成像技术，其通过探测物体自身发出的红外热辐射来进行成像，具有探测距离远、穿透力强、可全天时工作等优点。因此，将目标检测与红外成像系统相结合的红外目标检测技术可以有效弥补可见光检测的不足，进一步满足不同行业对检测技术的要求。
3.近年来，深度学习算法在图像处理领域表现出优异的性能，与传统手工设计特征不同，它通过卷积神经网络自动提取特征，具有良好的鲁棒性与可移植性。因此，基于深度学习来构建红外目标检测算法具有重要的研究价值。其中ssd检测算法利用骨干网络和额外添加的卷积层生成6组尺度不同的特征图，以实现对候选框类别及坐标的预测。卷积层的深度不同，其特征图包含的图像信息也不尽相同。其中，浅层特征图包含图像的纹理、位置等信息，但是提取的特征不全面；深层特征图包含更丰富的语义信息，但在卷积过程中失去了很多细节。ssd只是单独地将各分支信息输入检测模块，各层特征之间没有相互联系和补充。另外，由于红外图像中目标信息不明显且特征结构稀疏，复杂的背景环境也易导致目标漏检、误检等现象。


技术实现要素：

4.为克服上述现有技术的缺点，本发明的目的在于提供一种基于特征融合与注意力机制的目标检测方法，通过对传统ssd检测算法进行改进，加强检测分支的表达能力，提升网络表达能力，抑制无关信息带来的影响，从而解决因背景复杂等原因导致的漏检、误检问题。
5.为实现上述目标，本发明采取的技术方案是：
6.一种基于特征融合与注意力机制的目标检测方法，包括如下步骤：
7.步骤1，将红外图像输入mobilenet网络进行逐层卷积计算，得到不同尺度的特征图，其中dws11、dws13、dws14_2、dws15_2、dws16_2和dws17_2这6层特征图是用于检测的特征金字塔图像；
8.步骤2，建立双向特征融合模块ibfpn，将所述用于检测的特征金字塔图像输入ibfpn，以进行上下层信息的相互融合；
9.步骤3，经过ibfpn后，将各融合特征层输入到注意力模块ecbam，通过ecbam为不同的特征赋予不同的比重；
10.步骤4，将经ibfpn和ecbam处理的dws11、dws13、dws14_2、dws15_2、dws16_2和
dws17_2送入检测模块进行检测，获取每个候选框的类别及相应的边界框，得到预测结果；
11.步骤5，将预测结果进行非极大值抑制，删除多余的目标框，获得最终的检测结果。
12.在一个实施例中，所述步骤2，针对用于检测的各特征图，相较于传统的ssd算法直接将特征图进行检测，本发明在检测前先将各特征图输入双向特征融合模块ibfpn，以进行上下层信息的相互融合。其中ibfpn是在传统双向金字塔网络的基础上，构建残差特征增强模块rfa以加强顶层特征，并且引入自底向上的融合路径，同时针对同一层级，加入一条从起始输入到输出的连接。
13.在一个实施例中，所述步骤2，进行上下层信息相互融合的步骤如下：
14.步骤2.1，在前向传播过程中由传统ssd目标检测模型生成的各金字塔特征层次依次为{c1、c2、c3、c4、c5、c6}，分别对应步骤一中的dws11、dws13、dws14_2、dws15_2、dws16_2和dws17_2；
15.步骤2.2，将c6层特征输入rfa残差特征增强模块改进其特征表示，得到具有多尺度上下文信息的输出特征层r6，即rfa(c6)；
16.步骤2.3，将r6与经1
×
1卷积降维后的c6相加融合得到顶层特征c6_td；
17.步骤2.4，将c1～c5分别经1
×
1卷积降维，得到特征c5_in～c1_in；
18.步骤2.5，利用如下公式将c1_in～c6_in自顶向下进行融合：
19.c6_td＝conv(c6) rfa(c6)
20.c5_td＝conv(c5) resize(c6_td)
[0021][0022]
c1_td＝conv(c1) resize(c2_td)
[0023]
其中，conv是用于特征通道降维的1
×
1卷积运算，conv(c6)～conv(c1)即c6_in～c1_in，rfa(*)是对特征图进行残差特征增强，resize是为了使不同层分辨率匹配采取的上采样操作，“ ”表示对应位置元素相加；c1_td～c6_td是相加融合后得到的顶层特征；
[0024]
步骤2.6，自底向上，将低层特征融合到高层，使每一层不仅具有高层的强语义信息同时也有低层的强细节定位信息，并加入一条从起始输入到输出的连接，以在不增加参数量的情况下融合更多的特征，得到融合特征层c1_out～c6_out，融合公式如下：
[0025]
c1_out＝c1_td＝c1_in resize(c2_td)
[0026]
c2_out＝c2_td resize(c1_out) c2_in
[0027][0028]
c6_out＝c6_td resize(c5_out) c6_in
[0029]
c1_out～c6_out即c1～c6经过ibfpn后输出的多尺度特征融合的特征层。
[0030]
在一个实施例中，所述残差特征增强模块rfa是在传统res残差结构中结合augfpn中残差特征增强的思想，并融入自适应空间融合模块(adaptive spatial fusion，asf)。无论在fpn还是双向特征金字塔中，最高层的特征都是自顶向下的上采样传播，并逐渐与较低层的特征融合。在此过程中，较低层的特征被来自高层的语义信息增强，自然使融合后的特征包含了不同的上下文信息；然而由于调整尺寸，最高层特征的通道维度被压缩，这就会导致部分信息的丢失。针对这种情况，本发明设计的rfa通过残差特征增加上下文信息，以减少最高层特征的损失，以提高金字塔的性能。
[0031]
示例地，所述上采样操作为双线性插值。
[0032]
在一个实施例中，所述注意力模块ecbam是在原始卷积注意力模块(convolutional block attention module，cbam)基础上进行改进得到的。其主要包含通道注意力和空间注意力两个模块，其中通道注意力模块重点关注不同特征通道的重要程度，包括平均池化层avgpool和最大池化层maxpool，一维卷积模块和sigmoid映射模块，空间注意力模块重点关注特征在不同空间的重要程度，侧重于“何处”是信息部分，该模块与通道注意是互补，包括平均池化层avgpool和最大池化层maxpool及堆叠模块和sigmoid映射模块。
[0033]
在一个实施例中，所述步骤3，为不同的特征赋予不同比重的步骤如下：
[0034]
步骤3.1，将步骤2中每个融合特征层分别输入到ecbam，将输入的融合特征层(步骤2的输出c1_out～c6_out)设为其中h、w分别为每个融合特征层的高和宽，c为融合特征层的通道数；对于首先分别经过平均池化和最大池化压缩，得到两个特征图和
[0035]
步骤3.2，ecbam考虑每个通道及其相邻k个通道的交互，对i
avg
、i
max
分别使用大小为k的一维卷积进行运算；
[0036]
步骤3.3，将步骤3.2处理后的两部分结果进行元素相加，并经过sigmoid激活函数将各通道特征映射到(0,1)内，得到不同通道的权重系数mc(i)，其计算方法如下：
[0037][0038]
其中，σ为sigmoid激活函数，是大小为k的一维卷积，k的大小通过下式自适应地确定：
[0039][0040]
其中c表示融合特征层的通道数，| |
odd
表示取结果最接近的奇数，γ＝2，b＝1；
[0041]
步骤3.4，将mc与融合特征层相乘，得到通道注意力特征图i'，
[0042]
步骤3.5，以i'为新的输入特征图输入到空间注意力模块，对i'同一特征点的所有通道分别取平均池化和最大池化，得到和
[0043]
步骤3.6，将和堆叠后再进行标准卷积；
[0044]
步骤3.7，使用sigmoid激活函数获取i'的空间权重ms(i
′
)，计算过程如下：
[0045]ms
(i
′
)＝σ(f7×7([avgpool(i
′
)；maxpool(i
′
)])
[0046]
＝σ(f7×7([ia′
vg
；i
′
max
])
[0047]
其中，f7×7是大小为7
×
7的卷积核。
[0048]
步骤3.8，将得到的空间权重ms(i
′
)与通道注意力特征图相乘，得到最终的可以送去检测的特征图，此时的特征图是经ibfpn和ecbam处理后的dws11、dws13、dws14_2、dws15_2、dws16_2和dws17_2特征图。
[0049]
与现有技术相比，本发明的有益效果如下：
[0050]
本发明设计的基于特征融合与注意力机制的ssd检测算法在精度方面超越了其他算法。其中，相比于原始的ssd_vgg16算法，本发明算法检测精度和算法效率分别提升了3.04％和0.9fps；相比于ssd_mobilenet算法，本发明算法检测精度提升了5.15％；dssd算法精度接近本发明算法，但其检测速度却低于本发明算法。
附图说明
[0051]
图1为特征金字塔网络fpn及局部结构示意图。
[0052]
图2为残差特征增强模块结构示意图。
[0053]
图3为双向特征金字塔网络模块ibfpn结构示意图。
[0054]
图4为卷积注意力模块ecbam结构示意图。
[0055]
图5为通道注意力模块结构示意图。
[0056]
图6为空间注意力模块结构示意图。
[0057]
图7为本发明实际对车和行人的检测结果。
[0058]
图8为本发明在汽车环境相互遮挡的情况下的检测结果。
具体实施方式
[0059]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0060]
本发明主要对红外场景下的目标进行研究，为论证本发明方法的有效性，采用红外数据集flir进行算法的分析验证。实验均使用ubuntu16.04操作系统，并搭载nvidia-gtx1050ti显卡。算法均使用python3.6.6进行编写，使用cuda9.0.136并行开发架构，并通过pytorch框架来进行算法模型的搭建、训练和测试。检测模型的整体训练过程分为两个阶段：冻结阶段和解冻阶段。在冻结阶段训练参数时，将模型的主干网络进行冻结，此时特征提取网络不会改变，每一批次的数量batch_size为16，学习率为0.0005，共训练50个epoch；在解冻训练阶段，对整体模型进行训练，所有参数都会发生变化，此时每一批次的数量batch_size为8，学习率为0.0001，共训练100个epoch。基本流程如下：
[0061]
步骤1，将红外图像输入传统的轻量化网络mobilenet进行逐层卷积计算，得到不同尺度的特征图，其中dws11、dws13、dws14_2、dws15_2、dws16_2和dws17_2这6层特征图是用于检测的特征金字塔图像；
[0062]
步骤2，ssd采取的是金字塔特征层次的检测方式将图像输入特征提取网络并进行正向传播，可以得到不同尺度的特征图，而后再针对各个特征图分别进行预测。这种方式通过卷积自然地生成了不同尺度的特征，没有额外的计算量，但是每次预测只利用到了一层的特征，不同层次特征之间没有信息的交流和补充。具体地，ssd检测算法中卷积层的深度不同，其特征图包含的图像信息也不尽相同。其中，浅层特征图包含图像的纹理、位置等信息，但是提取的特征不全面；深层特征图包含更丰富的语义信息，但在卷积过程中失去了很多细节。传统ssd检测算法只是单独地将各分支信息输入检测模块，各层特征之间没有相互联系和补充。在ssd算法中加入fpn结构可以对浅层特征进行逐层加强，但是浅层特征中含
有的位置信息没有被有效的传递到深层特征中。
[0063]
因此，本发明在原来金字塔特征层次的基础上建立了一种能够有效传递浅层信息的双向特征融合模块ibfpn。将用于检测的特征金字塔图像输入ibfpn，进行上下层信息的相互融合，从而提升目标的检测性能。
[0064]
步骤2.1，特征金字塔网络是最典型的多尺度融合模块，它通过对顶层特征进行连续上采样，并与其它层的特征相融合便可得到加强后的特征图，这些特征图又重新构成了新的特征金字塔层次，将其输入检测模块即可进行目标类别和位置的预测。如图1所示，fpn结构可主要分为两部分，一是图中左边自底向上的路径，二是右边自顶向下的路径和中间的同层横向连接。
[0065]
自底向上的路径，其实也就是基础网络前向卷积运算的过程。在该过程中，特征图会经过一系列卷积核，在经过步长为2的卷积核后，特征图大小缩减到原来的一半，经过步长为1的卷积核后其尺寸保持不变，因此将这些尺寸相同且相邻的卷积层看作同一阶段。由于随着卷积的加深，网络提取到的语义信息也会更丰富，故将每阶段最后一层特征图做为该尺度特征的代表，不同尺度的代表特征图构成了金字塔层次，如图1中的c1、c2和c3所示。
[0066]
和自底向上的过程正好相反，自顶向下是一个将深层特征逐步与各浅层特征融合的过程，如图1中的c4、c5和c6所示。具体为：首先把特征更强的高层特征通过上采样进行尺寸的放大，使之与下一层特征图大小相同；然后对于待融合的特征层使用1
×
1卷积来调整其通道数使得与高层特征图一致，接着将以上两部分特征通过横向连接来进行元素的相加，便可得到融合后的特征图。至此，相邻两层特征融合操作完毕，对待融合的其它特征层重复上述操作，即可得到新的特征金字塔层次。
[0067]
步骤2.2，在特征金字塔中，最高层的特征都是自顶向下的上采样传播，并逐渐与较低层的特征融合。在此过程中，较低层的特征被来自高层的语义信息增强，自然使融合后的特征包含了不同的上下文信息；然而由于调整尺寸，最高层特征的通道维度被压缩，这就会导致部分信息的丢失。本发明在设计特征融合模块时，在传统res残差结构中结合augfpn中残差特征增强的思想，引入的残差特征增强模块(residual feature augmentation，rfa)利用残差分支向原始特征层加入不同的上下文信息，以减少最高层特征的损失，提高金字塔的性能，具体结构如图2所示，首先对尺度为z的最高层特征进行自适应的池化操作来生成具有不同尺度(a1
×
z，a2
×
z，
…
，an
×
z)的多个上下文特征，然后对每个上下文特征分别进行1
×
1卷积，将通道维数降低到固定大小，最后，通过双线性插值的方式将它们上采样到相同尺度z，以进行后续融合。
[0068]
步骤2.3，考虑到插值带来的混叠影响，不能将各部分上下文特征进行简单的相加操作，因此，在rfa残差特征增强模块中加入了一个自适应空间融合(adaptive spatial fusion，asf)模块，其具体结构如图2右所示，通过asf模块可以更好地组合这些上下文特征。具体而言，该模块将经上采样后的各部分特征作为输入，通过拼接、卷积和激活等操作后为每个特征生成一个空间权重，并利用这些权重将上下文特征聚合成一个新的特征层r，该特征层具有多尺度的上下文信息。asf生成聚合特征层r后，采用求和的方式将r与最高层特征相加来加强尺度信息，然后再使用增强后的最高层特征来进行后续的尺度变换和特征融合。
[0069]
步骤2.4，显然，原有ssd算法在此时的检测分支之间没有相互补充，基于以上思
想，本发明设计了新的双向特征融合模块，即双向特征金字塔网络(improved bi-directional feature pyramid network，ibfpn)，该融合模块在传统双向特征金字塔网络的基础上进行了改进，将rfa引入来加强顶层特征，并且引入自底向上的融合路径，同时针对同一层级，加入一条从起始输入到输出的连接，针对用于检测的各特征图，如图3所示。在图三上方引入的rfa模块，可以将c6层特征输入该模块来改进其特征表示，得到具有多尺度上下文信息的r6。右边部分自底向上的路径表示进一步将低层特征融合到高层中去，使每一层不仅具有高层的强语义信息同时也有低层的强细节定位信息。除此之外，本发明设计的结构还针对同一层级，新加入了一条从起始输入到输出的连接，如图3中红色连线所示，这样做可以在不增加参数量的情况下融合更多的特征。相较于传统的ssd算法直接将特征图进行检测，本发明在检测前先将各特征图输入双向特征融合模块ibfpn，以进行上下层信息的相互融合。
[0070]
步骤2.6，具体的，设在前向传播过程中由传统ssd目标检测模型生成的各金字塔特征层次依次为{c1、c2、c3、c4、c5、c6}，分别对应步骤一中的dws11、dws13、dws14_2、dws15_2、dws16_2和dws17_2。
[0071]
步骤2.7，将c6层特征输入rfa来改进其特征表示，再经过asf模块得到具有多尺度上下文信息的r6，即rfa(c6)。
[0072]
步骤2.8，将r6与经1
×
1卷积降维后的c6相加融合得到顶层特征c6_td。将c1～c5分别经1
×
1卷积降维，得到特征c5_in～c1_in；
[0073]
步骤2.9，利用如下公式将c1_in～c6_in自顶向下进行融合。
[0074]
c6_td＝conv(c6) rfa(c6)
[0075]
c5_td＝conv(c5) resize(c6_td)
[0076][0077]
c1_td＝conv(c1) resize(c2_td)
[0078]
其中，conv是用于特征通道降维的1
×
1卷积运算，conv(c6)～conv(c1)即c6_in～c1_in，rfa(*)是对特征图进行残差特征增强，resize是为了使不同层分辨率匹配采取的上采样操作，在这里为双线性插值，“ ”表示对应位置元素相加。c1_td～c6_td即相加融合后得到的顶层特征。
[0079]
步骤2.10，本发明新聚合了一条自底向上的融合路径，表示自底向上将低层特征进一步融合到高层中去，使每一层不仅具有高层的强语义信息，同时也有低层的强细节定位信息。本发明还针对同一层级，新加入了一条从起始输入到输出的连接，如附图3中红色连线所示，这样做可以在不增加参数量的情况下融合更多的特征，得到融合特征层c1_out～c6_out，融合公式如下。
[0080]
c1_out＝c1_td＝c1_in resize(c2_td)
[0081]
c2_out＝c2_td resize(c1_out) c2_in
[0082][0083]
c6_out＝c6_td resize(c5_out) c6_in
[0084]
c1_out～c6_out即c1～c6经过ibfpn后输出的多尺度特征融合的特征层。
[0085]
步骤3，由于红外图像中目标信息不明显且特征结构稀疏，复杂的背景环境也易导致目标漏检、误检等现象，针对此问题，为避免原有ssd检测算法中无关信息带来的影响，本
发明在cbam基础上进行改进得到一种新的混合注意力模块ecbam，在经过ibfpn后，将各融合特征层继续输入ecbam，通过ecbam为不同的特征赋予不同的比重，使模型更聚焦于目标部分，更关注感兴趣的目标区域，以此来提升网络表达能力，并抑制无关信息带来的影响。
[0086]
步骤3.1，原始卷积注意力模块(convolutional block attention module，cbam)主要包含通道注意力模块和空间注意力模块，对于输入的特征图，会先后顺序地执行通道注意力和空间注意力的处理，从而达到对重要程度不同的特征赋予不同比重的目的。然而在通道注意力运算时，cbam对最大池化和平均池化的结果使用参数共享的全连接处理，这就会导致模型不能很好地同时兼顾两种特征的映射；另一方面，全连接层考虑了全局特征的相关性，因此会导致模型复杂度和计算量过高。针对这一问题，本发明根据局部跨通道交互的思想，提出了改进的卷积注意模块。
[0087]
步骤3.2，ecbam是在cbam基础上进行改进得到的。其具体结构如附图4所示，主要包含通道注意力模块和空间注意力模块，通道注意力模块重点关注不同特征通道的重要程度，侧重于“关注什么”信息，空间注意力模块重点关注特征在不同空间的重要程度，侧重于“何处”是信息部分，该模块与通道注意是互补。假定输入的特征图为依次经过通道注意力模块和空间注意力模块的运算，便可得到最终的处理结果。
[0088]
通道注意力模块具体结构如附图5所示，包括平均池化层avgpool和最大池化层maxpool，一维卷积模块和sigmoid映射模块。为了突出通道间的关系，需要对输入图像的长宽进行压缩，平均池化和最大池化能够从不同方面表征不同特征的重要程度。一维卷积模块考虑每个通道及其相邻k个通道的交互，该模块在带来性能增益的同时，将参数量降到了常数量级并且能很好地兼顾池化层中的两种不同的特征的映射。sigmoid映射模块将各特征映射到(0,1)内。
[0089]
空间注意力模块具体结构如附图6所示，包括平均池化层avgpool和最大池化层maxpool及堆叠模块和sigmoid映射模块。首先在通道维度平均池化和最大池化，然后将他们产生的特征图进行拼接起来。然后在拼接后的特征图上，使用卷积操作来产生最终的空间注意力特征图。
[0090]
为了给不同的特征赋予不同比重的步骤，将步骤2中每个融合特征层分别输入到ecbam，输入的融合特征层(步骤2的输出c1_out～c6_out)设为其中h、w分别为每个融合特征层的高和宽，c为融合特征层的通道数。每个融合特征层依次经过通道注意力模块和空间注意力模块的运算，便可得到最终的处理结果。以上各部分的计算可表示为下式。
[0091][0092][0093]
其中表示基于元素的乘法，i
′
为通道注意力处理后的结果，i
″
为最终的结果。
[0094]
步骤3.3，对于步骤2中的特征首先分别经过平均池化和最大池化压缩，得到两个特征图和
[0095]
步骤3.4，在原有cbam中，cbam的参数共享的全连接处理会导致模型不能很好地同
时兼顾两种特征的映射，还会导致模型的复杂度和计算量过高。不同于cbam中的共享全连接操作，ecbam考虑每个通道及其相邻k个通道的交互，对i
avg
、i
max
分别使用大小为k的一维卷积进行运算，该操作在带来性能增益的同时，将参数量降到了常数量级。
[0096]
步骤3.5，将步骤3.4处理后的两部分结果进行元素相加，并经过sigmoid激活函数将各通道特征映射到(0,1)内，即可得到不同通道的权重系数mc(i)，计算公式如下:
[0097][0098]
其中σ为sigmoid激活函数，是大小为k的一维卷积，k的大小可以通过下式自适应地确定。
[0099][0100]
其中c表示融合特征层的通道数，| |
odd
表示取结果最接近的奇数，γ＝2，b＝1。
[0101]
步骤3.6，最后将mc(i)与输入特征即融合特征层相乘，便可，得到通道注意力特征图i'，
[0102]
如图5所示，以i'为新的输入特征图输入到空间注意力模块，对i'同一特征点的所有通道分别取平均池化和最大池化，得到和
[0103]
步骤3.7，将将和堆叠后进行标准卷积。
[0104]
步骤3.8，使用sigmoid激活函数获取i'的空间权重ms(i
′
)，计算过程可表示为下式。
[0105]ms
(i
′
)＝σ(f7×7([avgpool(i
′
)；maxpool(i
′
)])
[0106]
＝σ(f7×7([i
avg
；i
′
max
])
[0107]
其中σ为sigmoid激活函数，f7×7是大小为7
×
7的卷积核。
[0108]
将得到的空间权重ms(i
′
)与通道注意力特征图相乘，得到最终的可以送去检测的特征图。
[0109]
步骤4，将经经ibfpn和ecbam处理后的dws11、dws13、dws14_2、dws15_2、dws16_2和dws17_2特征图送入检测模块进行检测，获取每个候选框的类别及相应的边界框，得到预测结果。
[0110]
步骤5，将预测结果进行非极大值抑制，删除多余的目标框，获得最终的检测结果。
[0111]
步骤6，针对各模块进行实验验证，并且对整体检测算法进行验证分析。
[0112]
步骤7，ibfpn模块验证，实验基于mobilenet特征提取网络，分别采用原始的特征金字塔层次、传统的fpn结构、双向fpn结构和本发明设计的ibfpn进行特征融合来设计对比实验，具体检测结果如表1所示。
[0113]
表1特征融合模块实验对比结果表
[0114][0115]
由表1可知，相比不使用特征融合模块，传统的fpn对“person”和“bicycle”这类小目标的检测精度有一定提升，但整体效果不明显，map(平均ap)增大了0.63％；双向fpn不仅对小目标检测效果有改善，也提高了大目标“car”的检测精度，其map值由原来的49.61％提升到50.83％；本发明设计的ibfpn模块，对大小目标的检测效果均明显增强，map值整体提升了2.03％。
[0116]
步骤8，ecbam模块验证
[0117]
为了验证本发明设计的注意力模块ecbam对ssd检测算法的有效性，实验针对各特征分支添加不同的注意力模块进行处理，具体为：对分支不做额外处理直接输入检测模块、在分支后添加通道注意力模块se、添加混合注意力模块cbam和添加本发明改进设计的ecbam模块，具体检测结果如表2所示。
[0118]
表2注意力模块实验对比结果表
[0119]
注意力模块未使用senetcbamecbammap(％)49.61％50.17％50.62％51.04％
[0120]
从表2中可知，加入注意力模块后目标检测效果均得到了一定提升，其中混合注意力模块的检测效果好过单独的通道注意力模块，cbam的map值比senet的map高0.45％；ecbam将cbam中的共享全连接改为一维卷积，降低了复杂度且增强了准确率，其map值提升了0.42％；相较于不使用注意力模块，ecbam的map值提升了1.43％，这表明注意力模块的使用可以有效抑制无关背景带来的影响，进而降低误检率，增加对目标的检测准确率。
[0121]
步骤9，检测算法整体的对比分析
[0122]
为了整体性地说明本发明算法的有效性，将本发明设计的ssd_bifpn_ecbam算法与多种检测算法在flir数据集上进行对比分析，其中包括采用不同特征提取网络的ssd算法、ssd_mobilenet算法和进行不同特征融合的dssd算法，检测结果如表3所示。
[0123]
表3检测算法实验对比结果表
[0124]
networkbackbonemap(％)fpsssdvgg1649.98％16.7ssdmobilenet47.87％20.5dssdresnet52.84％15.7ssd_bifpn_ecbammobilenet53.02％17.6
[0125]
由表3可知，本发明设计的基于特征融合与注意力机制的目标检测方法在精度方
面超越了其他算法。其中，相比于原始的ssd_vgg16算法，本发明算法检测精度和分别提升了3.04％和0.9fps；相比于ssd_mobilenet算法，本发明算法检测精度提升了5.15％；dssd算法精度接近本发明算法，但其检测速度却低于本发明算法。
[0126]
如图7和图8所示。其中，图7包含汽车和行人，可以看出该算法成功检测出了画面中的目标，其中该图右侧仅显示了一辆通行汽车的少许车头部分，但该算法依然成功将其检测；图8场景的难点在于汽车相互遮挡或被周围环境遮挡，但可以看到该算法在以上两种复杂场景仍成功检测到所有目标，具有良好的检测效果。