一种基于门控机制的特征融合方法和目标检测网络与流程

1.本发明涉及特征融合领域，特别是涉及一种基于门控机制的特征融合方法和目标检测网络。


背景技术：

2.在利用卷积神经网络进行目标检测的任务中，卷积神经网络的深度对模型的性能至关重要，当增加卷积神经网络层数后，卷积神经网络可以进行更加复杂的特征模式的提取，所以当模型更深时，理论上可以取得更好的结果。但是在实践中，随着卷积神经网络深度的增加，卷积神经网络检测的准确度出现饱和，甚至出现下降，残差网络利用短路连接解决了这个问题，但是残差网络做的是全等映射，会将冗余的特征传递到后面的卷积层，冗余的信息会对检测造成干扰，影响物体的检测，且现有的特征融合方法并没有考虑到特征的选择性，不能充分利用低层的细节特征与高层的语义特征，从而使目标检测的准确率较低。


技术实现要素：

3.本发明的目的是提供一种基于门控机制的特征融合方法和目标检测网络，以解决现有技术中利用卷积神经网络进行目标检测的准确率低的问题。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于门控机制的特征融合方法，包括：
6.获取检测目标图像的低层细节特征和高层语义特征；所述低层细节特征和所述高层语义特征作为门控融合模块的输入特征；
7.将所述低层细节特征和所述高层语义特征进行拼接，执行卷积操作，利用第一激活函数得到更新门控信号和重置门控信号；所述第一激活函数为sigmoid函数；
8.利用所述重置门控信号对所述低层细节特征进行滤除，得到滤除后的低层细节特征；
9.将所述滤除后的低层细节特征与所述高层语义特征进行拼接，执行卷积操作，利用第二激活函数得到当前的候选特征；所述第二激活函数为tanh函数；
10.利用所述更新门控信号对所述低层细节特征和所述当前的候选特征进行选择性融合，得到融合特征，所述融合特征用于目标检测。
11.可选的，所述将所述低层细节特征和所述高层语义特征进行拼接，执行卷积操作，利用第一激活函数得到更新门控信号和重置门控信号，具体包括：
12.利用公式z＝σ(w
z
，(f
n
，f
n
‑1))对所述低层细节特征和所述高层语义特征进行拼接，执行卷积操作，得到所述更新门控信号；
13.利用公式r＝σ(w
r
，(f
n
，f
n
‑1))对所述低层细节特征和所述高层语义特征进行拼接，执行卷积操作，得到所述重置门控信号；
14.其中，σ为第一激活函数，z为更新门控信号，0<z<1，r为重置门控信号，0<r<1；f
n
为高层语义特征，f
n
‑1为低层细节特征；w
z
和w
r
为相应卷积的权重。
15.可选的，所述利用所述重置门控信号对所述低层细节特征进行滤除，得到滤除后的低层细节特征,具体包括：
16.利用公式f
n
‑1′
＝f
n
‑1⊙
r对所述低层细节特征进行滤除，得到滤除后的低层细节特征；
17.其中，f
n
‑1’
为滤除后的低层细节特征，
⊙
表示矩阵中对应的元素相乘，当所述重置门控信号接近0时，丢弃所述低层细节特征，而当所述重置门控信号接近1时，保留所述低层细节特征。
18.可选的，所述将所述滤除后的低层细节特征与所述高层语义特征进行拼接，执行卷积操作，利用第二激活函数得到当前的候选特征，具体包括：
19.利用第二激活函数tanh以及公式f
n
′
＝tanh(w
h
(f
n
，f
n
‑1′
))得到所述当前的候选特征；
20.其中，w
h
为相应卷积的权重，f
n’为当前的候选特征。
21.可选的，所述利用所述更新门控信号对所述低层细节特征和所述当前的候选特征进行选择性融合，得到融合特征，具体包括：
22.利用公式f
gf
＝z
⊙
f
n
‑1 (1
‑
z)
⊙
f
n
′
得到融合特征；
23.其中，f
gf
表示融合特征。
24.一种基于门控机制的目标检测网络，包括主干网络和分支网络；
25.检测目标图像作为所述目标检测网络的输入；
26.所述主干网络包括多个第一特征融合模块；多个所述第一特征融合模块依次连接，当前级的所述第一特征融合模块的池化层与下一级的所述第一特征融合模块的第一卷积层连接；所述第一特征融合模块用于对所述检测目标图像进行特征融合，得到融合特征；
27.所述分支网络包括级联模块、预测模块、第二特征融合模块以及第三特征融合模块；所述主干网络分别与所述级联模块以及所述第二特征融合模块连接；所述级联模块与所述第三特征融合模块连接；所述预测模块分别与所述第二特征融合模块以及所述第三特征融合模块连接；所述级联模块用于对所述主干网络输出的融合特征以及所述主干网络的倒数第二级的第一特征融合模块输出的高层语义特征进行级联，得到级联后的融合特征；所述第二特征融合模块用于对所述主干网络输出的融合特征的低层细节特征和高层语义特征进行特征融合，得到第二融合特征；所述第三特征融合模块用于对所述级联后的融合特征的低层细节特征和高层语义特征进行特征融合，得到第三融合特征；所述预测模块用于预测多尺度的所述检测目标图像。
28.可选的，所述第一特征融合模块具体包括：第一卷积层、第二卷积层、池化层以及第一门控融合模块；
29.所述第一门控融合模块的输入端分别与所述第一卷积层和所述第二卷积层连接，所述第一门控融合模块的输出端与所述池化层连接；所述主干网络的最后一级第一特征融合模块的所述池化层连接所述第二特征融合模块的第三卷积层；所述第一卷积层用于提取所述检测目标图像的低层细节特征；所述第二卷积层用于提取所述检测目标图像的高层语义特征；所述第一门控融合模块用于对所述低层细节特征进行滤除，以及融合滤除后的低层细节特征和所述高层语义特征；所述池化层用于减少融合特征的参数；第一级第一特征融合模块用于对检测目标图像的低层细节特征和高层语义特征进行特征融合；除第一级第
一特征融合模块之外的每一级第一特征融合模块用于对上一级第一特征融合模块输出的融合特征的低层细节特征和高层语义特征进行特征融合。
30.可选的，所述第二特征融合模块具体包括：第三卷积层、第四卷积层以及第二门控融合模块；所述第二门控融合模块的输入端分别与所述第三卷积层和所述第四卷积层连接，所述第二门控融合模块的输出端与所述预测模块连接；
31.所述第三特征融合模块具体包括：第五卷积层、第六卷积层以及第三门控融合模块；所述第三门控融合模块的输入端分别与所述第五卷积层和所述第六卷积层连接，所述第三门控融合模块的输出端与所述预测模块连接；
32.所述第三卷积层用于提取所述主干网络输出的融合特征的低层细节特征；所述第五卷积层用于提取级联后的融合特征的低层细节特征；所述第四卷积层用于提取所述主干网络输出的融合特征的高层语义特征；所述第六卷积层用于提取级联后的融合特征的高层语义特征；所述第二门控融合模块用于对所述主干网络输出的融合特征的低层细节特征进行滤除，以及融合滤除后的所述主干网络输出的融合特征的低层细节特征和所述主干网络输出的融合特征的高层语义特征；所述第三门控融合模块用于对级联后的融合特征的低层细节特征进行滤除，以及融合滤除后的级联后的融合特征的低层细节特征和级联后的融合特征的高层语义特征。
33.可选的，所述级联模块的输入端分别连接所述主干网络的最后一级第一特征融合模块的所述池化层以及倒数第二级第一特征融合模块的所述第二卷积层；所述级联模块的输出端连接所述第三融合模块的所述第五卷积层。
34.根据本发明提供的具体实施例，本发明公开了以下技术效果：
35.本发明提供的基于门控机制的特征融合方法，通过更新门控信号以及重置门控信号对低层的细节特征进行筛选，滤除冗余的低层细节特征，避免将冗余的低层细节特征传递到后面的卷积层，冗余的低层细节特征对检测造成干扰的问题，并可以将高层语义特征和低层细节特征进行更好的融合，从而提高了目标检测的准确率。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
37.图1为本发明提供的一种基于门控机制的特征融合方法的流程图；
38.图2为本发明提供的一种基于门控机制的目标检测网络的原理图；
39.图3为本发明提供的门控融合模块的原理图。
40.符号说明：1
‑
第一卷积层；2
‑
第二卷积层；3
‑
第一门控融合模块；4
‑
池化层；5
‑
第三卷积层；6
‑
第四卷积层；7
‑
第二门控融合模块；8
‑
第五卷积层；9第六卷积层；10
‑
第三门控融合模块；11
‑
级联模块；12
‑
预测模块；13
‑
重置门；14
‑
更新门。
具体实施方式
41.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.本发明的目的是提供一种基于门控机制的特征融合方法和目标检测网络，以解决现有技术中利用卷积神经网络进行目标检测的准确率低的问题。
43.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
44.在目标检测任务中，卷积层基于训练集的图片数据利用卷积神经网络学习特征的表达能力，通过反向传播优化学习到的权重，实现目标检测。一般来说，低层卷积层提取物体的纹理等细节特征，高层卷积层提取的是高级的语义特征。
45.低层卷积层包括太多的无用信息，而高层卷积层缺失物体的细节信息，因此，将门控融合模块嵌入到特征提取网络，利用门控融合模块对卷积层提取到的特征进行筛选，过滤掉与目标检测无关的噪声，将对检测目标更有效的特征传递给后面的特征层，形成不同特征的融合，兼具高层的语义特征和低层的细节特征，增强目标特征的表示能力，从而提高目标检测的准确率。
46.图3为本发明提供的门控融合模块的原理图，如图3所示，门控融合模块有两个输入，可以是相邻卷积层的特征，也可以是间隔卷积层的特征。以相邻卷积层为例介绍门控融合模块的工作机制，假设经过某一卷积层的特征为f
n
‑1,经过下一卷积层的特征为f
n
。
47.图1为本发明提供的一种基于门控机制的特征融合方法的流程图，如图1和图3所示，一种基于门控机制的特征融合方法，包括：
48.步骤101：获取检测目标图像的低层细节特征和高层语义特征。所述低层细节特征和所述高层语义特征作为门控融合模块的输入特征。
49.步骤102：将所述低层细节特征和所述高层语义特征进行拼接，执行卷积操作，利用第一激活函数得到更新门控信号和重置门控信号。所述第一激活函数为sigmoid函数。
50.所述步骤102具体包括：
51.利用公式z＝σ(w
z
，(f
n
，f
n
‑1))对所述低层细节特征和所述高层语义特征进行拼接，执行卷积操作，得到所述更新门控信号。
52.利用公式r＝σ(w
r
，(f
n
，f
n
‑1))对所述低层细节特征和所述高层语义特征进行拼接，执行卷积操作，得到所述重置门控信号。
53.其中，σ为第一激活函数，z为更新门控信号，0<z<1，r为重置门控信号，0<r<1；f
n
为高层语义特征，f
n
‑1为低层细节特征；w
z
和w
r
为相应卷积的权重。
54.步骤103：利用所述重置门控信号对所述低层细节特征进行滤除，得到滤除后的低层细节特征。
55.所述步骤103具体包括：
56.通过重置门13利用公式f
n
‑1′
＝f
n
‑1⊙
r对所述低层细节特征进行滤除，得到滤除后的低层细节特征。其中，f
n
‑1’
为滤除后的低层细节特征，
⊙
表示矩阵中对应的元素相乘，当r接近0时，丢弃所述低层细节特征，而当r接近1时，保留所述低层细节特征。
57.步骤104：将所述滤除后的低层细节特征与所述高层语义特征进行拼接，执行卷积操作，利用第二激活函数得到当前的候选特征。所述第二激活函数为tanh函数。
58.所述步骤104具体包括：
59.通过更新门14利用第二激活函数tanh以及公式f
n
′
＝tanh(w
h
(f
n
，f
n
‑1′
))得到所述当前的候选特征；其中，w
h
为相应卷积的权重，f
n’为当前的候选特征。f
n’有助于门控融合模块记忆更长时间的信息。
60.步骤105：利用所述更新门控信号对所述低层细节特征和所述当前的候选特征进行选择性融合，得到融合特征，所述融合特征用于目标检测。
61.所述步骤105具体包括：
62.利用公式f
gf
＝z
⊙
f
n
‑1 (1
‑
z)
⊙
f
n
′
得到融合特征；其中，f
gf
表示融合特征。
63.z
⊙
f
n
‑1表示对与检测相关的低层细节特征f
n
‑1的选择，也可以看成对无关信息的丢弃，(1
‑
z)
⊙
f
n
′
表示应该添加多少当前的候选特征。当以权重z对上一阶段低层细节特征f
n
‑1进行遗忘时，就会以(1
‑
z)的权重选择当前的候选特征f
n
′
进行弥补，维持一种“平衡”状态。
64.图2为本发明提供的一种基于门控机制的目标检测网络的原理图，如图2所示，一种基于门控机制的目标检测网络，包括主干网络和分支网络。检测目标图像作为所述目标检测网络的输入。
65.所述主干网络包括多个第一特征融合模块；多个所述第一特征融合模块依次连接，当前级的所述第一特征融合模块的池化层与下一级的所述第一特征融合模块的第一卷积层连接；所述第一特征融合模块用于对所述检测目标图像进行特征融合，得到融合特征。
66.所述第一特征融合模块具体包括：第一卷积层1、第二卷积层2、池化层4以及第一门控融合模块3。
67.所述第一门控融合模块3的输入端分别与所述第一卷积层1和所述第二卷积层2连接，所述第一门控融合模块3的输出端与所述池化层4连接；所述主干网络的最后一级第一特征融合模块的所述池化层4连接所述第二特征融合模块的第三卷积层5；所述第一卷积层1用于提取所述检测目标图像的低层细节特征；所述第二卷积层2用于提取所述检测目标图像的高层语义特征；所述第一门控融合模块3用于对所述低层细节特征进行滤除，以及融合滤除后的低层细节特征和所述高层语义特征；所述池化层4用于减少融合特征的参数；第一级第一特征融合模块用于对检测目标图像的低层细节特征和高层语义特征进行特征融合；除第一级第一特征融合模块之外的每一级第一特征融合模块用于对上一级第一特征融合模块输出的融合特征的低层细节特征和高层语义特征进行特征融合。
68.所述分支网络包括级联模块11、预测模块12、第二特征融合模块以及第三特征融合模块；所述主干网络分别与所述级联模块11以及所述第二特征融合模块连接；所述级联模块11与所述第三特征融合模块连接；所述预测模块12分别与所述第二特征融合模块以及所述第三特征融合模块连接；所述级联模块11用于对所述主干网络输出的融合特征以及所述主干网络的倒数第二级的第一特征融合模块输出的高层语义特征进行级联，得到级联后的融合特征；所述第二特征融合模块用于对所述主干网络输出的融合特征的低层细节特征和高层语义特征进行特征融合，得到第二融合特征；所述第三特征融合模块用于对所述级联后的融合特征的低层细节特征和高层语义特征进行特征融合，得到第三融合特征；所述预测模块12用于预测多尺度的所述检测目标图像。
69.所述第二特征融合模块具体包括：第三卷积层5、第四卷积层6以及第二门控融合
模块7；所述第二门控融合模块7的输入端分别与所述第三卷积层5和所述第四卷积层6连接，所述第二门控融合模块7的输出端与所述预测模块12连接。
70.所述第三特征融合模块具体包括：第五卷积层8、第六卷积层9以及第三门控融合模块10；所述第三门控融合模块10的输入端分别与所述第五卷积层8和所述第六卷积层9连接，所述第三门控融合模块10的输出端与所述预测模块12连接。
71.所述第三卷积层5用于提取所述主干网络输出的融合特征的低层细节特征；所述第五卷积层8用于提取级联后的融合特征的低层细节特征；所述第四卷积层6用于提取所述主干网络输出的融合特征的高层语义特征；所述第六卷积层9用于提取级联后的融合特征的高层语义特征；所述第二门控融合模块7用于对所述主干网络输出的融合特征的低层细节特征进行滤除，以及融合滤除后的所述主干网络输出的融合特征的低层细节特征和所述主干网络输出的融合特征的高层语义特征；所述第三门控融合模块10用于对级联后的融合特征的低层细节特征进行滤除，以及融合滤除后的级联后的融合特征的低层细节特征和级联后的融合特征的高层语义特征。
72.所述级联模块11的输入端分别连接所述主干网络的最后一级第一特征融合模块的所述池化层4以及倒数第二级第一特征融合模块的所述第二卷积层2；所述级联模块11的输出端连接所述第三融合模块的所述第五卷积层8。
73.为了验证门控融合模块的有效性，将门控融合模块与yolov3
‑
tiny目标检测框架相结合，构建了基于门控机制的目标检测网络，如图2所示，网络输入为rgb图像，利用第一卷积层1对物体进行特征提取获得低层细节特征，低层细节特征经过第二卷积层2后获得相应的高层语义特征，低层细节特征和高层语义特征作为两个输入，输入到门控融合模块，利用上述步骤的融合方法进行融合，得到的融合特征进入池化层4，经过一些处理后，滤除一些不需要的融合特征的参数，同样在主干网络的倒数第二级的第一卷积层1和第二卷积层2、主干网络的最后一级的第一卷积层1和第二卷积层2之间分别添加门控融合模块进行特征融合。yolov3
‑
tiny结构有两个尺度分支，在倒数第二级的第二卷积层2分出另一条支路与主干网络的最后一级的池化层4进行级联，用于检测尺度较大的物体。在第三卷积层5和第四卷积层6之间以及相应的支路位置添加门控融合模块实现信息的融合，多层门控融合结构对不同特征层的特征进行自主性选择和自适应的存储，更好地融合低层的细节特征和高层的语义特征，从而形成表达能力更强的融合特征，有助于提高目标检测的性能。预测模块12使用特征金字塔结构融合两个不同尺度的特征信息进行预测，经过卷积层产生的结果，通过两个尺度分支产生不同的特征图，预测不同大小的目标，输出物体框的位置、物体的类别以及相应的概率。
74.数据集：目标检测与识别数据集，数据集有20类目标，数据集中每张图片都对应一个xml类型的标签文件，标明了图片中物体所属类别、物体实际框的左上角坐标以及右下角的坐标。
75.评价指标：采用平均精确率的均值(mean average precision，map)作为评价指标，平均精确率ap指的是一个类别的指标，而对于多个类别，则是将各个类别的ap累加取平均得到map。
76.现有的特征融合方法并没有考虑到特征的选择性，不能充分利用低层的细节特征与高层的语义特征，而门控融合模块利用重置门控信号和更新门控信号学习权重来控制需
要保留或丢弃的信息，通过公式f
gf
＝z
⊙
f
n
‑1 (1
‑
z)
⊙
f
n
′
实现对上一阶段输出特征和另一输入特征的自适应融合。对低层的细节特征进行选取，将对检测目标更有效的细节特征保留，并与高层予以特征融合，增强特征的表达能力。
77.循环神经网络具有选择记忆的功能，受到这样的启发，通过设计一种门控融合模块对卷积层提取的特征进行筛选，将对目标检测有效的特征传递到下一层，并在检测网络的不同位置添加门控融合模块构成多层融合结构，不仅过滤掉冗余的特征，还将与检测相关的低层细节特征同高层的语义特征更好地融合，增强特征对物体的表达能力。实验证明，添加门控融合模块的检测网络与不加相比，平均准确率提高了5％。
78.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
79.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。