一种基于门控机制的特征融合方法和目标检测网络与流程

技术特征：
1.一种基于门控机制的特征融合方法，其特征在于，包括：获取检测目标图像的低层细节特征和高层语义特征；所述低层细节特征和所述高层语义特征作为门控融合模块的输入特征；将所述低层细节特征和所述高层语义特征进行拼接，执行卷积操作，利用第一激活函数得到更新门控信号和重置门控信号；所述第一激活函数为sigmoid函数；利用所述重置门控信号对所述低层细节特征进行滤除，得到滤除后的低层细节特征；将所述滤除后的低层细节特征与所述高层语义特征进行拼接，执行卷积操作，利用第二激活函数得到当前的候选特征；所述第二激活函数为tanh函数；利用所述更新门控信号对所述低层细节特征和所述当前的候选特征进行选择性融合，得到融合特征，所述融合特征用于目标检测。2.根据权利要求1所述的一种基于门控机制的特征融合方法，其特征在于，所述将所述低层细节特征和所述高层语义特征进行拼接，执行卷积操作，利用第一激活函数得到更新门控信号和重置门控信号，具体包括：利用公式z＝σ(w
z
，(f
n
，f
n
‑1))对所述低层细节特征和所述高层语义特征进行拼接，执行卷积操作，得到所述更新门控信号；利用公式r＝σ(w
r
，(f
n
，f
n
‑1))对所述低层细节特征和所述高层语义特征进行拼接，执行卷积操作，得到所述重置门控信号；其中，σ为第一激活函数，z为更新门控信号，0＜z＜1，r为重置门控信号，0＜r＜1；f
n
为高层语义特征，f
n
‑1为低层细节特征；w
z
和w
r
为相应卷积的权重。3.根据权利要求2所述的一种基于门控机制的特征融合方法，其特征在于，所述利用所述重置门控信号对所述低层细节特征进行滤除，得到滤除后的低层细节特征，具体包括：利用公式f
n
‑1′
＝f
n
‑1⊙
r对所述低层细节特征进行滤除，得到滤除后的低层细节特征；其中，f
n
‑1’
为滤除后的低层细节特征，
⊙
表示矩阵中对应的元素相乘，当所述重置门控信号接近0时，丢弃所述低层细节特征，而当所述重置门控信号接近1时，保留所述低层细节特征。4.根据权利要求3所述的一种基于门控机制的特征融合方法，其特征在于，所述将所述滤除后的低层细节特征与所述高层语义特征进行拼接，执行卷积操作，利用第二激活函数得到当前的候选特征，具体包括：利用第二激活函数tanh以及公式f
n
′
＝tanh(w
h
(f
n
，f
n
‑1′
))得到所述当前的候选特征；其中，w
h
为相应卷积的权重，f
n’为当前的候选特征。5.根据权利要求4所述的一种基于门控机制的特征融合方法，其特征在于，所述利用所述更新门控信号对所述低层细节特征和所述当前的候选特征进行选择性融合，得到融合特征，具体包括：利用公式f
gf
＝z
⊙
f
n
‑1 (1
‑
z)
⊙
f
n
′
得到融合特征；其中，f
gf
表示融合特征。6.一种基于门控机制的目标检测网络，其特征在于，包括主干网络和分支网络；检测目标图像作为所述目标检测网络的输入；所述主干网络包括多个第一特征融合模块；多个所述第一特征融合模块依次连接，当前级的所述第一特征融合模块的池化层与下一级的所述第一特征融合模块的第一卷积层
连接；所述第一特征融合模块用于对所述检测目标图像进行特征融合，得到融合特征；所述分支网络包括级联模块、预测模块、第二特征融合模块以及第三特征融合模块；所述主干网络分别与所述级联模块以及所述第二特征融合模块连接；所述级联模块与所述第三特征融合模块连接；所述预测模块分别与所述第二特征融合模块以及所述第三特征融合模块连接；所述级联模块用于对所述主干网络输出的融合特征以及所述主干网络的倒数第二级的第一特征融合模块输出的高层语义特征进行级联，得到级联后的融合特征；所述第二特征融合模块用于对所述主干网络输出的融合特征的低层细节特征和高层语义特征进行特征融合，得到第二融合特征；所述第三特征融合模块用于对所述级联后的融合特征的低层细节特征和高层语义特征进行特征融合，得到第三融合特征；所述预测模块用于预测多尺度的所述检测目标图像。7.根据权利要求6所述的一种基于门控机制的目标检测网络，其特征在于，所述第一特征融合模块具体包括：第一卷积层、第二卷积层、池化层以及第一门控融合模块；所述第一门控融合模块的输入端分别与所述第一卷积层和所述第二卷积层连接，所述第一门控融合模块的输出端与所述池化层连接；所述主干网络的最后一级第一特征融合模块的所述池化层连接所述第二特征融合模块的第三卷积层；所述第一卷积层用于提取所述检测目标图像的低层细节特征；所述第二卷积层用于提取所述检测目标图像的高层语义特征；所述第一门控融合模块用于对所述低层细节特征进行滤除，以及融合滤除后的低层细节特征和所述高层语义特征；所述池化层用于减少融合特征的参数；第一级第一特征融合模块用于对检测目标图像的低层细节特征和高层语义特征进行特征融合；除第一级第一特征融合模块之外的每一级第一特征融合模块用于对上一级第一特征融合模块输出的融合特征的低层细节特征和高层语义特征进行特征融合。8.根据权利要求7所述的一种基于门控机制的目标检测网络，其特征在于，所述第二特征融合模块具体包括：第三卷积层、第四卷积层以及第二门控融合模块；所述第二门控融合模块的输入端分别与所述第三卷积层和所述第四卷积层连接，所述第二门控融合模块的输出端与所述预测模块连接；所述第三特征融合模块具体包括：第五卷积层、第六卷积层以及第三门控融合模块；所述第三门控融合模块的输入端分别与所述第五卷积层和所述第六卷积层连接，所述第三门控融合模块的输出端与所述预测模块连接；所述第三卷积层用于提取所述主干网络输出的融合特征的低层细节特征；所述第五卷积层用于提取级联后的融合特征的低层细节特征；所述第四卷积层用于提取所述主干网络输出的融合特征的高层语义特征；所述第六卷积层用于提取级联后的融合特征的高层语义特征；所述第二门控融合模块用于对所述主干网络输出的融合特征的低层细节特征进行滤除，以及融合滤除后的所述主干网络输出的融合特征的低层细节特征和所述主干网络输出的融合特征的高层语义特征；所述第三门控融合模块用于对级联后的融合特征的低层细节特征进行滤除，以及融合滤除后的级联后的融合特征的低层细节特征和级联后的融合特征的高层语义特征。9.根据权利要求8所述的一种基于门控机制的目标检测网络，其特征在于，所述级联模块的输入端分别连接所述主干网络的最后一级第一特征融合模块的所述池化层以及倒数第二级第一特征融合模块的所述第二卷积层；所述级联模块的输出端连接所述第三融合模
块的所述第五卷积层。

技术总结
本发明涉及一种基于门控机制的特征融合方法和目标检测网络，包括：获取检测目标图像的低层细节特征和高层语义特征；低层细节特征和高层语义特征作为门控融合模块的输入特征；将低层细节特征和高层语义特征进行拼接，执行卷积操作，利用第一激活函数得到更新门控信号和重置门控信号；利用重置门控信号对低层细节特征进行滤除，得到滤除后的低层细节特征；将滤除后的低层细节特征与高层语义特征进行拼接，执行卷积操作，利用第二激活函数得到当前的候选特征；利用更新门控信号对低层细节特征和当前的候选特征进行选择性融合，得到融合特征，融合特征用于目标检测。本发明提高了目标检测的准确率。检测的准确率。检测的准确率。


技术研发人员：邵振洲 刘超 关永
受保护的技术使用者：北京天时行智能科技有限公司
技术研发日：2021.08.10
技术公布日：2021/10/23