一种基于孪生网络的自适应多层响应融合的目标跟踪方法与流程

技术特征：
1.一种基于孪生网络的自适应多层响应融合的目标跟踪方法，其特征在于包括下述步骤：步骤1：构建一个具有残差通道注意力裁剪模块的深度孪生神经网络，使用该深度孪生神经网络进行特征提取；孪生神经网络由两支平行的网络组成，分别为目标模板分支和搜索区域分支，目标模板分支用于提取目标的特征图，搜索区域分支用于提取搜索区域不同特征空间的特征；步骤2：将目标图像和搜索图像输入到深度孪生神经网络对应的目标模板分支和搜索区域分支，目标图像和搜索图像经过深度孪生神经网络分别生成对应的特征图；步骤3：获取来自目标模板分支和搜索区域分支的不同特征空间的三个特征，即低层特征、中层特征和高层特征，将目标模板分支和搜索区域分支的三个特征作为卷积核，在搜索区域分支对应的特征上做卷积操作，得到3个得分图，即为搜索区域中搜索图像各个位置与目标模板分支中目标图像的相似度；步骤4：对得到的3个得分图做融合相加操作，最终得到计算自多层特征的更为可靠的融合得分图；融合得分图中响应最大的位置即为在这一帧中目标的位置，之后进行裁剪操作，对输出的特征图进行裁剪，裁剪操作去除由零填充操作影响的特征图边界上最外面的特征；步骤5：通过调节深度孪生神经网络的超参数，以提高网络的学习性能和效果，得到优化后的深度孪生神经网络；步骤6：通过步骤5的训练操作后，将待跟踪的搜索图像经过步骤1至步骤4之后，通过深度孪生神经网络给出检测结果，以实现目标自动跟踪。2.根据权利要求1所述的基于孪生网络的自适应多层响应融合的目标跟踪方法，其特征在于：所述步骤1中，深度孪生神经网络主干网络中包含残差通道注意力裁剪模块，残差通道注意力裁剪模块由3个卷积层和1个通道注意力模块的堆叠，且带有一个卷积层的短跳连接组成残差结构，其中，短跳连接上的是1x1的卷积；3个卷积层依次是1x1卷积、3x3卷积和1x1卷积，通道注意力模块在3x3卷积层之后，其中3x3的卷积层包括了一个大小为1、填充值为0的填充，通过裁剪操作去除了由零填充操作影响的特征图边界上最外面的特征；残差通道注意力裁剪模块为一个自适应结构，自适应结构通过一个最大池化层，减小输出特征的尺寸，保证信息的完备性。3.根据权利要求1所述的基于孪生网络的自适应多层响应融合的目标跟踪方法，其特征在于：所述步骤5中，超参数包括学习率、批次大小、卷积核尺寸和激活函数。

技术总结
本发明提供了一种基于孪生网络的自适应多层响应融合的目标跟踪方法，构建一个具有残差通道注意力裁剪模块的深度孪生神经网络，将目标图像和搜索图像输入到深度孪生神经网络对应的目标模板分支和搜索区域分支，目标图像和搜索图像经过深度孪生神经网络分别生成对应的特征图，在搜索区域分支对应的特征上做卷积操作，得到得分图，对得分图做融合相加操作，最终得到融合得分图，通过调节深度孪生神经网络的超参数，得到优化后的深度孪生神经网络，通过深度孪生神经网络给出检测结果，以实现目标自动跟踪。本发明能够很好地自适应不同的目标对象，能够跟踪视频序列中用户任意指定的目标，进一步提高了目标跟踪的可靠性。进一步提高了目标跟踪的可靠性。进一步提高了目标跟踪的可靠性。


技术研发人员：王鑫 毛昭勇 沈钧戈 王亦晨
受保护的技术使用者：西北工业大学
技术研发日：2021.07.09
技术公布日：2021/11/23