一种融合孪生网络与相关滤波的目标跟踪方法与流程

技术特征：
1.一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于，包括如下步骤：步骤一、利用resnet50网络提取图像特征；步骤二、通过注意力机制，将不同网络层次的特征进行融合，得到融合边缘与语义特性的判别性特征；步骤三、将自适应尺度与学习速率调整的背景感知相关滤波模型引入网络结构，设计更新策略，实现对目标模板信息进行有效更新。2.如权利要求1所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述步骤一、利用resnet50网络提取图像特征的具体过程是:s201、输入图像经过7*7卷积层，步长为2，生成64通道图像；s202、进行归一化及步长为2的池化处理；s203、依次传入4个bottleneck子网络，输出图像大小逐层递减至原始参数的1/32，通道数为2048；s204、通过全连接层设计得到预期维度的目标特征。3.如权利要求1所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述注意力机制包括通道注意力模块、空间注意力模块以及交叉注意力模块。4.如权利要求3所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述通道注意力模块的处理过程是：首先，利用全局平均池化操作对目标特征图进行处理，将大小为w
×
h
×
n的特征图转换成大小为1
×1×
n的向量b
k
，即其中，k为向量个数，k＝1,2,3...n表示特征图通道数量，向量b
k
中各元素值为每个通道内特征值的平均和，n为特征图通道数量个数；其次，将向量b
k
作为全连接层的输入，利用激活函数relu进行激活操作，为将通道权重参数归一化；再次，连接全连接层并用激活函数sigmoid进行处理，使得通道权重位于[0，1]，通过网络迭代训练得到通道权重系数ε，其中单个元素计算方式ε
k
如下：其中，σ
i
和σ
j
分别表示网络权重，对其赋予随机初始值；最后，将单个元素权重系数ε
k
与目标特征图单个通道进行点乘运算，获取通道注意力模块优化的特征图：其中，
·
表示点乘。5.如权利要求3所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所
述空间注意力模块的处理过程是：首先，以目标特征图作为输入，利用1
×
1尺寸卷积核对输入特征进行降维操作；其次，利用不同残差块对降维特征进行优化：其中，μ1、μ2、μ3表示不同的卷积核，卷积核大小依次为3
×
3，3
×
3，5
×
5，残差块包括残差块1特征c1，残差块2特征c2，残差块3特征c3；再次，将残差块2特征c2进行转置操作，同时与残差块1特征c1进行点乘操作，利用softmax激活函数对相似结果进行归一化处理获得大小与特征图等同的空间注意力图；其中，i和j均取不同数值，同时a和b均取不同数值，其元素值表示特征图中不同位置的重要性程度，即其中，t表示特征图的转置操作，y
i,j
表示特征图中第i个与第j个位置的相关性；最后，将空间注意力图y
i,j
与残差块3特征c3进行点乘操作，获取经空间注意力机制优化后的目标特征图，即6.如权利要求1所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述交叉注意力模块的处理过程是：记搜索区域特征图为利用全局平均池化操作降低搜索区域特征维度，从而获得通道特征向量v＝[v1,v2,...v
n
]，其中n表示特征图的通道数量；进而传入全连接层，利用relu激活函数对其进行处理，并将激活后的特征图作为下一全连接层的输入，进而利用sigmoid函数对其进行非线性处理获得权重向量；最终将搜索区域特征图与通道权重系数ε进行相乘，获取最终的交叉注意力机制特征图7.如权利要求1所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述融合边缘与语义特性的判别性特征为其中，表示通道注意力模块优化的特征，表示空间注意力模块优化特征，表示交叉注意力模块优化特征，ζ1，ζ2，ζ3分别表示各个模块权重，依次初始化为0.4,0.4,0.2。8.如权利要求1所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述背步骤三、将自适应尺度与学习速率调整的背景感知相关滤波模型引入网络结构，设计更新策略，实现目标模板信息的有效更新的具体过程是：首先，获得最佳尺度相关滤波器，估计目标尺度：
其中，w
scale
为尺度相关滤波器，λ为正则化系数，其次，利用目标尺度变化调整搜索区域比例大小，从而有效调整目标搜索区域大小：其中，init_tsz表示初始目标大小，featurer表示细胞单元大小，search_as
old
为上一帧目标的搜索区域比例，s
new
为当前帧对应的目标尺度，s
old
为上一帧对应的目标尺度；为准确估计目标遮挡程度，由g
apce
量化置信图整体波动情况：其中：max(v(i))，min(v(i))，v(i)分别表示置信图中最大置信值、最小置信值和每一个位置的置信值；再次，利用最大置信值与置信图的波动情况调整学习速率：其中，a，b，α1和ζ为经验值，η
old
为上一帧的学习速率，t为视频序列帧数；最终，利用自适应学习速率更新背景感知相关滤波以及尺度滤波模型。9.如权利要求8所述的一种融合孪生网络与相关滤波的目标跟踪方法，其特征在于：所述更新策略的具体过程是：将模板分支特征图与搜索区域特征图进行卷积运算操作，计算目标模板与搜索区域的相似性，获得相似度置信图，其相关性计算公式为：其中，为利用图像特征学习的相关滤波模块；为优化目标跟踪性能，自适应尺度与学习速率调整的背景感知相关滤波模型应与目标的期望响应y
i
实现最小化，即：其中，w
cx
表示自适应尺度与学习速率调整的背景感知相关滤波模型参数；引入拉格朗日对偶性求得网络中的最优解为其中，x
*
表示复数共轭。

技术总结
本发明提供了一种融合孪生网络与相关滤波的目标跟踪方法包括如下：步骤一、利用ResNet50网络提取图像特征；步骤二、通过注意力机制，将不同网络层次的特征进行融合，得到融合边缘与语义特性的判别性特征；步骤三、将自适应尺度与学习速率调整的背景感知相关滤波模型引入网络结构，设计更新策略，实现对目标模板信息进行有效更新；该方法能够通过利用注意力机制方法优化目标表观特征信息的描述，利用自适应尺度与学习速率调整的背景感知相关滤波模型设计模型更新策略，并通过相似性判定准则与置信图得到目标最佳位置，最终有效适应遮挡、尺度变化、快速运动、旋转形变及运动模糊等多种复杂因素的影响，实现准确的目标运动状态估计。状态估计。状态估计。


技术研发人员：胡秀华 陈媛 刘焕 惠燕 梁颖宇 吴玺
受保护的技术使用者：西安工业大学
技术研发日：2021.08.25
技术公布日：2021/12/14