基于深度网络的可见光-红外目标跟踪方法及系统与流程

技术特征：
1.一种基于深度网络的可见光-红外目标跟踪方法，其特征在于，包括步骤：构建对称的双流孪生网络，包括可见光子网络和红外子网络；将可见光样本-候选图像和红外样本-候选图像分别输入到可见光子网络和红外子网络，提取模板和候选特征；通过通道注意力模块和通道-空间联合注意力模块增强模板和候选特征；将原始模板和候选特征及增强的模板和候选特征均通过分类分支和回归分支进行分类、分支，得到对应的分类响应图和回归响应图；对分类响应图和回归响应图进行融合；通过自适应峰值选择模块处理分类响应图和回归响应图，获取目标定位。2.根据权利要求1所述的一种基于深度网络的可见光-红外目标跟踪方法，其特征在于，所述可见光子网络和红外子网络的骨干网络由多个二维卷积单元串联而成，每个二维卷积单元的输出作为下一个二维卷积单元的输入，另x
rgb
∈r
h
×
w
×
c
为可见光图像数据，h、w、c分别为可见光图像数据的三个维度，即高、宽、通道数；另x
tir
∈r
h
×
w
×
c
，h、w、c分别为红外图像数据的三个维度，即高、宽、通道数；另第i个二维卷积单元的输入为x
i
，输出为则有：则有：则有：则有：其中，n表示骨干网络中的二维卷积单元数量，relu(
·
)表示激活函数，bn(
·
)表示批归一化函数，运算符表示卷积运算，和分别表示可见光和红外骨干网络第i个二维卷积单元的卷积核，k
×
k为卷积核大小，和分别为可见光和红外卷积核对应的偏置项；输出为：积核对应的偏置项；输出为：积核对应的偏置项；输出为：积核对应的偏置项；输出为：积核对应的偏置项；输出为：积核对应的偏置项；输出为：积核对应的偏置项；输出为：和分别表示第i个可见光和红外二维卷积单元，feat
rgb
和feat
tir
分别为可见光数据和红外数据通过骨干网络后的输出，f
rgb
(
·
)和f
tir
(
·
)分别表示可见光子网络和红外子网络的骨干网络。3.根据权利要求2所述的一种基于深度网络的可见光-红外目标跟踪方法，其特征在于，所述通道注意力模块和通道-空间联合注意力模块分别嵌入可见光子网络和红外子网络中。4.根据权利要求3所述的一种基于深度网络的可见光-红外目标跟踪方法，其特征在
于，通过通道注意力模块和通道-空间联合注意力模块增强模板和候选特征具体为：通道注意力模块的输入为feat
rgb
∈r
h
×
w
×
c
，feat
tir
∈r
h
×
w
×
c
，输出的增强特征为：feat
rgb
∈r
h
×
w
×
c
，feat
tir
∈r
h
×
w
×
c
feat
union
＝cat(feat
rgb
，feat
tir
)weight＝g(resize(fc(gp(feat
union
))))))))其中，cat(
·
，
·
)表示按通道维度级联操作，feat
union
∈r
h
×
w
×
2c
表示级联后的特征；gp(
·
)表示全局池化操作，fc(
·
)表示全连接层，resize(
·
)表示调整尺寸操作，g(
·
)表示激活函数，weight∈r
h
×
w
×
2c
表示计算出的权重；*表示矩阵的点乘，表示增强后的特征；apart(
·
)表示按通道维度特征拆分，分别表示增强后的可见光特征和红外特征；空间注意力模块的输入feat
rgb
∈r
h
×
w
×
c
，feat
tir
∈r
h
×
w
×
c
，输出的增强特征为：feat
rgb
∈r
h
×
w
×
c
，feat
tir
∈r
h
×
w
×
c
feat
union
＝cat(feat
rgb
，feat
tir
)))其中，cat(
·
，
·
)表示按通道维度级联操作，feat
union
∈r
h
×
w
×
2c
表示级联后的特征；avg(
·
)表示平均池化操作，max(
·
)表示最大池化操作，为二维卷积，s
spatial
∈r
k
×
k
×
c
表示空间注意力模块二维卷积核，g(
·
)表示激活函数，weight∈r
h
×
w
×
2c
为计算出的权重；
×
是广播乘，表示增强后的特征；apart(
·
)表示按通道维度特征拆分，分别是增强后的可见光特征和红外特征；所述通道-空间注意力模块由串联的通道注意力模块和空间注意力模块构成，将由可见光子网络和红外子网络的骨干网络提取的可见光候选特征和红外候选特征进行增强。5.根据权利要求4所述的一种基于深度网络的可见光-红外目标跟踪方法，其特征在于，所述分类分支包括4个分类分支，回归分支包括2个回归分支，为原始可见光分类分支、增强可见光分类分支、原始红外分类分支、增强红外分类分支、增强可见光回归分支、增强红外回归分支。6.根据权利要求5所述的一种基于深度网络的可见光-红外目标跟踪方法，其特征在于，所述分类分支的输入为分别表示同属性的样本特征和候选特征，其输出分类响应图为：征和候选特征，其输出分类响应图为：其中，是分类样本卷积核，是分类候选卷积核，表示二维卷积，表示互相关操作，clsmap∈r
n
×
n
×2是分类响应图；
所述回归分支的输入为分别表示同属性的样本特征和候选特征，输出回归响应图为：特征和候选特征，输出回归响应图为：其中，是回归样本卷积核，是回归候选卷积核，表示二维卷积，表示互相关操作，regmap∈r
n
×
n
×4是回归响应图；原始特征和增强特征经过4个分类分支和2个回归分支，生成增强可见光分类响应图增强红外分类响应图原始可见光分类响应图clsmap
rgb
、原始红外分类响应图clsmap
tir
、增强可见光回归响应图增强红外回归响应图分别为：clsmap
rgb
∈r
n
×
n
×
l
×2，clsmap
tir
∈r
n
×
n
×
l
×2，7.根据权利要求6所述的一种基于深度网络的可见光-红外目标跟踪方法，其特征在于，对分类响应图和回归响应图进行融合具体为：于，对分类响应图和回归响应图进行融合具体为：于，对分类响应图和回归响应图进行融合具体为：其中， 表示矩阵元素点对点相加，clsmap1∈r
n
×
n
×
l
×2，clsmap2∈r
n
×
n
×
l
×2，regmap∈r
n
×
n
×
l
×4为融合得到的三张响应图，n表示响应图边长，l表示锚框不同尺度的数量。8.根据权利要求6所述的一种基于深度网络的可见光-红外目标跟踪方法，其特征在于，所述分类分支使用交叉熵作为损失函数，回归分支使用坐标归一化的光滑化l1范数作为损失函数联合训练网络；所述分类分支完成区分前景与背景的二元分类任务，训练阶段分类分支输出的响应图为clsmap∈r
n
×
n
×
l
×2，经尺寸变换为clsmap∈r
m
×2，m＝n
×
n
×
l，其对应的标签l
cls
∈r
m
；从l
cls
中抽取p个正样本生成正样本集并记录其索引从l
cls
中抽取q个负样本生成负样本集并记录其索引从clsmap中抽取索引对应样本生成正预测集抽取索引对应样本生成负预测集则损失函数为：所述回归分支完成边界框回归的任务，训练阶段回归分支输出的响应图为regmap∈r
n
×
n
×
l
×4，经尺寸变换为regmap∈r
m
×4，m＝n
×
n
×
l，其对应的标签l
reg
∈r
m
×4；从l
reg
中抽取p个正样本生成正样本集并记录其索引从regmap中抽取索引对应样本生成正预测
集则损失函数为为：其中，smoothl1(
·
)表示光滑化l1范数；最终的loss定义为：其中，γ∈[0，10)是用于平衡两种loss的超参数。9.根据权利要求6所述的一种基于深度网络的可见光-红外目标跟踪方法，其特征在于，通过自适应峰值选择模块处理分类响应图和回归响应图，获取目标定位具体为：通过比较clsmap1和clsmap2两张响应图的最大响应值，取最大响应值锚框所对应的坐标为索引，在regmap响应图中定位到预测框相对于上一帧的边界偏移，令clsmap1最大响应值点索引为令clsmap2最大响应值点索引为若则若则i
max
表示最大响应值锚框对应坐标，定位回归响应图regmap中的边界偏移为：(δcx，δcy，δw，δh)＝regmap2[i
max
]δcx，δcy，δw，δh分别表示预测框中心横坐标偏移、中心纵坐标偏移、宽度偏移、高度偏移，根据(δcx，δcy，δw，δh)计算出当前帧预测框：(cx，cy，w，h)＝(cx0 δcx，cy0 δcy，w0 δw，h0 δh)其中，cx，cy，w，h表示当前帧预测框的中心横坐标、中心纵坐标、宽度、高度；cx0、cy0、w0、h0表示上一帧预测框的中心横坐标、中心纵坐标、宽度、高度。10.一种基于深度网络的可见光-红外目标跟踪系统，其特征在于，包括数据采集处理模块和目标跟踪网络，其中：所述采集处理模块用于获取红外样本图像和红外候选图像、可见光样本图像和可见光候选图像；所述目标跟踪网络为对称的双流孪生网络结构，包括用于特征提取的可见光子网络和红外子网络、嵌入可见光子网络及红外子网络的通道注意力模块和通道-空间联合注意力模块、分类分支和回归分支、图像融合模块和自适应峰值选择模块；所述通道注意力模块和通道-空间联合注意力模块用于提取特征的增强，所述分类分支和回归分支分别用于原始模板和候选特征及增强的模板和候选特征的分类、分支，输出对应的分类响应图和回归响应图；所述图像融合模块用于对分类响应图和回归响应图进行融合，所述自适应峰值选择模块用于处理分类响应图和回归响应图，获取目标定位。

技术总结
本发明公开了一种基于深度网络的可见光-红外目标跟踪方法及系统，包括：构建对称的双流孪生网络，包括可见光子网络和红外子网络；将可见光样本-候选图像和红外样本-候选图像分别输入到可见光子网络和红外子网络，提取模板和候选特征；通过通道注意力模块和通道-空间联合注意力模块增强模板和候选特征；将原始模板和候选特征及增强的模板和候选特征均通过分类分支和回归分支进行分类、分支，得到对应的分类响应图和回归响应图；对分类响应图和回归响应图进行融合；通过自适应峰值选择模块处理分类响应图和回归响应图，获取目标定位。本发明在保证跟踪鲁棒性的同时仍能高速运行，应用于可见光-红外目标跟踪任务具有优异的性能。能。能。


技术研发人员：肖亮 郭朝阳
受保护的技术使用者：南京理工大学
技术研发日：2021.12.17
技术公布日：2022/3/22