基于无锚孪生神经网络的多目标检测跟踪一体化方法

技术特征：
1.一种基于无锚孪生神经网络的多目标检测跟踪方法，其特征在于，包括如下：(1)构建训练数据集与测试数据集：将至少5个光学视频序列组成训练数据集，将至少1个光学视频序列组成测试数据集，其中：每个光学视频序列中至少包含50帧连续图像，每帧图像包含至少一个完整的运动目标，且每帧图像中运动目标位置相比前一帧中该目标所在位置移动幅度大于等于2个像素点，每帧图像的长宽不得小于500
×
500；每种数据集的标签均包括当前帧图像每个目标所在的中心点，目标的长宽，目标类别以及目标的序号；(2)构建基于无锚孪生神经网络的一体化检测与跟踪网络：(2a)搭建一个包括三个下采样层和三个上采样的并行多尺度特征融合模块；(2b)搭建一个包括三个卷积层和三个激活函数层的检测分支子网络；(2c)选用现有的resnet50网络和siamban网络，并将siamban网络作为跟踪分支子网络；(2d)将并行多尺度特征融合模块的输入端分别与现有resnet50网络的第三、第四、第五卷积层连接，将并行多尺度特征融合模块的输出端分别与跟踪分支子网络和检测分支子网络连接，构成一体化无锚孪生神经网络；(2e)设置基于无锚孪生神经网络的一体化检测与跟踪网络的损失函数：loss＝l e2，其中：e2为已知siamban网络中所使用的损失函数；l＝l
heat
l
size
l
offset
为检测分支子网络的损失函数，l
heat
、l
size
、l
offset
分别为检测分支网络的目标中心热图损失函数、尺寸回归损失函数和目标中心偏移损失函数；(3)利用训练数据集对基于无锚孪生神经网络的一体化检测与跟踪网络进行训练：(3a)构建一个空的训练集目标轨迹模板集合，并根据训练集第一帧图像标签对其初始化；(3b)将训练集目标轨迹模板集合与当前图像一起输入到基于无锚孪生神经网络的一体化检测与跟踪网络，得到检测与跟踪的结果；(3c)根据总损失函数，计算网络损失值，并通过梯度下降法更新网络参数；(3d)更新目标轨迹模板集合；(3e)重复(3b)到(3d)直到网络损失函数收敛,得到训练好的基于无锚孪生神经网络的一体化检测与跟踪网络模型；(4)对测试集的图像进行目标检测与跟踪：(4a)将测试集第一帧图像输入到训练好的基于无锚孪生神经网络的一体化检测与跟踪网络，输出第一帧图像的目标检测结果；(4b)构建一个空的测试集目标轨迹模板集合，根据测试集第一帧图像及(4a)的检测结果初始化测试集目标轨迹模板集合；(4c)将测试集与已初始化后的测试集轨迹模板集合输入到训练好的基于无锚孪生神经网络的一体化检测与跟踪网络，输出测试集第二帧及第二帧之后的每一帧图像的检测与跟踪结果；
(4d)根据检测结果与跟踪结果的iou大小进行匹配，并将匹配目标的检测结果替换其跟踪结果，输出最终的检测与跟踪结果。2.根据权利要求1所述的方法，其特征在于，(2a)搭建的并行多尺度特征融合模块中三个上下采样层的结构关系及参数如下：第一下采样层、第二下采样层、第三下采样层、第一上采样层、第二上采样层、第三上采样层的输出端与输入端按顺序依次相连；第一下采样层的输入端与第三上采样层的输出端相连，第二下采样层的输入端与第二上采样层的输出端相连，第三下采样层的输入端与第三上采样层的输出端相连；所述第一下采样层和第三下采样层，其包括尺寸均为3
×
3，卷积核数量分别为128，256，512的并行三个卷积层组成；所述第二下采样层，其包括尺寸均为3
×
3，卷积核数量分别为64，128，256的并行三个卷积层组成；所述第一上采样层、第二上采样层、第三上采样层，均为上采样倍数为2的线性插值层。3.根据权利要求1所述的方法，其特征在于，(2b)搭建的检测分支子网络中三个卷积层和三个激活函数层的结构关系和参数如下：第一卷积层与第一激活函数层连接，第二卷积层与第二激活函数层连接，第三卷积层与第三激活函数层连接，形成并行的三条支路；所述第一卷积层，其由尺寸为3
×
3，卷积核数量为1的单层卷积组成；所述第二、第三卷积层，其均由尺寸为3
×
3，卷积核数量为2的单层卷积组成；所述三个激活函数层，均使用线性整流函数作为激活函数，其公式为：f(x)＝max(0,x)。4.根据权利要求1所述的方法，其特征在于，(2e)中已知siamban网络的损失函数e2，表示如下：其中，n为单次训练输入样本数量，y
i
为样本正负例标签，p
i
为网络预测得分，iou为网络预测目标位置与目标真值的交并比。5.根据权利要求1所述的方法，其特征在于，(2e)中检测分支网络的目标中心热图损失函数l
heat
、尺寸回归损失函数l
size
和目标中心偏移损失函数l
offset
，分别表示如下：，分别表示如下：，分别表示如下：其中，n为每一批输入训练样本数量，p、size、offset分别为检测网络对目标中心置信
度、目标尺寸、目标中心偏移的预测结果；p_gt、size_gt、offset_gt分别为目标中心、目标尺寸、目标中心偏移量的真实标签值。6.根据权利要求1所述的方法，其特征在于，(3a)中根据训练集第一帧图像标签对空的训练集目标轨迹模板集合进行初始化，实现如下：(3a1)选取训练集视频序列的第一帧图像作为网络的输入，提取并行多尺度特征融合模块的输出特征图；(3a2)根据视频序列的第一帧图像中每个目标的标签，提取输出特征图中该目标所在区域的特征块；(3a3)将所有目标特征块通过现有技术roi align转换为目标轨迹模板特征，并将每个目标轨迹模板特征存放至目标轨迹训练模板集合，完成目标轨迹训练模板集合初始化。7.根据权利要求1所述的方法，其特征在于，(4b)中据测试集第一帧图像及(4a)的检测结果对空的测试集目标轨迹模板集合进行初始化，实现如下：(4b1)选取输入的测试视频序列第一帧图像作为网络的输入，提取并行多尺度特征融合模块输出的特征图，(4b2)根据(4a)检测结果中目标所在位置提取其输出特征图中该目标所在区域的特征块；(4b3)将所有目标特征块通过现有技术roi align转换为目标轨迹模板特征，并将每个目标轨迹模板特征存放至目标测试轨迹模板集合，完成目标轨迹测试模板集合初始化。

技术总结
本发明公开了一种基于无锚孪生神经网络的多目标检测跟踪一体化方法，主要解决现有技术对目标表观特征辨识能力弱，网络实时性差的问题。其实现方案为：获取训练数据集与测试数据集；构建基于无锚孪生神经网络的一体化检测与跟踪网络，设置其损失函数Loss；生成空的训练集轨迹模板集合并用其和训练数据集对构建的一体化检测与跟踪网络进行训练；生成空的测试集轨迹模板集合并将其和测试数据集同时输入到训练好的一体化检测与跟踪网络中，输出在测试数据集上的检测与跟踪结果。本发明能提取强有力的辨别特征，提高了网络的实时性和跟踪精度，可用于视频序列中多个目标的单帧检测与跨帧关联，实现自然视频场景下对多个感兴趣目标的准确检测与跟踪。标的准确检测与跟踪。标的准确检测与跟踪。


技术研发人员：冯婕 惠炳谕 焦李成 张向荣 尚荣华 王蓉芳 古晶
受保护的技术使用者：西安电子科技大学
技术研发日：2022.08.22
技术公布日：2022/11/11