一种基于排序的孪生网络目标跟踪方法及系统

1.本发明涉及模式识别和计算机视觉领域，具体涉及一种基于排序的孪生网络目标跟踪方法及系统。


背景技术：

2.最近，基于孪生网络的目标跟踪算法siamrpn和siamrpn 引起了极大的关注。目前基于孪生网络的跟踪器主要将视觉跟踪描述为两个独立的子任务，分类和回归。学习分类子网络时，这些方法通过对每个样本分别进行处理，比如，某样本标签是正样本(1)或者负样本(0)，网络在分类损失函数的指导下，尽可能为该样本输出分类分数1或者0，但是正负样本之间的关系未被考虑。这会导致孪生网络跟踪很难辨别困难负样本(与跟踪目标相似的目标)。在训练阶段，分类子网络负责分类训练样本，即包含大量无语义信息的简单负样本，而一些困难负样本，由于数量极其稀少，很容易在训练阶段被大量简单负样本淹没。在测试时，尽管大多数非目标样本(落在背景区域上)可被分类器辨识为背景，但是只要有一个干扰目标具备高的前景分类分数，它就可以干扰到跟踪器，一旦它的分数在某一帧超过真正目标的分类分数，那么跟踪器就会偏向该干扰目标，导致跟踪失败，这在以往的孪生网络跟踪器中频繁发生。
3.此外，分类和回归之间存在不匹配问题，这是由于分类和回归任务是独立处理的。具体地说，分类损失函数促使模型区分前景和背景，而未考虑回归分支。而回归分支的目的是在不考虑样本的分类情况，为所有正样本回归目标的边界框。因此，目标框回归精度较高的样本可能具有相对较低的目标分类分数，而目标分类分数较高的样本可能产生较低的回归精度。因此，如何提高孪生rpn网络的目标跟踪精度成为一个亟待解决的问题。


技术实现要素：

4.为了解决上述技术问题，本发明提供一种基于排序的孪生网络目标跟踪方法及系统。
5.本发明技术解决方案为：一种基于排序的孪生网络目标跟踪方法，包括：
6.步骤s1：构建分类排序损失函数，训练孪生rpn目标跟踪网络中的分类分支；
7.步骤s2：构建基于iou的排序损失函数，对齐所述孪生rpn目标跟踪网络中的分类分支和回归分支；
8.步骤s3：将所述分类排序损失函数、基于iou的排序损失函数以及rpn网络中的原有的损失函数相结合，构建总损失函数，指导所述孪生rpn目标跟踪网络训练。
9.本发明与现有技术相比，具有以下优点：
10.1、本发明公开了一种基于排序的孪生网络目标跟踪方法，利用分类排序损失函数约束正样本分类分数大于困难负样本分数，这样使得困难负样本可被分类为前景目标，避免跟踪器错误地选到负样本，导致跟踪失败。
11.2、本发明利用区基于iou的排序损失函数连接孪生rpn网络中的分类和回归分支，
使得分类分支预测的分数可反映分类精度和回归预测精度。
附图说明
12.图1为本发明实施例中一种基于排序的孪生网络目标跟踪方法的流程图；
13.图2为本发明实施例中孪生rpn目标跟踪网络的系统架构图；
14.图3为本发明实施例中一种基于排序的孪生网络目标跟踪系统的结构框图。
具体实施方式
15.本发明提供了一种基于排序的孪生网络目标跟踪方法，通过构建分类排序损失和基于iou的排序损失函数，可有效地提升现有孪生网络的目标跟踪精度。
16.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
17.实施例一
18.如图1所示，本发明实施例提供的一种基于排序的孪生网络目标跟踪方法，包括下述步骤：
19.步骤s1：构建分类排序损失函数，训练孪生rpn目标跟踪网络中的分类分支；
20.步骤s2：构建基于iou的排序损失函数，对齐孪生rpn目标跟踪网络中的分类分支和回归分支；
21.步骤s3：将分类排序损失函数、基于iou的排序损失函数以及rpn网络中的原有的损失函数相结合，构建总损失函数，指导孪生rpn目标跟踪网络训练。
22.如图2所示，展示了孪生rpn目标跟踪网络的系统架构，它有两个输入，一个包含第一帧跟踪目标的模板图像，一个是包含后续帧跟踪目标和背景的搜索图像，骨干网络用于提取两路图像的特征。将两路特征图输入rpn模块，首先融合两路特征，融合后的特征分别输入分类分支，用于预测每个样本(候选框)的类别，即是属于前景目标还是背景；以及回归分支，用于预测跟踪目标的边界框。
23.在一个实施例中，步骤s1：构建分类排序损失函数，训练孪生rpn目标跟踪网络中的分类分支，具体包括：
24.步骤s11：按照下述公式(1)，分别计算孪生rpn网络中的分类分支输出的正负样本的前景分类分数均值：
[0025][0026]
其中，a
pos
是正样本集，a
neg
是困难负样本集；负样本j-权重系数为exp()为指数函数；正样本j

的权重w
j
为其中n
pos
是正样本集a
pos
中样本个数；p
j
和p
j-分别是由分类分支所预测正样本j

和困难负样本j-的前景分类分数；
[0027]
本发明实施例根据孪生rpn网络中分类分支所输出的前景分类分数，对所有负样本进行排序，将其中前景分类分数低于0.5的负样本过滤掉，将剩余的负样本构成了困难负样本集a
neg
；
[0028]
步骤s12：根据步骤s11得到的p

和p-，构建分类排序损失函数，如公式(2)所示：
[0029][0030]
其中，exp()和log()分别为指数函数和对数函数；β为控制损失值大小的参数，α为控制排序距离的参数，本发明实施例中，β可取值为4，α取值为0.5。公式(2)可以约束正样本前景分类得分均值p

大于困难负样本前景分类得分均值p-，具体来说，如果p-比p

值大的话，那么l
rank_cls
损失值会很大；反之，如果p-比p

值小的话，那么l
rank_cls
损失值会较小。因此，神经网络在反向传播时，为了让l
rank_cls
值尽可能小，就会约束p-尽可能比p

低，从而有效地降低困难负样本的分类得分，实现抑制困难背景的目的。
[0031]
本发明将孪生rpn网络中的分类问题转换为排序问题，约束正样本前景分类得分大于困难负样本前景分类得分。与现有的分类问题相比，本发明所提供的排序方式充当一个宽松的约束项，公式(2)中的困难负样本前景分类均值p-可以很大，落在前景目标类别上，但是只要保证它们的前景分类得分均值p-低于正样本的前景分类得分均值p

，这样就可以避免跟踪器错误地选到负样本，导致跟踪失败。
[0032]
在一个实施例中，上述步骤s2：构建基于iou的排序损失函数，对齐孪生rpn目标跟踪网络中的分类分支和回归分支，具体包括：
[0033]
步骤s21：对于正样本i

,j

∈a
pos
而言，约定以下约束方式，如公式(3)所示：
[0034][0035]
其中，和分别是正样本i

和j

的前景分类分数；和分别是正样本i

和j

的由回归分支预测得到的回归分数，由iou(intersection over union)表示；
[0036]
根据公式(3)可知，当正样本i

的回归分数大于正样本j

的回归分数时，那么可约束样本i

的前景分类分数大于正样本j

的前景分类分数类似地，当正样本i

的前景分类分数大于正样本j

的前景分类分数时，那么可约束正样本i

的回归分数大于正样本j

的回归分数通过公式(3)的约束条件，可使得分类分支的得分不仅反映目标的前景分类精度，也可以反映目标的回归精度；
[0037]
步骤s22：构建基于iou的排序损失函数l
rank-iou
，如下述公式(4)所示：
[0038][0039]
其中，xp()为指数函数；γ为控制损失值大小的参数，本发明实施例中，γ可取值
为3。
[0040]
公式(4)的第一项反映了公式(3)中第一个约束条件，即当大于时，大于公式(4)的第一项的值越小；类似地，公式(4)的第二项反映了公式(3)中第二个约束条件，即当大于时，大于公式(4)的第二项的值也越小。这样在公式(4)的作用下，回归精度越高的样本分类得分就越高，分类分支的分类得分可以一定程度上反映目标框预测的精度，这样公式(4)可以连接分类分支和回归分支，分类分支就可以同时反映分类和回归精度。
[0041]
本发明构建了基于iou的排序损失函数，该损失函数可以不增加额外分支的前提下，连接分类分支和回归分支，让分类分支可以同时反映分类精度和回归精度(即目标框预测精度)。
[0042]
在一个实施例中，上述步骤s3：将分类排序损失函数、基于iou的排序损失函数以及rpn网络中的原有的损失函数相结合，构建总损失函数，指导孪生rpn目标跟踪网络训练，具体包括：
[0043]
将分类排序损失函数l
rank_cls
、基于iou的排序损失函数l
rank_iou
和rpn网络中原有的损失函数l
rpn
相加，构建总损失函数l
total
，如下述公式(5)表示：
[0044]
l
total
＝l
rpn
l
rank-cls
l
rank-iou
ꢀꢀ
(5)
[0045]
通过l
total
可指导孪生rpn目标跟踪网络的训练，用于优化和更新网络参数。
[0046]
实施例二
[0047]
如图3所示，本发明实施例提供了一种基于排序的孪生网络目标跟踪系统，包括下述模块：
[0048]
构建分类排序损失函数模块41，用于构建分类排序损失函数，训练孪生rpn目标跟踪网络中的分类分支；
[0049]
构建基于iou的排序损失函数模块42，用于构建基于iou的排序损失函数，对齐孪生rpn目标跟踪网络中的分类分支和回归分支；
[0050]
构建总损失函数模块43，用于将分类排序损失函数、基于iou的排序损失函数以及rpn网络中的原有的损失函数相结合，构建总损失函数，指导孪生rpn目标跟踪网络训练。
[0051]
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。