一种基于目标运动预测的多目标追踪方法与流程

技术特征：
1.一种基于目标运动预测的多目标追踪方法，其特征在于，该方法包括如下步骤：步骤一：基于大量目标检测数据集预训练出基本的目标检测模型，所述预训练模型为孪生网络结构的端对端神经网络，有两个输入分支，预训练后可得到网络的初始参数；步骤二：对多目标追踪数据集进行数据增强操作，获得不同视角、图像畸变、遮挡后的数据；步骤三：增强后的数据通过共享参数的无锚点检测器提取特征；步骤四：使用相关性模块对目标进行进行运动预测，所述的相关性模块是一种获取目标在相邻帧之间的位置关系，用于对运动信息进行建模的计算模块；步骤五：对不同目标的特征计算匹配损失，将其作为模型的优化目标，所述的匹配损失作为整个模型训练时的优化目标，通过提升同一目标特征的相似度、降低不同目标特征的相似度的准则来学习表征；步骤六：通过目标在不同帧之间的运动关系直接实现目标追踪。2.如权利要求1所述的一种基于目标运动预测的多目标追踪方法，其特征在于，步骤二所述的数据增强操作是指：对于原始图像，进行翻转、裁剪、旋转或仿射变换，详细步骤包括：步骤a1：随机对图像进行左右翻转，保持所有目标仍在原图像内；步骤a2：随机对图像进行裁剪、旋转、仿射变换，保证图像内至少还剩一个目标；步骤a3：随机对图像进行高斯模糊、hsv色彩变换。3.如权利要求1或2所述的一种基于目标运动预测的多目标追踪方法，其特征在于，步骤三所述的通过无锚点检测器直接对整张图片提取特征，同时预测每个目标的位置和大小，两个分支的检测器共享参数，同时优化，减少了参数数量。4.如权利要求1-3任一所述的一种基于目标运动预测的多目标追踪方法，其特征在于，步骤四所述的相关性模块是一种获取目标在相邻帧之间的位置关系，对运动信息进行建模而设计的计算模块，详细步骤包括：对于两张高度为h，宽度为w，通道数为c的特征图f1，f2∈r
hw
×
c
，对于f1中的点每一个像素点p1与f2中的点p2，需要在p1周围半径为d(displacement)的方形区域内寻找相关性最高的点，即p1，p2满足p1＝p2 off，其中off∈[-d，d]
×
[-d，d]，令其输出的相关性图表示为假定corr
(p1，p2)
表示p1与p2两处的相关性，令f
i
(pi o)∈r
c
为i
i
中的点pi的某个半径为k(kernel)的邻域内点pi o处的特征，则有：这里＜f1，f2＞表示两个子特征图的点积。5.如权利要求4所述的一种基于目标运动预测的多目标追踪方法，其特征在于，通过控制p1与p2之间的位置关系来减少计算量。6.如权利要求4所述的一种基于目标运动预测的多目标追踪方法，其特征在于，引入stride，间隔取点计算相关性。7.如权利要求4所述的一种基于目标运动预测的多目标追踪方法，其特征在于，通过双线性插值或者其他上采样方法提升分辨率。
8.如权利要求1所述的一种基于目标运动预测的多目标追踪方法，其特征在于，步骤五所述的匹配损失作为整个模型训练时的优化目标，通过提升同一目标特征的相似度、降低不同目标特征的相似度的准则来学习表征，符合下列式子：特征的相似度的准则来学习表征，符合下列式子：特征的相似度的准则来学习表征，符合下列式子：l
id
＝l
identity
λl
matching
其中f1，f2是归一化的特征向量，id
i
是f
i
对应的id，k

和k-分别表示正样本对和负样本对的数目，和分别表示正样本对和负样本对的损失，其损失值大小与id特征向量之间夹角关系如图5.1所示，λ是用于平衡损失的系数；详细步骤包括：步骤c1：在所有数据中选择一个批集合，将其中选择经过同一个数据增强得到的相邻两帧作为训练样本送入网络；步骤c2：通过检测器提取每个目标的特征f
i
，具有相同id的特征对(f
i
，f
j
)计算其余的计算步骤c3：对本批集合中的匹配损失求和，加上其他的检测损失，并使用adam优化器进行梯度更新；步骤c4：处理其他批集合中的数据，重复c1-c3直到对比损失下降到收敛停止训练。9.如权利要求1所述的一种基于目标运动预测的多目标追踪方法，其特征在于，步骤六所述的通过目标在不同帧之间的运动关系直接实现目标追踪是指：在模型推理过程中，对每个目标优先使用预测得到的运动量，计算得到其在下一帧中的位置，从而直接将两帧中的两个目标联系起来，构成一段轨迹，从而减少遮挡导致的误差。

技术总结
本发明公开了一种基于目标运动预测的多目标追踪方法。本方法使用一种类似孪生网络结构的模型，孪生网络的两个分支分别输入前后两帧图像。首先在大量目标检测数据上对骨干网络进行预训练，得到一个能够提取特征的基本模型，然后提取到的目标特征被送入相关性模块进行运动预测，得到目标在相邻帧间的位置偏移量。通过预测目标在相邻帧之间的运动量，从而很好地避免密集人群场景下对目标特征的依赖，同时也能够减少追踪过程中同一条轨迹改变目标ID的次数。本方法同时还提出了一个匹配损失来提升ID编码的辨识度。在相邻帧之间采集正样本对和负样本对，匹配损失使正样本对之间的距离尽可能近，负样本对之间的距离尽可能远。负样本对之间的距离尽可能远。负样本对之间的距离尽可能远。


技术研发人员：钱卓 褚殿慧 钟宇腾
受保护的技术使用者：灵译脑科技（上海）有限公司
技术研发日：2021.11.16
技术公布日：2022/3/25