一种面向密集遮挡场景的多目标跟踪优化方法及系统

本发明属于视频跟踪，具体是一种面向密集遮挡场景的多目标跟踪优化方法及系统。

背景技术：

1、随着智能视频监控技术的快速发展，出现了多目标跟踪技术，该技术能够在连续的视频帧序列中对移动目标进行检测并分配唯一身份标识，具有持续记录和分析目标行为轨迹的特点。

2、传统的多目标跟踪技术，通常采用基于检测的跟踪框架进行处理，首先在每一帧图像中独立提取目标的边界框坐标和表观特征，然后利用历史轨迹的运动状态进行线性预测，并结合目标间的表观特征相似度进行数据关联，当目标因遮挡导致检测框短暂缺失时，则保留该轨迹并等待目标重新出现后再进行匹配。然而，在密集遮挡场景下，目标之间的相互遮挡导致目标有效表观特征严重缺失或被污染，同时目标因拥挤往往产生非线性运动，传统方法仅依赖历史线性运动预测极易产生位置偏离，且缺乏对遮挡期间特征的隔离保护与有效聚合机制，导致遮挡结束后目标重新出现时，历史轨迹特征与当前局部检测特征无法有效匹配，极易发生身份切换或轨迹断裂，致使密集遮挡场景下极易丢失目标轨迹，无法维持目标被短暂遮挡时的身份标识，并且无法在遮挡结束后准确恢复跟踪。

技术实现思路

1、本发明目的在于提供一种面向密集遮挡场景的多目标跟踪优化方法及系统，能够克服密集遮挡下的运动偏离和特征污染，实现遮挡期间目标身份的稳定维持以及遮挡结束后的精准匹配恢复跟踪，从而显著提升复杂遮挡场景下多目标跟踪的连续性和精度。

2、本发明是通过以下技术方案来实现：

3、一种面向密集遮挡场景的多目标跟踪优化方法，包括如下步骤：

4、s1、获取视频帧序列，利用预训练的目标检测网络对视频帧序列进行目标检测，得到当前帧检测框集合，当前帧检测框集合包括边界框坐标、分类置信度和初始表观特征向量；

5、s2、基于存活轨迹集合的历史运动状态序列和当前帧检测框集合中的边界框坐标，对存活轨迹集合进行空间邻域图构建，再基于空间邻域图，对存活轨迹集合进行时空上下文感知的运动状态预测，得到预测边界框集合；

6、在视频跟踪过程中，持续维护实时更新的存活轨迹集合，筛选保留当前未触发跟踪终止条件、处于持续跟踪状态的所有目标轨迹数据，构成存活轨迹集合，其包括历史运动状态序列、遮挡状态计数器和动态特征记忆队列；

7、s3、基于遮挡状态计数器，对动态特征记忆队列进行遮挡感知的特征聚合，得到轨迹代表特征向量集合；

8、s4、基于预测边界框集合和轨迹代表特征向量集合，对当前帧检测框集合进行遮挡感知的自适应数据关联，得到匹配轨迹对集合、未匹配轨迹集合和未匹配检测框集合，过程为：

9、s41、对预测边界框集合和前帧检测框集合的边界框坐标进行马氏距离计算，得到运动匹配距离；

10、s42、对当前帧检测框集合的初始表观特征向量和轨迹代表特征向量进行余弦距离计算，得到表观匹配距离；

11、s43、对遮挡状态计数器的实时数值和当前帧检测框集合的分类置信度进行自适应融合权重计算，得到融合权重值；

12、s44、基于融合权重值，对运动匹配距离和表观匹配距离进行加权求和，得到联合代价矩阵；

13、s45、将联合代价矩阵输入二分图匹配算法，进行最优匹配求解，得到匹配轨迹对集合、未匹配轨迹集合和未匹配检测框集合；

14、s5、基于未匹配轨迹集合中的轨迹代表特征向量和未匹配检测框集合中的初始表观特征向量，对未匹配轨迹集合进行基于交叉注意力机制的轨迹恢复，生成恢复轨迹集合。

15、进一步地，所述s1的过程为：

16、s11、按照固定的时序拆分规则，对视频采集设备传输的连续视频数据流进行帧拆解处理，得到时序连续且顺序规整的视频帧序列；

17、s12、利用预训练的目标检测网络逐帧解析视频帧序列中图像目标信息，分别提取有效目标的边界框坐标、分类置信度和初始表观特征向量，汇总单帧内所有目标的边界框坐标、分类置信度和初始表观特征向量，生成结构统一的当前帧检测框集合。

18、进一步地，所述s2的过程为：

19、s21、提取历史运动状态序列中各存活轨迹对应的上一帧预测位置，同时匹配当前帧检测框集合的边界框坐标，对存活轨迹集合进行空间邻域图构建，得到包括中心节点集合、邻居节点集合和空间距离权重的空间邻域图；

20、s22、基于空间距离权重，对中心节点集合和邻居节点集合进行归一化，得到邻居节点的归一化聚合权重，具体过程为：读取空间邻域图中的空间距离权重，对空间邻域图中的中心节点集合中的单个中心节点对应的全部邻居节点的空间距离权重进行全局累加计算，得到单个中心节点对应的邻域权重总和，再将每一个邻居节点的空间距离权重与邻域权重总和做比值运算，完成权重归一化映射，逐一求解所有邻居节点对应的权重数值，得到所有邻居节点的归一化聚合权重；

21、s23、基于邻居节点的归一化聚合权重，对中心节点的初始运动特征向量和邻居节点的初始运动特征向量进行图卷积聚合，得到中心节点更新特征向量；

22、s24、将中心节点更新特征向量输入预训练的边界框回归网络，求解各存活轨迹对应的当前帧预测位置，汇总所有中心节点的回归预测结果，得到预测边界框集合。

23、进一步地，所述s21的空间邻域图的构建过程为：

24、s211、将每一条存活轨迹设置为独立图节点，将待进行运动预测的存活轨迹节点定义为中心节点，并将处于预设空间邻域范围内的其他存活轨迹节点定义为邻居节点，所有中心节点汇总形成中心节点集合，所有邻居节点汇总生成邻居节点集合；

25、s212、计算中心节点和对应邻居节点之间的空间位置偏差，得到能够表征节点空间关联紧密程度的空间距离权重；

26、s213、整合中心节点集合、邻居节点集合和空间距离权重，生成完整的空间邻域图。

27、进一步地，所述s23的过程为：

28、s231、对历史运动状态序列中的历史边界框坐标、中心点速度和宽高变化率进行特征拼接，得到中心节点初始运动特征向量和邻居节点的初始运动特征向量；

29、s232、调取邻居节点的归一化聚合权重并作为特征融合的量化依据，将中心节点的初始运动特征向量和邻居节点的初始运动特征向量进行加权融合，得到融合多节点运动信息的聚合特征向量；

30、s233、对聚合特征向量和预设的可学习权重矩阵进行标准矩阵乘法，得到经过线性变换处理的矩阵乘法结果；

31、s234、对矩阵乘法结果输入非线性映射函数relu，进行非线性映射，得到中心节点更新特征向量，表示为：

32、

33、式中：为第帧的中心节点更新特征向量；为非线性映射函数；为可学习权重矩阵；为第帧的中心节点自身的自环权重；为第帧的中心节点的初始运动特征向量；为邻居节点集合；为第帧的邻居节点的归一化聚合权重；为第帧的邻居节点的初始运动特征向量。

34、进一步地，所述s3的过程为：

35、s31、实时读取存活轨迹集合中各条存活轨迹对应的遮挡状态计数器的计数数值，将遮挡状态计数器的实时计数结果与预设遮挡容忍阈值进行对比，当遮挡状态计数器的实时计数结果超过预设遮挡容忍阈值时，停止对对应存活轨迹的特征更新操作，锁定当前已存储的有效表观特征，生成冻结特征队列；当遮挡状态计数器的实时计数结果未超过预设遮挡容忍阈值时，持续接收新的表观特征并迭代更新队列内特征数据，生成更新特征队列，整合所有存活轨迹对应的特征队列，得到完整的待聚合记忆队列；

36、s32、调取待聚合记忆队列中的各历史表观特征向量，对其进行时间维度特征衰减建模，得到各历史表观特征向量的时间衰减权重；

37、s33、基于时间衰减权重，对待聚合记忆队列中的各历史表观特征向量进行加权平均池化，得到轨迹代表特征向量集合，具体过程为：将每一个历史表观特征向量与对应的时间衰减权重进行逐元素加权运算，得到各历史表观特征向量的加权特征数据，再对所有加权特征数据进行全局均值求解，然后将所有存活轨迹对应的加权特征数据进行整合，生成轨迹代表特征向量集合。

38、进一步地，所述s32的过程为：

39、s321、对待聚合记忆队列中的各历史表观特征向量进行帧号提取，得到历史帧号和当前帧号；

40、s322、将当前帧号和历史帧号进行差值运算，得到帧间距离；

41、s323、基于帧间距离，采用指数衰减运算对各历史表观特征向量进行指数衰减权重计算，得到各历史表观特征向量的时间衰减权重，表示为：

42、

43、式中：为时间衰减权重；为衰减率参数，用于统一调控整体特征权重的衰减速率；为当前帧号；为对应历史表观特征向量匹配的历史帧号。

44、进一步地，所述s43的过程为：

45、s431、对遮挡状态计数器和预设遮挡容忍阈值进行差值运算，得到遮挡偏离度；

46、s432、对当前帧检测框集合的分类置信度和预设置信度阈值进行差值运算，得到置信偏离度；

47、s433、对遮挡偏离度和置信偏离度进行逻辑回归函数映射，得到融合权重值，表示为：

48、

49、式中：为融合权重值；和为调节参数；为遮挡状态计数器的实时数值，为预设遮挡容忍阈值；为分类置信度；为预设置信度阈值。

50、进一步地，所述s5的过程为：提取未匹配轨迹集合中对应的轨迹代表特征向量以及未匹配检测框集合中的初始表观特征向量，以双向特征交互建模机制作为交叉注意力机制，通过交叉注意力机制搭建轨迹代表特征向量和初始表观特征向量的双向交互映射关系，深度挖掘遮挡场景下被噪声弱化的目标同源特征信息，强化同源特征的相似度权重，修正遮挡导致的特征匹配偏差，对轨迹断裂和匹配失效的未匹配轨迹进行身份重新绑定和轨迹接续，生成轨迹完整且身份唯一的恢复轨迹集合。

51、一种面向密集遮挡场景的多目标跟踪优化系统，包括目标检测模块、运动预测模块、特征聚合模块、数据关联模块和轨迹恢复模块，其中：

52、所述目标检测模块用于获取视频帧序列，对视频帧序列进行目标检测，得到当前帧检测框集合，当前帧检测框集合包括边界框坐标、分类置信度和初始表观特征向量；

53、所述运动预测模块基于存活轨迹集合的历史运动状态序列和当前帧检测框集合中的边界框坐标，对存活轨迹集合进行时空上下文感知的运动状态预测，得到预测边界框集合，其中：存活轨迹集合包括历史运动状态序列、遮挡状态计数器和动态特征记忆队列；

54、所述特征聚合模块基于遮挡状态计数器，对动态特征记忆队列进行遮挡感知的特征聚合，得到轨迹代表特征向量集合；

55、所述数据关联模块基于预测边界框集合和轨迹代表特征向量集合，对当前帧检测框集合进行遮挡感知的自适应数据关联，得到匹配轨迹对集合、未匹配轨迹集合和未匹配检测框集合；

56、所述轨迹恢复模块基于未匹配轨迹集合中的轨迹代表特征向量和未匹配检测框集合中的初始表观特征向量，对未匹配轨迹集合进行基于交叉注意力机制的轨迹恢复，生成恢复轨迹集合。

57、本发明具有如下有益技术效果：

58、本发明通过目标检测获取前帧检测框集合，再基于空间邻域图实现时空上下文感知的存活轨迹运动状态预测，以利用邻域目标运动趋势克服遮挡下的非线性偏移，接着对动态特征记忆队列进行遮挡感知的更新拦截与时序衰减聚合，以维持遮挡期间的纯净身份表征，再接着采用遮挡自适应权重构建预测位置与轨迹代表特征的自适应关联，然后对未匹配轨迹利用交叉注意力机制聚焦局部可见特征进行恢复，即通过交叉注意力机制实现断轨恢复，实现全链路的遮挡场景适配优化，能够在目标短暂遮挡期间稳定维持身份标识，在遮挡结束后精准恢复跟踪，从而有效克服密集遮挡下运动预测偏离和特征污染失效的问题，实现了遮挡期间目标身份的稳定维持以及遮挡结束后的精准匹配恢复，显著提升了复杂遮挡场景下多目标跟踪的连续性和精度。