混合线索多目标跟踪方法、系统、计算机设备及计算机程序产品与流程

摘要: 本技术属于计算机视觉及视频监控,尤其涉及一种混合线索多目标跟踪方法、系统、计算机设备及计算机程序产品方法及终端设备。背景技术:1、多目标跟踪是计算机视觉领域的核...
混合线索多目标跟踪方法、系统、计算机设备及计算机程序产品与流程

本技术属于计算机视觉及视频监控,尤其涉及一种混合线索多目标跟踪方法、系统、计算机设备及计算机程序产品方法及终端设备。

背景技术:

1、多目标跟踪是计算机视觉领域的核心任务之一,旨在视频序列中识别并建立多个动态目标的时空运动轨迹,在智能交通、自动驾驶、安防监控及机器人导航等场景中具有广泛的应用价值。现有的多目标跟踪方案通常遵循基于检测的跟踪框架,主要依赖于空间几何信息和外观视觉特征等强线索,通过计算边界框的交并比或重识别特征向量的距离,在连续视频帧之间实现目标的持续关联。

2、然而,在复杂实际应用场景中,当面临目标严重遮挡、多目标相互聚集或重叠等情况时,现有技术方案往往难以维持跟踪的连续性与身份的一致性。由于空间位置信息的剧烈畸变以及外观特征受到干扰,传统的关联机制容易失效,导致轨迹频繁中断或发生身份切换。此外,部分为应对复杂场景而引入的大型时序建模网络或高复杂度特征提取分支,显著增加了系统的计算开销,使得在资源受限的边缘计算设备上难以满足高帧率实时在线处理的需求,如何在保证实时性的前提下提升复杂场景下的跟踪鲁棒性成为该领域长期存在的技术挑战。

技术实现思路

1、有鉴于此,本技术实施例提供了一种混合线索多目标跟踪方法、系统、设备及程序产品,可以解决在复杂实际应用场景中,当面临目标严重遮挡、多目标相互聚集或重叠等情况时,现有技术方案往往难以维持跟踪的连续性与身份的一致性,且难以在资源受限设备上满足高帧率实时在线处理需求的技术问题,因此避免了因强线索失效导致的轨迹频繁中断、身份切换以及高计算负载带来的实时性下降情况,显著提升了系统在边缘计算环境下的运行稳定性、跟踪精度及整体可靠性。

2、本技术实施例的第一方面提供了一种混合线索多目标跟踪方法,包括:

3、提取t时刻的目标视频帧中的多个候选目标及每个所述候选目标的多维检测特征,所述多维检测特征包括所述候选目标的检测运动状态检测向量、检测置信度和检测外观特征;

4、预测每个历史运动轨迹中的历史目标在t时刻的所述目标视频帧中的多维预测特征,所述多维预测特征包括所述历史目标在所述目标视频帧中的运动状态预测向量、预测置信度和预测外观特征;

5、计算第一候选目标和第二候选目标的高度交并比,所述第一候选目标和所述第二候选目标为所述候选目标中的任意两个候选目标;

6、根据所述候选目标的检测置信度确定所述候选目标的权重系数组,所述权重系数组包括外观特征权重、运动状态权重、检测置信度权重和高度交并比权重;

7、基于所述候选目标的权重系数组、所述多维检测特征和所述历史运动轨迹的多维预测特征计算任意一个候选目标和任意一个历史运动轨迹的综合关联成本;

8、基于所述综合关联成本将所述历史运动轨迹和所述候选目标进行一一对应。

9、在第一方面的一种实现方式中,所述提取t时刻的目标视频帧中的多个候选目标及每个所述候选目标的多维检测特征,包括:

10、对目标检测模型进行轻量化处理,所述轻量化处理包括将所述目标检测模型的特征提取主干网络层数减半和将所有特征图的网络通道减少四分之三中的至少一种;

11、通过轻量化目标检测模型提取t时刻的目标视频帧中的多个候选目标及每个所述候选目标的多维检测特征。

12、在第一方面的一种实现方式中,所述预测每个历史运动轨迹中的历史目标在t时刻的所述目标视频帧中的多维预测特征,包括:

13、通过线性系统状态估计模型预测每个历史轨迹中的历史目标在t时刻的所述目标视频帧中的多维预测特征;

14、在所述预测置信度低于轨迹预测阈值的情况下,基于所述历史目标在历史帧的多维检测特征计算所述历史目标的历史多维检测特征,所述历史多维检测特征包括历史运动状态检测向量、历史检测置信度和历史检测外观特征;

15、对所述多维预测特征和所述历史多维检测特征进行更新加权融合,得到新的多维预测特征,所述加权融合中的权重由所述预测置信度确定。

16、在第一方面的一种实现方式中,所述计算第一候选目标和第二候选目标的高度交并比,包括:

17、计算第一候选目标的边界框和第二候选目标的边界框在垂直方向投影的重叠长度;

18、计算所述第一候选目标的边界框和所述第二候选目标的边界框在垂直方向上长度的并集长度;

19、计算所述重叠长度和所述并集长度的比值作为所述计算第一候选目标和第二候选目标的高度交并比。

20、在第一方面的一种实现方式中,所述根据所述候选目标的检测置信度确定所述候选目标的权重系数组,包括:

21、在所述候选目标的检测置信度大于第一阈值且小于第二阈值的情况下,基于所述检测置信度和如下计算公式确定遮挡风险系数:

22、;

23、其中,为遮挡风险系数,为所述检测置信度,为所述第一阈值,为所述第二阈值;

24、基于所述遮挡风险系数和所述候选目标的基础权重系数组进行如下计算得到所述候选目标的权重系数组:

25、

26、

27、

28、

29、其中,、、、为权重系数组中的权重系数,、、、为基础权重系数组中的权重系数,、、、为遮挡风险影响系数。

30、在第一方面的一种实现方式中,所述基于所述候选目标的权重系数组、所述多维检测特征和所述历史运动轨迹的多维预测特征计算任意一个候选目标和任意一个历史运动轨迹的综合关联成本,包括:

31、基于所述检测外观特征和所述预测外观特征计算外观特征距离;

32、基于所述运动状态检测向量和所述运动状态预测向量计算卡尔曼空间距离,所述运动状态检测向量包括边界框检测位置信息和目标检测运动速率,所述运动状态预测向量包括边界框预测位置信息和目标预测运动速率;

33、基于所述检测置信度和所述预测置信度计算置信度成本;

34、根据所述候选目标的权重系数组、所述外观特征距离、所述卡尔曼空间距离、所述置信度成本和所述高度交并比进行如下加权求和计算得到所述候选目标和所述历史运动轨迹的综合关联成本:

35、

36、其中,为综合关联成本,i为第i个候选目标,j为第j个历史轨迹,,m为候选目标数量,n为历史轨迹数量,为所述外观特征距离,为所述卡尔曼空间距离,为所述置信度成本,为所述高度交并比,为外观特征权重,为运动状态权重,为检测置信度权重,为高度交并比权重。

37、在第一方面的一种实现方式中,所述基于所述综合关联成本将所述历史运动轨迹和所述候选目标进行一一对应,包括:

38、历史轨迹集合和候选目标集合分别作为二分图的左右两侧节点,将综合关联成本作为二分图边的权重;

39、通过匈牙利算法在二分图中寻找满足排他约束的最小成本匹配组合,所述最小成本匹配组合中所述历史运动轨迹和所述候选目标进行一一对应。

40、本技术实施例的第二方面提供了一种混合线索多目标跟踪系统,包括:

41、检测模块,用于提取t时刻的目标视频帧中的多个候选目标及每个所述候选目标的多维检测特征,所述多维检测特征包括所述候选目标的检测运动状态检测向量、检测置信度和检测外观特征;

42、预测模块,用于预测每个历史运动轨迹中的历史目标在t时刻的所述目标视频帧中的多维预测特征,所述多维预测特征包括所述历史目标在所述目标视频帧中的运动状态预测向量、预测置信度和预测外观特征;

43、高度交并比模块,用于计算第一候选目标和第二候选目标的高度交并比,所述第一候选目标和所述第二候选目标为所述候选目标中的任意两个候选目标;

44、权重配置模块,用于根据所述候选目标的检测置信度确定所述候选目标的权重系数组,所述权重系数组包括外观特征权重、运动状态权重、检测置信度权重和高度交并比权重;

45、成本计算模块,用于基于所述候选目标的权重系数组、所述多维检测特征和所述历史运动轨迹的多维预测特征计算任意一个候选目标和任意一个历史运动轨迹的综合关联成本;

46、轨迹目标匹配模块,用于基于所述综合关联成本将所述历史运动轨迹和所述候选目标进行一一对应。

47、本技术实施例的第三方面提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。

48、本技术实施例的第四方面提供了一种计算机程序产品,包括计算机程序,所述计算机程序被运行时,使得如第一方面任意一项所述的方法被执行。

49、本技术提供了一种混合线索多目标跟踪方法、系统、计算机设备及计算机程序产品,该方案通过提取目标视频帧中的多维检测特征并预测历史轨迹的多维预测特征,构建了包含检测运动状态、置信度及外观特征的完整状态描述体系。在此基础上,通过计算候选目标间的高度交并比,引入垂直方向投影的重叠与并集长度比值作为关键判别依据,有效弥补了传统二维空间交并比在横向严重重叠场景下区分度不足的缺陷。同时,利用检测置信度动态确定包含外观、运动、置信度及高度交并比权重的权重系数组,实现了在不同遮挡风险下对各线索贡献度的自适应调节。进而,基于动态权重系数组融合多维检测特征与多维预测特征,计算出综合关联成本,并完成历史运动轨迹与候选目标的一一对应。从而有效解决了在复杂实际应用场景中,当面临目标严重遮挡、多目标相互聚集或重叠等情况时,现有技术方案往往难以维持跟踪的连续性与身份的一致性,且难以在资源受限设备上满足高帧率实时在线处理需求的技术问题,因此避免了因强线索失效导致的轨迹频繁中断、身份切换以及高计算负载带来的实时性下降情况,显著提升了系统在边缘计算环境下的运行稳定性、跟踪精度及整体可靠性。