基于局部空间场景图的无人机对地多目标跟踪方法及系统

摘要: 本技术涉及无人机目标检测,尤其涉及一种基于局部空间场景图的无人机对地多目标跟踪方法及系统。背景技术:1、多目标跟踪(multipleobjecttracking...
基于局部空间场景图的无人机对地多目标跟踪方法及系统

本技术涉及无人机目标检测,尤其涉及一种基于局部空间场景图的无人机对地多目标跟踪方法及系统。

背景技术:

1、多目标跟踪(multiple object tracking,mot)是计算机视觉领域中面向视频序列理解的重要任务之一,其目标是在连续视频帧中同时检测和定位多个目标,并在时间维度上为同一目标维持一致的身份编号,从而生成具有连续时序关系的目标运动轨迹。与仅关注单帧图像中目标位置和类别的目标检测任务不同,多目标跟踪不仅需要回答目标在哪里的问题,还需要进一步判断当前帧中的目标与历史帧中的哪个目标相对应。因此,多目标跟踪通常涉及目标检测、特征提取、运动预测、跨帧数据关联、轨迹更新和身份保持等多个关键环节,其核心难点在于如何在复杂动态场景中同时保证目标位置的连续性和身份的一致性。

2、在无人机视觉场景中,多目标跟踪具有重要的应用价值。无人机能够从空中获取大范围、连续性的视频数据,若能够对视频中的车辆、行人、船只或其他地面目标进行稳定跟踪,则可为智能空中巡检、道路交通监控、公共安全监视、灾害应急搜救、重点区域巡逻、目标搜索、态势感知以及辅助决策等任务提供连续、可靠的目标运动信息。例如,在交通监控任务中,多目标跟踪可用于分析道路拥堵情况、车辆行驶轨迹以及异常交通行为;在应急搜救任务中,可用于持续定位被困人员或移动目标;在安防监视和目标搜索任务中,可对可疑目标进行持续跟踪,并为后续识别与处置提供支持。因此,无人机多目标跟踪不仅是无人机视觉感知系统的重要组成部分,也是实现无人机自主环境理解、目标持续观测和复杂任务执行的关键技术基础。

3、然而,与固定摄像头或车载摄像头采集的视频相比,无人机平台具有视角高、视野范围大、机动性强以及拍摄高度和姿态变化频繁等特点,这使得无人机视频中的多目标跟踪面临更加复杂的技术挑战:1)由于无人机通常在较高空域进行拍摄,地面目标在图像中所占像素区域较小,目标的纹理、边缘和外观细节容易丢失,导致用于身份区分的外观特征不够稳定;2)无人机在飞行过程中容易受到姿态调整、速度变化、气流扰动和视角切换等因素的影响,相机自身运动较为复杂,使得目标在图像平面中的位置变化不仅来源于目标自身运动,还受到平台运动和视角变化的共同影响,从而增加了运动预测和跨帧匹配的难度;3)无人机视频通常覆盖大范围开放场景,背景内容会随着飞行过程快速变化,地面建筑、道路、植被、阴影以及其他干扰区域可能与目标外观相似,容易引入误检或错误关联。

4、此外,在无人机对地观测场景中,目标之间的遮挡、密集分布以及相似目标混淆问题也更加突出。当多个目标在局部区域内距离较近、运动方向相似或外观高度相似时,仅依赖单个目标的外观特征或短时运动信息,往往难以准确判断不同帧之间的目标对应关系,容易出现身份切换、轨迹断裂、重复跟踪或错误合并等问题。特别是在车辆密集行驶、人群聚集、目标短时遮挡以及低分辨率成像条件下,目标的局部外观信息会进一步退化,传统多目标跟踪方法中的检测结果、外观嵌入和简单运动模型均可能变得不够可靠。

5、因此,在无人机航拍视频中,当单个目标的外观特征因低分辨率、运动模糊、部分遮挡、视角变化或复杂背景干扰而变得不可靠时,如何仍能够准确完成同一目标在相邻帧及连续帧之间的身份关联,减少身份切换、漏跟踪和错误匹配现象,同时,在保证跟踪精度和鲁棒性的基础上,兼顾无人机边缘端部署对计算效率和实时性的要求是亟待解决的问题。

技术实现思路

1、本技术的目的在于提供一种基于局部空间场景图的无人机对地多目标跟踪方法及系统,其能够在无人机航拍视频中充分利用目标的时序连续性、历史运动信息以及目标之间的空间关系,提升小尺度、遮挡和相似目标条件下的身份保持能力,减少身份切换、漏跟踪和错误匹配现象,同时,在保证跟踪精度和鲁棒性的基础上,兼顾无人机边缘端部署对计算效率和实时性的要求。

2、为实现上述目的,本技术的实施例提供了一种基于迭代寻优的电力系统频率测量方法,步骤包括:

3、一种基于局部空间场景图的无人机对地多目标跟踪方法,步骤包括:

4、步骤s1.视频输入与特征提取:获取无人机平台采集的视频流并拆分为连续图像帧,从当前时刻图像帧中提取不同空间分辨率下的多尺度图像特征;

5、步骤s2.时序记忆融合:获取上一时刻的时序记忆 ,所述时序记忆由各历史轨迹的轨迹信息构成,所述轨迹信息包括外观信息、运动信息、目标边界框信息以及时间间隔信息,将当前帧的多尺度图像特征和所述时序记忆映射至统一的隐藏特征空间,并将映射后时序记忆执行自注意力建模后与当前帧图像特征通过交叉注意力机制进行信息交互,最终获得融合历史时序上下文信息的时序增强特征;

6、步骤s3.检测与身份预测:将步骤s2得到的所述时序增强特征输入检测与身份预测头,输出当前帧的目标检测结果以及身份嵌入特征检测结果以形成当前帧的检测节点;

7、步骤s4.局部空间场景图生成:将上一时刻的历史轨迹节点和当前帧的检测节点共同映射至极坐标空间,并根据历史轨迹节点与当前检测节点之间的局部几何关系和外观关系建立图结构,构建形成用于反映局部空间关系的局部空间场景图,其中根据空间位置关系、尺度关系以及外观特征相似度将各节点划分至不同的局部组件,以及根据各节点之间的径向距离、角向距离建立局部空间边;

8、步骤s5.图增强关联匹配:根据所述局部空间场景图对当前检测节点与历史轨迹节点之间的关联代价进行修正,得到图增强关联代价,基于所述图增强关联代价进行当前帧检测节点与历史轨迹之间的关联匹配;

9、步骤s6.轨迹更新与结果输出:根据步骤s5的关联匹配结果对轨迹进行更新,输出当前帧多目标跟踪结果,并对轨迹状态和时序记忆进行更新。

10、在一种可能的实施方式中,步骤s2包括:

11、步骤s2包括:

12、步骤s21.将第  个尺度的当前帧图像特征 映射至预设隐藏特征空间,并将二维空间特征展平为序列形式后加入对应的位置编码 ,得到当前帧第  个尺度的序列化特征表示;

13、步骤s22.将上一时刻的时序记忆 通过线性投影映射至与当前帧图像特征一致的隐藏空间,并加入历史边界框编码  和时间编码 ,得到历史记忆的隐藏表示;

14、步骤s23.对历史记忆的隐藏表示执行自注意力建模,得到增强后的历史记忆 ;

15、步骤s24.以当前帧第  个尺度的图像特征  作为查询、以增强后的历史记忆 作为键和值,执行当前帧特征到历史记忆的交叉注意力读取,得到序列化特征  ;

16、步骤s25.将序列化特征  重塑回与第  个尺度图像特征对应的空间分辨率,并与原始图像特征  进行通道维度拼接后再进行特征融合,得到第  个尺度的时序增强特征;

17、步骤s26.对各个尺度的时序增强特征进行自适应加权融合,得到最终增强特征。

18、在一种可能的实施方式中,步骤s3中,采用轻量级一阶段预测结构作为检测与身份嵌入预测头,所述检测与身份预测头包括分类或目标置信度分支、边界框回归分支以及身份嵌入分支,其中,所述分类或目标置信度分支用于判断当前空间位置或候选预测单元是否存在目标,并输出相应类别结果或目标置信度,所述边界框回归分支用于预测目标的中心位置、宽度和高度,所述身份嵌入分支用于生成与目标轨迹身份相关的嵌入向量。

19、在一种可能的实施方式中,步骤s4包括:

20、步骤s41.将上一时刻仍处于活动状态的历史轨迹节点集合 与当前帧检测节点集合 统一构成节点集合,节点集合中每个节点关联一个边界框以及一个身份嵌入 ;

21、步骤s42.将节点集合中各节点从原始图像坐标系映射至以图像底边中点为原点的透视感知极坐标空间,得到各节点的径向距离以及方位角,并根据各节点的边界框信息计算对应的视角感知接近分数;

22、步骤s43.根据所述视角感知接近分数分别确定各节点的径向邻域阈值和角向邻域阈值,当存在两个目标节点同时满足径向距离约束和角向距离约束时,则在两个目标节点之间建立局部空间边,构建得到局部空间场景图, 表示局部空间边集合,所述径向距离约束和角向距离约束分别为两个目标节点的径向邻域阈值和角向邻域阈值构建得到。

23、在一种可能的实施方式中,步骤s42中,视角感知接近分数 的计算表达式为:

24、

25、其中, 表示 sigmoid 函数, 表示节点  对应边界框的归一化面积,和  分别表示纵向位置和目标尺度对接近分数的调节参数。

26、在一种可能的实施方式中,步骤s43中,根据所述视角感知接近分数,分别按照下式确定节点  的径向邻域阈值  和角向邻域阈值 :

27、

28、其中, 和  分别为预设的基础径向阈值和基础角向阈值, 为邻域范围扩展系数。

29、在一种可能的实施方式中,步骤s5中,根据所述局部空间场景图中节点之间的身份嵌入特征、局部上下文特征得到关系感知身份特征,以及根据节点之间的极坐标关系距离以及原始关联代价计算局部结构感知代价,将所述关系感知身份特征、所述局部结构感知代价进行融合得到所述图增强关联代价,所述局部上下文特征由邻居节点身份嵌入按照边权重加权聚合得到,所述边权重根据节点之间的极坐标关系距离和身份嵌入特征计算得到。

30、在一种可能的实施方式中,当前检测节点与历史轨迹节点之间的图增强关联代价按照如下步骤得到:

31、将当前检测节点  的身份嵌入特征 与局部上下文特征  进行融合,并进行归一化处理,得到当前检测节点  的关系感知身份特征:

32、

33、其中, 为原始身份嵌入与局部上下文特征之间的平衡系数, 表示 归一化操作;

34、根据当前检测节点  与历史轨迹节点  之间的原始关联代价  、极坐标关系距离,计算当前检测节点  与历史轨迹节点  之间的局部结构感知代价:

35、

36、其中, 表示极坐标关系距离惩罚项的权重系数, 表示组件级结构项以用于约束历史轨迹节点与当前检测节点 位于同一局部场景区域;组件级结构项为: , 表示指示函数, 和  分别表示节点  和节点  所属的局部连通组件标记, 表示跨组件惩罚系数, 表示同组件奖励系数;

37、将当前检测节点  与历史轨迹节点  之间的局部结构感知代价、关系感知身份特征代价进行融合,得到最终的图增强关联代价:

38、

39、其中, 表示图增强身份特征代价的权重系数, 表示历史轨迹节点与当前检测节点 的关系感知身份特征相似度。

40、在一种可能的实施方式中,步骤s6包括:

41、对于匹配成功的历史轨迹,根据当前帧对应检测目标的边界框更新该轨迹的位置状态,并结合当前检测结果对轨迹速度、运动方向或其他运动状态进行修正;利用当前检测目标的身份嵌入特征以及图增强关联阶段得到的关系感知身份特征,对该轨迹的外观记忆进行更新;

42、对于未能与已有轨迹匹配但目标置信度高于预设阈值的当前帧检测目标,将其初始化为新生轨迹,并为该新生轨迹分配新的轨迹标识,同时记录其初始边界框、身份嵌入、检测置信度和时间状态;

43、对于连续若干帧未能匹配到有效检测结果的历史轨迹,则根据其未匹配持续时间和轨迹置信度,将其标记为丢失状态或终止状态,其中,处于丢失状态的轨迹可在预设时间窗口内继续参与后续帧的关联匹配,处于终止状态的轨迹则不再参与后续跟踪过程。

44、在一种可能的实施方式中,步骤s6包括:

45、如果是匹配成功的历史轨迹,根据当前帧对应检测目标的边界框更新当前轨迹的位置状态,并根据当前检测结果对轨迹速度、运动方向或运动状态进行修正;利用当前检测目标的身份嵌入特征以及关系感知身份特征,对当前轨迹的外观记忆进行更新;

46、如果是未能与已有轨迹匹配但目标置信度高于预设阈值的当前帧检测目标,初始化为新生轨迹,并为该新生轨迹分配新的轨迹标识,同时记录初始边界框、身份嵌入、检测置信度和时间状态;

47、如果是连续若干帧未能匹配到有效检测结果的历史轨迹,则根据未匹配持续时间和轨迹置信度标记为丢失状态或终止状态,其中,处于丢失状态的轨迹在预设时间窗口内继续参与后续帧的关联匹配,处于终止状态的轨迹则不再参与后续跟踪过程。

48、一种无人机对地多目标跟踪系统,包括:

49、处理器;

50、用于存储处理器可执行指令的存储器;

51、其中,所述处理器被配置为执行所述指令时实现如上述方法。

52、与现有技术相比,本技术的有益效果在于:

53、1、本技术在联合检测与跟踪框架中引入局部空间场景图生成机制,通过根据空间位置关系、尺度关系以及外观特征相似度将历史轨迹节点、当前检测节点划分至不同的局部组件,构建自适应局部空间场景图,使得将空间位置一致、尺度关系相近且容易发生身份混淆的候选目标划分至同一局部组件,并基于图增强关联代价对当前帧检测节点与历史轨迹进行关联匹配,可以抑制跨局部区域的不合理匹配,并提高局部易混淆目标之间的关联准确性,从而提高复杂无人机视频场景下目标身份关联的准确性和轨迹输出的稳定性。

54、2、本技术在联合检测与跟踪框架中引入时序记忆融合机制,通过获取并融合历史轨迹中的外观信息、历史运动信息、边界框信息和时间编码,对当前帧目标特征进行补偿增强,使目标表示不再完全依赖瞬时外观特征,从而提高复杂无人机场景下的身份保持能力。

55、3、本技术在联合检测与跟踪框架中同时引入时序记忆融合和局部空间场景图生成,使当前帧目标表征同时融合历史轨迹上下文和局部空间结构关系,可以有效提高小目标、遮挡目标和外观相似目标的身份关联鲁棒性,使得在无人机航拍视频中当单个目标的外观特征不可靠时仍能够准确完成同一目标在相邻帧及连续帧之间的身份关联,减少身份切换、漏跟踪和错误匹配现象,在保证跟踪精度和鲁棒性的基础上,兼顾无人机边缘端部署对计算效率和实时性。

56、4、本技术进一步通过将目标节点映射至极坐标空间,结合目标在图像中的纵向位置和目标面积自适应调整邻域范围,使邻域构建能够适应无人机视角下的尺度变化和透视关系,能够更准确地刻画画面中的局部空间结构,提高密集场景中目标关联判断的物理合理性。

57、5、本技术进一步综合考虑原始匹配代价、极坐标关系距离、局部组件一致性以及关系感知特征相似度实现关联匹配,当某一类证据受到干扰时,其余证据仍能够提供补充约束,当短期坐标预测受相机运动影响而不稳定时,可通过历史轨迹记忆和邻域关系增强目标身份表示,使得能够在小目标、相似目标、频繁遮挡以及复杂相机运动等无人机视频场景下,保持更加稳定和连续的轨迹输出。