一种检测器无关的多无人机跨视角多目标关联方法及系统与流程

摘要: 本发明涉及计算机视觉与无人机协同感知,具体涉及一种检测器无关的多无人机跨视角多目标关联方法及系统。背景技术:1、随着无人机技术的快速发展,多无人机协同系统在城市...
一种检测器无关的多无人机跨视角多目标关联方法及系统与流程

本发明涉及计算机视觉与无人机协同感知,具体涉及一种检测器无关的多无人机跨视角多目标关联方法及系统。

背景技术:

1、随着无人机技术的快速发展,多无人机协同系统在城市安防、交通管理、大型活动监控、边境巡逻及应急救援等领域得到日益广泛的应用。在此类系统中,多架无人机从不同空间位置、不同飞行高度和不同航向角对同一目标区域进行同步观测。由于各无人机视角存在显著差异,同一真实目标在不同视角图像中的外观、尺度和相对位置均有明显变化,准确识别并关联不同视角中的同一目标成为多无人机协同感知的核心技术难题。

2、跨视角目标关联任务的具体定义为:给定无人机1和无人机2各自在某一时刻拍摄的图像,目标检测器分别在两张图像中检测出若干目标。关联算法需判断无人机1视角中的每个目标,是否与无人机2视角中的某一目标对应同一真实物体,并给出检测置信度最高的一对一匹配结果。未能在另一视角中找到匹配的目标(例如被遮挡、超出视野或检测失败的目标)应被识别为不可匹配,避免产生误匹配。

3、现有跨视角目标关联技术主要存在以下几方面问题:

4、与特定检测器紧耦合:现有大量关联方法将特征提取与关联推理融合在统一网络中,导致整个系统必须与特定检测器联合训练,无法独立于检测器进行迭代升级。一旦更换检测器(例如由yolov8升级至yolov11或替换为rt-detr),关联模型即需重新设计甚至完全重训,研发效率低下,工程部署成本高昂。本领域迫切需要一种检测器无关的关联方法,使关联模块可无缝嵌入任意检测器之后,实现检测与关联的解耦。

5、对视角变化敏感:多无人机系统中各机的相对位姿往往事先未知且动态变化,不同无人机之间可能存在左右镜像、旋转乃至完全相反的视角关系。传统基于视觉外观特征的孤立实例匹配方法,仅依赖单个目标的外观描述符进行配对,无法利用场景中目标间的空间结构关系,在视角变化剧烈时性能急剧下降。

6、忽略目标间上下文关系:场景中多个目标之间的相对空间排布(如相对位置、相对尺度、方向关系)在不同视角下具有一定的几何一致性。现有方法大多忽略这种跨视角关系一致性,仅对每个目标独立匹配,,或基于全图的投影关系实现目标的关联匹配,未能充分利用场景的结构化上下文信息来验证和修正匹配结果。

7、可匹配性评估缺失:在实际场景中,并非每个检测目标在另一视角中都有对应匹配(例如视野不重叠、遮挡、漏检等情况均会导致某些目标无法配对)。现有方法缺乏对单个目标“是否可匹配”的显式建模,倾向于对所有目标强制配对,产生大量误匹配。

8、因此,本领域亟需一种检测器无关、对视角变化和检测噪声均具有强鲁棒性的多无人机跨视角多目标关联方法,能够作为独立的关联模块嵌入任意目标检测系统之后,实现高精度的跨视角目标匹配。

技术实现思路

1、本发明的目的是提供一种检测器无关的多无人机跨视角多目标关联方法及系统,用以解决现有技术中关联算法与检测器紧耦合、对视角变化敏感、忽略目标间上下文关系、对检测误差鲁棒性不足以及可匹配性评估缺失等技术问题。

2、为了实现上述任务,本发明采用以下技术方案:

3、一种检测器无关的多无人机跨视角多目标关联方法,包括:

4、对两架无人机各自采集的图像分别运行目标检测器,获取每张图像中各目标的检测输出;从目标检测器的中间层特征图上,针对各目标的边界框执行感兴趣区域对齐操作,提取固定尺寸的视觉特征向量;

5、将各目标的视觉特征向量与目标检测属性拼接,然后投影为统一的实例描述符;

6、针对每个视角,基于实例描述符集合和检测信息计算多维的边特征,并构建视角内的有向关系图;之后经多层边感知图注意力网络消息传递后,通过门控残差融合机制将图信息自适应地融入实例描述符,得到每个视角的增强描述符集合;

7、以增强描述符集合为输入,通过多层transformer层交替执行引入旋转位置编码的视角内自注意力和检测置信度引导的跨视角交叉注意力,输出每个视角的精炼描述符;

8、基于精炼描述符计算跨视角相似度矩阵,结合各目标的可匹配性预测得分构造增广对数概率矩阵;利用多种无标定关系假设的几何变换和邻域关系一致性聚合对跨视角相似度矩阵进行关系一致性修正;通过互相最佳匹配和检测置信度阈值过滤提取最终一对一匹配结果。

9、进一步地,所述针对每个视角,基于实例描述符集合和检测信息计算多维的边特征,并构建视角内的有向关系图,包括:针对视角内任意目标对,计算从目标到目标的有向关系特征,所述有向关系特征包含归一化相对位置、对数相对尺度、欧氏距离、相对方向角、方向离散编码、类别对嵌入以及检测置信度对;将上述多个子特征拼接为原始边特征,经边编码器映射为边特征向量;采用混合邻接策略为每个目标节点确定邻居集合,所述混合邻接策略包含k近邻和类别锚点两部分,其中k近邻按归一化欧氏距离升序选取最近的k个目标,类别锚点针对每个类别额外选取距离该节点最近的1个目标,且邻居总数不超过预设上限。

10、进一步地,所述通过门控残差融合机制将图信息自适应地融入实例描述符,得到每个视角的增强描述符集合,包括:以边感知图注意力网络输出的图增强后的节点特征与门控融合前的原始实例描述符为输入,通过可学习的门控权重逐维度控制图信息的融入程度,所述门控权重由sigmoid函数计算得到,取值范围在0到1之间;将门控权重与图增强后的节点特征逐元素相乘后,再与原始实例描述符相加,经层归一化得到门控融合后的增强描述符;当目标关系信息丰富时门控权重趋于1,当目标孤立或关系不可靠时门控权重趋于0。

11、进一步地,所述引入旋转位置编码的视角内自注意力,包括:对每个目标在图像平面上的边界框中心坐标进行归一化处理;将归一化后的位置坐标通过可学习的频率矩阵投影为频率调制向量;基于所述频率调制向量为每个维度构造二维旋转矩阵,对自注意力的查询向量和键向量施加旋转变换,使得注意力内积仅依赖于两目标归一化位置之差,从而编码相对位置信息。

12、进一步地,所述检测置信度引导的跨视角交叉注意力,包括:在跨视角交叉注意力计算中,首先对不同类别目标之间的注意力分数施加类别约束掩码,使得仅同类别目标之间允许充分的注意力交互;同时引入可学习的检测置信度注意力偏置,所述检测置信度注意力偏置根据两视角中目标检测置信度的信息计算得到,使高检测置信度目标之间的注意力权重增强,低检测置信度目标之间的注意力权重减弱。

13、进一步地,所述结合各目标的可匹配性预测得分构造增广对数概率矩阵,包括:基于精炼描述符计算两视角目标间的跨视角相似度矩阵;为每个实例独立预测可匹配性得分,所述可匹配性得分为正值表示目标倾向于可匹配,为负值表示目标倾向于不可匹配;将跨视角相似度矩阵与可匹配性得分结合,构造包含虚拟无匹配项行列的增广对数概率矩阵,所述增广对数概率矩阵中的有效匹配部分同时沿两个视角方向执行双向softmax归一化以强制匹配互一致性,虚拟无匹配项行列用于容纳在另一视角中无真实匹配的目标。

14、进一步地,所述多种无标定关系假设的几何变换,包括:预设四种无标定视角关系假设,分别为恒等变换、水平镜像、顺时针90度旋转和逆时针90度旋转;以两视角所有精炼描述符的平均池化特征构造全局上下文向量,通过多层感知机预测各假设的权重,所述权重经softmax归一化后表示该图像对最可能对应的视角几何关系。

15、进一步地,所述利用多种无标定关系假设的几何变换和邻域关系一致性聚合对跨视角相似度矩阵进行关系一致性修正,包括:以初始匹配概率为权重,对目标在视角内的邻居集合与另一视角中对应目标的邻居集合之间的关系一致性进行加权聚合,所述关系一致性综合了边特征的语义相似度和几何一致性,所述几何一致性基于各无标定关系假设的几何变换加权计算得到;聚合后的关系一致性分数作为修正项加入跨视角相似度矩阵,形成最终相似度矩阵。

16、进一步地,所述通过互相最佳匹配和检测置信度阈值过滤提取最终一对一匹配结果,包括:从最终对数概率矩阵中,对一架无人机的视角1中的每个目标,选取其在另一家无人机的视角2中概率最大的目标作为候选匹配;当且仅当该候选匹配在视角2中对视角1中对应目标的概率也最大时,判定两者构成互相最佳匹配;同时判断该匹配对的概率值是否大于预设置信度阈值,若大于则输出该匹配对,否则判定该目标在另一视角中无匹配。

17、一种检测器无关的多无人机跨视角多目标关联系统,包括:

18、检测器无关的实例表示提取模块,用于对两架无人机各自采集的图像分别运行目标检测器,获取每张图像中各目标的检测输出;从目标检测器的中间层特征图上,针对各目标的边界框执行感兴趣区域对齐操作,提取固定尺寸的视觉特征向量;

19、检测属性融合的实例编码模块,用于将各目标的视觉特征向量与目标检测属性拼接,然后投影为统一的实例描述符;

20、视角鲁棒的有向关系一致性图构建模块,用于针对每个视角,基于实例描述符集合和检测信息计算多维的边特征,并构建视角内的有向关系图;之后经多层边感知图注意力网络消息传递后,通过门控残差融合机制将图信息自适应地融入实例描述符,得到每个视角的增强描述符集合;

21、上下文感知的集合级关联模块,用于以增强描述符集合为输入,通过多层transformer层交替执行引入旋转位置编码的视角内自注意力和检测置信度引导的跨视角交叉注意力,输出每个视角的精炼描述符;

22、可匹配性感知的双向softmax匹配器,用于基于精炼描述符计算跨视角相似度矩阵,结合各目标的可匹配性预测得分构造增广对数概率矩阵;利用多种无标定关系假设的几何变换和邻域关系一致性聚合对跨视角相似度矩阵进行关系一致性修正;通过互相最佳匹配和检测置信度阈值过滤提取最终一对一匹配结果。

23、一种终端设备,包括处理器、存储器以及存储在所述存储器中的计算机程序;处理器执行计算机程序时,实现所述检测器无关的多无人机跨视角多目标关联方法。

24、一种计算机可读存储介质,所述介质中存储有计算机程序;计算机程序被处理器执行时,实现所述检测器无关的多无人机跨视角多目标关联方法。

25、与现有技术相比,本发明具有以下技术特点:

26、1.检测器无关,部署灵活:所述发明的算法可以嵌入到多种目标检测器之后,仅依赖检测器输出的边界框、类别和检测置信度,无需与检测器联合训练或修改其内部结构。当检测器升级换代时(如yolov8升级至yolov11,或更换为rt-detr),关联模块无需重新设计,仅需对关联模块做少量微调即可适配,极大降低了工程部署成本和研发周期,提升了系统的可扩展性和可维护性。

27、2.视角鲁棒,适应无标定场景:本发明通过多假设几何变换(恒等变换、水平镜像、顺时针90度旋转、逆时针90度旋转)和邻域关系一致性验证,无需预先已知两架无人机的相对位姿或外参标定信息,即可自适应地识别两视角间的几何关系并修正匹配结果。在实际多无人机协同任务中,相对位姿往往动态变化且难以精确标定,本发明的无标定设计可直接部署于未标定的多无人机编队。

28、3.充分利用场景结构化上下文:本发明通过视角鲁棒的有向关系一致性图(vdrcg),显式建模视角内目标间的空间关系,并在跨视角匹配时利用邻域关系一致性对初始视觉相似度进行修正。关联算法不再仅依赖单目标的孤立外观特征,而是将场景中多目标的空间排布作为额外验证线索,显著提升了在视角剧烈变化、外观相似目标密集等困难场景下的匹配准确性。

29、4.对检测误差鲁棒:本发明的可匹配性感知机制使模型能够显式识别因遮挡、视野不重叠或检测器漏检而导致的无法配对目标,避免将其强制匹配至错误对象。检测置信度引导的跨视角注意力偏置进一步减少了低检测置信度误检对特征精炼和匹配的干扰。即使在检测器存在一定漏检率和误检率的真实条件下,本发明仍能保持较高的关联精度。

30、5.实际应用效果显著:在真实多无人机数据集mdmt上的实验表明,采用yolov11-l检测器与本发明关联方法组合,在真实检测条件下,对成功检测的目标对,关联精确率达到89.5%、召回率达到87.3%,端到端关联召回率(同时考虑检测和关联两阶段)达到62.1%,满足城市交通监控、大型活动安保和应急救援等实际应用场景的精度要求。