基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法及系统与流程

本发明涉及无人机目标监测，特别是一种基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法及系统。

背景技术：

1、随着低空经济的发展，无人机数量迅速增长，利用地基可见光与红外双光谱系统对无人机目标进行全天时监测已成为低空安全领域的重要技术手段。在多目标监测场景中，跨光谱目标重识别是维持目标身份一致性的关键技术，也是长时间连续跟踪的重要基础。

2、现有技术通常采用深度神经网络分别提取可见光图像和红外图像中的目标外观特征，并通过共享特征空间或对抗学习的方法减小不同光谱之间的特征差异，以进行跨光谱目标匹配。部分技术方案将目标长时间跟踪得到的运动轨迹、速度及飞行姿态作为辅助信息，用于提高身份关联的稳定性。

3、然而，上述技术方案存在以下不足：运动学信息高度依赖长时间目标跟踪。现有方法通常需要首先完成目标的长时间连续跟踪，再根据轨迹计算速度、运动方向、姿态变化等运动学信息，而长时间跟踪本身又依赖于准确的身份重识别结果。当初始身份关联发生错误时，后续轨迹将持续偏离真实目标，由轨迹计算得到的运动学信息随之失效，形成身份关联与运动估计之间相互依赖的闭环问题，降低了复杂场景下系统的鲁棒性。忽略了无人机姿态变化导致的跨光谱响应规律。无人机在飞行过程中，其俯仰、滚转、偏航等姿态不断变化，不同姿态会改变电机、散热口、电池舱、机腹等结构区域的可见性，从而使可见光纹理分布和红外辐射分布发生变化。由于不同无人机在电机布局、散热结构、机体设计等方面存在个体差异，其姿态变化所引起的跨光谱响应规律亦具有个体特异性。现有技术通常仅利用单帧静态外观进行跨光谱匹配，未建立姿态与跨光谱响应之间的关联模型，导致同型号无人机之间的身份区分能力有限。

4、因此，如何在不依赖长时间目标跟踪的条件下，充分利用无人机姿态诱导的跨光谱响应特性构建更加稳定的身份描述，是无人机跨光谱重识别领域亟需解决的技术问题。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例，在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于现有无人机跨光谱重识别方法存在运动学信息依赖长时间跟踪且缺乏姿态与跨光谱响应之间关联建模的问题，提出了本发明。

3、因此，本发明所要解决的问题在于如何在不依赖长时间目标跟踪的条件下，利用无人机姿态变化引起的跨光谱结构响应差异构建姿态感知的身份描述，提高同型号无人机之间的跨光谱身份区分能力。

4、为解决上述技术问题，本发明提供如下技术方案：

5、第一方面，本发明实施例提供了一种基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法，其包括，

6、对同步采集的双光谱图像分别进行无跟踪依赖的短时运动学状态估计，得到无人机目标在短时窗口内的姿态增量与姿态估计置信度，其中双光谱图像包括可见光图像和红外图像；

7、基于姿态增量和姿态估计置信度，构建无人机目标在双光谱图像的跨光谱稳定结构对应关系，建立姿态-结构响应模型；

8、基于跨光谱稳定结构对应关系和姿态-结构响应模型，生成无人机目标在双光谱图像的姿态感知跨光谱身份描述子；

9、根据姿态感知跨光谱身份描述子计算可见光图像中无人机目标与红外图像中无人机目标之间的余弦相似度，使用匈牙利算法等二分图匹配方法得到跨光谱身份匹配结果，完成无人机目标跨光谱重识别。

10、第二方面，本发明实施例提供了一种基于短时运动学估计与姿态响应建模的无人机跨光谱重识别系统，其包括：

11、短时运动学估计模块，用于对同步采集的双光谱图像分别进行无跟踪依赖的短时运动学状态估计，得到无人机目标在短时窗口内的姿态增量与姿态估计置信度，其中双光谱图像包括可见光图像和红外图像；

12、姿态响应建模模块，基于姿态增量和姿态估计置信度，构建无人机目标在双光谱图像的跨光谱稳定结构对应关系，建立姿态-结构响应模型；

13、身份描述子生成模块，基于跨光谱稳定结构对应关系和姿态-结构响应模型，生成无人机目标在双光谱图像的姿态感知跨光谱身份描述子；

14、跨光谱身份匹配模块，用于根据姿态感知跨光谱身份描述子计算可见光图像中无人机目标与红外图像中无人机目标之间的余弦相似度，使用匈牙利算法等二分图匹配方法得到跨光谱身份匹配结果，完成无人机目标跨光谱重识别。

15、第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，其中：处理器执行计算机程序时实现上述的基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法的任一步骤。

16、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：计算机程序被处理器执行时实现上述的基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法的任一步骤。

17、与现有技术相比，本发明有益效果为：采用检测驱动的短时运动学状态估计机制，在无需长时轨迹及跨帧身份保持的条件下获得无人机目标的姿态增量，避免了身份重识别依赖跟踪、跟踪依赖重识别之间相互依赖的闭环问题，提高了复杂场景下身份关联的鲁棒性；将无人机飞行姿态作为身份特征显现的激励因素，通过姿态诱导不同结构区域可见性变化，建立姿态与跨光谱结构响应之间的关联模型，使身份表示由静态外观扩展为动态姿态响应模式，提高了同型号无人机之间的身份区分能力；利用姿态响应一致性对不同结构区域的跨光谱特征进行动态对应，使身份编码符合无人机实际飞行过程中的物理成像规律，提高了可见光目标与红外目标之间的身份一致性；由于姿态-结构响应模型能够利用无人机运动过程中产生的动态身份信息，本发明在目标机动飞行、姿态频繁变化及多目标交汇的场景下，能够获得更稳定的身份关联结果，为后续多目标持续跟踪提供支撑。

1.一种基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法，其特征在于，包括：

2.如权利要求1所述的基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法，其特征在于，所述姿态估计置信度的获取，包括：

3.如权利要求2所述的基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法，其特征在于，所述姿态增量的获取，包括：

4.如权利要求3所述的基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法，其特征在于，所述二维位移，具体公式如下：

5.如权利要求3所述的基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法，其特征在于，所述超定方程组的具体公式如下：

6.如权利要求1所述的基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法，其特征在于，所述姿态-结构响应模型的建立，包括：

7.如权利要求6所述的基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法，其特征在于，所述跨光谱结构对应关系的构建，包括：

8.如权利要求7所述的基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法，其特征在于，所述局部结构区域，包括：

9.如权利要求8所述的基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法，其特征在于，所述图像运动，具体公式如下：

10.一种基于短时运动学估计与姿态响应建模的无人机跨光谱重识别系统，基于权利要求1~9任一所述的基于短时运动学估计与姿态响应建模的无人机跨光谱重识别方法，其特征在于，包括：