跨模态频率对齐的遮挡可见光红外行人重识别方法及系统

摘要: 本发明涉及计算机视觉与跨模态行人重识别,具体的是跨模态频率对齐的遮挡可见光红外行人重识别方法及系统。背景技术:1、可见光红外行人重识别旨在不同成像设备之间匹配同...
跨模态频率对齐的遮挡可见光红外行人重识别方法及系统

本发明涉及计算机视觉与跨模态行人重识别,具体的是跨模态频率对齐的遮挡可见光红外行人重识别方法及系统。

背景技术:

1、可见光红外行人重识别旨在不同成像设备之间匹配同一行人身份,在夜间监控、跨设备安防检索和智能视频分析等场景中具有应用价值。与普通单模态行人重识别相比,可见光红外行人重识别不仅需要处理姿态、视角和光照变化,还需要克服由成像机制差异导致的模态鸿沟。现有可见光红外行人重识别方法多以完整行人图像为前提。然而,在真实监控环境中,行人常被车辆、标识牌、其他行人或环境物体遮挡,导致关键身份信息缺失。遮挡问题在可见光红外场景中更为复杂:一方面,同一行人在两种模态下的遮挡位置可能不同,破坏空间对应关系;另一方面,可见光图像中的遮挡主要影响颜色和纹理信息,而红外图像中的遮挡更多影响轮廓和结构响应,使跨模态对齐更加困难。

2、现有的遮挡可见光红外行人重识别方法通常采用空间域信息,例如局部身体区域、可见区域特征、姿态估计或显著区域提取。现有技术存在空间身份结构缺失与跨模态频谱能量分布错位相互耦合,从而导致遮挡条件下识别的行人身份特征识别不稳定的问题。

技术实现思路

1、为解决上述背景技术中提到的不足,本发明的目的在于提供跨模态频率对齐的遮挡可见光红外行人重识别方法及系统,用于解决现有技术存在空间身份结构缺失与跨模态频谱能量分布错位相互耦合的问题。

2、第一方面,本发明的目的可以通过以下技术方案实现:跨模态频率对齐的遮挡可见光红外行人重识别方法,方法包括以下步骤:

3、获取可见光行人图像和红外行人图像,对可见光行人图像和红外行人图像进行空间特征提取,得到可见光模态空间特征和红外模态空间特征,对可见光模态空间特征和红外模态空间特征进行快速傅里叶变换,得到可见光模态和红外模态对应的幅度谱与相位谱;

4、将可见光模态和红外模态对应的幅度谱与相位谱进行频率建模和跨模态频率注意力机制处理,得到跨模态交互后的频率表示,通过预设的基于sinkhorn迭代的跨模态频率对齐方法对跨模态交互后的频率表示进行对齐,得到对齐后的幅度谱和相位谱;

5、将对齐后的幅度谱和相位谱进行逆傅里叶变换,得到对齐频率表示,基于可见光模态空间特征、红外模态空间特征和对齐频率表示进行空间频率交互融合处理,得到空间频率融合特征,基于空间频率融合特征输出遮挡可见光红外行人重识别结果。

6、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述通过预设的基于sinkhorn迭代的跨模态频率对齐方法对跨模态交互后的频率表示进行对齐的过程,包括以下步骤:

7、根据跨模态交互后的频率表示中可见光模态的频率能量分布和红外模态的频率能量分布,构建频率能量差异代价矩阵;

8、基于频率能量差异代价矩阵,通过sinkhorn迭代求解最优跨模态传输矩阵;

9、根据最优跨模态传输矩阵对可见光模态和红外模态对应的幅度谱与相位谱进行重分配,得到对齐后的幅度谱和相位谱。

10、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述对跨模态交互后的频率表示内的可见光模态的频率能量分布和红外模态的频率能量分布进行对齐的过程,包括:

11、根据可见光幅度谱和红外幅度谱之间的频率能量差异构建代价矩阵:

12、

13、式中,为可见光幅度谱第个频率分量与红外幅度谱第个频率分量之间的频率能量差异代价;为两个频率分量之间的平方欧氏距离函数;为可见光幅度谱的第个频率分量,为红外幅度谱的第个频率分量。

14、并将跨模态频率匹配表示为带熵正则项的最优传输问题:

15、

16、其中,表示最优跨模态传输矩阵,c表示代价矩阵,和表示可见光模态和红外模态的边际分布,h(z)表示熵正则项,表示正则化系数;

17、通过sinkhorn迭代求解最优跨模态传输矩阵的过程,包括:

18、

19、其中,和分别为第次迭代中用于满足可见光边际分布a和红外边际分布b的边际归一化因子;为第次迭代得到的跨模态传输矩阵,是最优跨模态传输矩阵的迭代近似;当边际误差满足收敛阈值时,取作为。因此,与表示同一传输矩阵在迭代过程中和收敛后的不同状态。

20、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述基于可见光模态空间特征、红外模态空间特征和对齐频率表示进行空间频率交互融合处理的过程,包括以下步骤:

21、通过计算空间特征与对齐频率表示之间的相关性,并通过gabor调制,得到增强后的空间特征和频率特征;

22、对增强后的空间特征和频率特征进行均值中心化和跨协方差池化处理,得到空间频率融合特征。

23、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述计算空间特征与对齐频率表示之间的相关性的过程,包括:

24、将空间特征内的可见光模态空间特征和红外模态空间特征作为空间令牌序列,并将对齐频率表示作为频率令牌序列;

25、分别计算所述空间令牌序列中每个空间令牌与所述频率令牌序列中每个频率令牌之间的相关性,得到空间令牌与频率令牌之间的相关矩阵,其中,所述相关矩阵中的每个元素用于表征一个空间令牌与一个频率令牌之间的相关程度。

26、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述gabor调制的处理过程,包括:

27、基于频率令牌的每个频率分量,基于频率分量与gabor核的中心频率之间的差异以及gabor核的带宽参数,确定所述频率分量对应的调制权重;

28、将调制权重对频率分量进行加权处理以增强结构相关频带并抑制遮挡引入的不稳定高频噪声,得到调制频率分量;

29、基于空间令牌与频率令牌之间的相关矩阵和调制频率分量对空间特征和对齐频率表示进行增强,得到增强后的空间特征和频率特征。

30、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述对增强后的空间特征和频率特征进行均值中心化和跨协方差池化处理的过程,包括:

31、计算增强后的空间特征的均值向量和增强后的频率特征的均值向量,基于增强后的空间特征的均值向量和增强后的频率特征的均值向量对增强后的空间特征和频率特征进行均值中心化,得到中心化空间特征和中心化频率特征;

32、对中心化空间特征和中心化频率特征进行跨协方差池化建模空间和频率之间的高阶关系,得到空间频率融合特征。

33、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述将可见光模态和红外模态对应的幅度谱与相位谱进行频率建模和跨模态频率注意力机制处理的过程,包括:

34、基于预设vmamba编码对可见光模态和红外模态对应的幅度谱进行建模,得到全局频谱响应;

35、基于预设transformer捕捉可见光模态和红外模态对应的相位谱的结构信息,得到全局相位响应;

36、基于跨模态频率注意力机制对全局频谱响应的幅度信息与全局相位响应的相位信息进行双向交互,得到跨模态交互后的频率表示。

37、第二方面,为了达到上述目的,本发明公开了跨模态频率对齐的遮挡可见光红外行人重识别系统,包括:

38、一次处理模块,用于获取可见光行人图像和红外行人图像,对可见光行人图像和红外行人图像进行空间特征提取,得到可见光模态空间特征和红外模态空间特征,对可见光模态空间特征和红外模态空间特征进行快速傅里叶变换,得到可见光模态和红外模态对应的幅度谱与相位谱;

39、二次处理模块,用于将可见光模态和红外模态对应的幅度谱与相位谱进行频率建模和跨模态频率注意力机制处理,得到跨模态交互后的频率表示,通过预设的基于sinkhorn迭代的跨模态频率对齐方法对跨模态交互后的频率表示进行对齐,得到对齐后的幅度谱和相位谱;

40、识别输出模块,用于将对齐后的幅度谱和相位谱进行逆傅里叶变换,得到对齐频率表示,基于可见光模态空间特征、红外模态空间特征和对齐频率表示进行空间频率交互融合处理,得到空间频率融合特征,基于空间频率融合特征输出遮挡可见光红外行人重识别结果。

41、本发明的有益效果:

42、本发明同时利用空间局部语义和频率全局结构信息,通过对可见光和红外模态的幅度谱与相位谱进行建模和对齐,能够缓解模态差异对行人特征匹配的影响,将频率结构先验注入空间特征,使得在遮挡导致局部空间信息缺失时仍能保持较稳定的身份结构表示,能够增强遮挡条件下身份特征的结构完整性,缓解可见光与红外模态之间的特征错位,提高遮挡可见光红外行人重识别的准确性。