一种基于语义部件间关系建模的可见光-红外行人重识别方法和系统

摘要: 本发明涉及行人重识别,尤其涉及一种基于语义部件间关系建模的可见光-红外行人重识别方法和系统。背景技术:1、可见光-红外行人重识别是指在可见光摄像机和红外摄像机之...
一种基于语义部件间关系建模的可见光-红外行人重识别方法和系统

本发明涉及行人重识别,尤其涉及一种基于语义部件间关系建模的可见光-红外行人重识别方法和系统。

背景技术:

1、可见光-红外行人重识别是指在可见光摄像机和红外摄像机之间检索同一行人身份的技术,具体而言,当给定一张来自可见光摄像机或红外摄像机的查询行人图像时,需要在另一种模态的图库图像中找出与该查询图像属于同一身份的行人。

2、现有可见光-红外行人重识别方法通常从图像生成和特征对齐两个方向减小模态差异,其中,特征对齐方法通过深度学习方法来学习可见光和红外图像共享的特征嵌入空间,使得同一身份在不同模态下的特征距离尽量接近,不同身份的特征距离尽量拉开。在一些特征对齐方法中,考虑采用基于共享语义原型的语义部件对齐实现可见光-红外行人重识别,具体而言,在可见光和红外模态之间共享一组可学习语义原型,通过计算语义原型与像素级别的单个特征之间的响应关系,将密集特征图聚合为多个潜在语义部件,由于同一组语义原型作用于同一组可见光图像和红外图像,因此不同模态下生成的语义部件具有相对一致的语义基础。然而,这种基于语义部件的方法主要关注两个模态形成的语义部件是否在跨模态的情况下表示同一个语义部件,仅对不同语义部件作为相互独立的局部表示进行学习和使用,但在跨模态场景下,单个语义部件的聚合过程中可能受到颜色信息缺失、红外热辐射差异、局部遮挡或背景干扰的影响而发生变化,导致跨模态语义部件对齐性能受限,进而影响可见光-红外行人重识别的准确性。

技术实现思路

1、本发明提供了一种基于语义部件间关系建模的可见光-红外行人重识别方法和系统,解决了现有基于语义部件的可见光-红外行人重识别方法的跨模态语义部件对齐性能受限,导致可见光-红外行人重识别准确性较低的技术问题。

2、本发明第一方面提供的一种基于语义部件间关系建模的可见光-红外行人重识别方法,包括:

3、将可见光行人图像样本和红外行人图像样本输入待训练跨模态对齐模型;

4、分别对所述可见光行人图像样本和所述红外行人图像样本进行共享特征提取,输出可见光特征和红外特征,并沿空间维度展开为像素级特征序列,确定对应的可见光像素级特征序列和红外像素级特征序列;

5、对所述可见光像素级特征序列和所述红外像素级特征序列,分别基于多个可学习的共享语义原型计算响应矩阵并采用对应的响应矩阵进行加权聚合,生成可见光语义部件序列和红外语义部件序列;

6、分别对所述可见光语义部件序列和所述红外语义部件序列,降维至瓶颈维度后进行双向状态空间建模,并升维后与输入语义部件序列残差相加,对应输出可见光关系增强部件特征和红外关系增强部件特征;

7、分别对所述可见光特征和所述红外特征进行全局平均池化,并对应拼接沿部件维度展平后的所述可见光关系增强部件特征和所述红外关系增强部件特征,确定可见光融合特征和红外融合特征后,进行归一化输出可见光检索特征和红外检索特征;

8、基于所述可见光关系增强部件特征和所述红外关系增强部件特征确定跨模态部件关系一致性损失,按照包含跨模态部件关系一致性损失的总损失迭代优化模型参数,确定训练好的跨模态对齐模型;

9、通过所述训练好的跨模态对齐模型确定待识别可见光行人图像和待识别红外行人图像对应的目标可见光检索特征和目标红外检索特征,并进行特征跨模态检索匹配,确定行人重识别结果。

10、进一步地,所述双向状态空间建模的过程,包括:

11、对瓶颈维度的双向状态空间建模输入序列采用带残差连接的半步前馈网络进行特征处理,确定低层特征;

12、对所述低层特征进行层归一化并输入双向mamba模块处理后,与所述低层特征残差连接,生成高层特征;

13、将所述高层特征输入带残差连接的半步前馈网络,确定瓶颈维度的双向状态空间建模输出序列。

14、进一步地,所述总损失包括身份分类损失、中心分离损失、部件多样性损失以及跨模态部件关系一致性损失的加权求和。

15、进一步地,所述跨模态部件关系一致性损失,包括:

16、;

17、式中,表示跨模态部件关系一致性损失,表示可见光模态,表示红外模态,表示在可见光到红外方向上的跨模态部件关系一致性损失,表示在红外到可见光方向上的跨模态部件关系一致性损失,表示批次行人身份总数,表示行人身份索引,表示行人身份索引,表示自然对数,表示自然指数,表示同一行人身份的可见光关系特征向量与红外关系特征向量之间的相似度,表示施加于同一行人身份跨模态正样本对的间隔参数,表示温度参数,表示转置,表示行人身份的可见光关系特征向量与行人身份的红外关系特征向量之间的相似度,表示行人身份的可见光关系特征向量与行人身份的红外关系特征向量之间的相似度,表示行人身份的可见光关系特征向量,表示行人身份的红外关系特征向量,表示行人身份的可见光关系特征向量,表示行人身份的红外关系特征向量,表示模态索引,表示行人身份在模态的关系特征向量,表示非对角元素向量化算子,表示二范数,表示行人身份在模态的部件间相似关系矩阵,表示行人身份在模态的归一化语义部件中心矩阵,表示共享语义原型索引,表示行人身份在模态的第个归一化语义部件中心,表示行人身份在模态的第个归一化语义部件中心,表示行人身份在模态的第个语义部件中心,表示样本索引,表示批次中属于行人身份且来自模态的样本集合,表示样本集合中的样本总数,表示样本在模态的第个关系增强部件特征。

18、本发明第二方面提供的一种基于语义部件间关系建模的可见光-红外行人重识别系统,包括:

19、图像输入模块,用于将可见光行人图像样本和红外行人图像样本输入待训练跨模态对齐模型;

20、共享特征提取模块,用于分别对所述可见光行人图像样本和所述红外行人图像样本进行共享特征提取,输出可见光特征和红外特征,并沿空间维度展开为像素级特征序列,确定对应的可见光像素级特征序列和红外像素级特征序列;

21、语义部件聚合模块,用于对所述可见光像素级特征序列和所述红外像素级特征序列,分别基于多个可学习的共享语义原型计算响应矩阵并采用对应的响应矩阵进行加权聚合,生成可见光语义部件序列和红外语义部件序列;

22、部件间关系状态空间建模模块,用于分别对所述可见光语义部件序列和所述红外语义部件序列,降维至瓶颈维度后进行双向状态空间建模,并升维后与输入语义部件序列残差相加,对应输出可见光关系增强部件特征和红外关系增强部件特征;

23、行人表示生成模块,用于分别对所述可见光特征和所述红外特征进行全局平均池化,并对应拼接沿部件维度展平后的所述可见光关系增强部件特征和所述红外关系增强部件特征,确定可见光融合特征和红外融合特征后,进行归一化输出可见光检索特征和红外检索特征;

24、联合训练优化模块,用于基于所述可见光关系增强部件特征和所述红外关系增强部件特征确定跨模态部件关系一致性损失,按照包含跨模态部件关系一致性损失的总损失迭代优化模型参数,确定训练好的跨模态对齐模型;

25、行人重识别模块,用于通过所述训练好的跨模态对齐模型确定待识别可见光行人图像和待识别红外行人图像对应的目标可见光检索特征和目标红外检索特征,并进行特征跨模态检索匹配,确定行人重识别结果。

26、本发明第三方面提供的一种计算机设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上述任一项所述的基于语义部件间关系建模的可见光-红外行人重识别方法的步骤。

27、本发明第四方面提供的一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被执行时实现如上述任一项所述的基于语义部件间关系建模的可见光-红外行人重识别方法。

28、本发明第五方面提供的一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现如上述任一项所述的基于语义部件间关系建模的可见光-红外行人重识别方法。

29、从以上技术方案可以看出,本发明具有以下优点:

30、本发明的上述方案提供了一种基于语义部件间关系建模的可见光-红外行人重识别方法,将密集特征图聚合为语义部件序列,在语义部件序列上进行双向状态空间信息传播与上下文交互,并通过身份级语义部件间关系特征向量构建的跨模态部件关系一致性损失约束可见光模态和红外模态之间的部件关系一致性,提升了跨模态行人检索的准确性和稳健性。