基于对比学习的无监督可见光-红外行人重识别方法

本发明属于计算机视觉和图像处理，具体涉及一种基于对比学习的无监督可见光-红外行人重识别方法。

背景技术：

1、行人重识别旨在跨非重叠摄像头视角检索同一行人。随着视频监控系统在公共安全中的广泛应用，仅依赖可见光摄像头在夜间或低光照环境下存在明显局限。红外成像通过感知热辐射提供互补信息，因此可见光-红外行人重识别（vi-reid）成为重要研究方向。现有vi-reid方法大多依赖大规模、精确标注的跨模态身份标签，标注成本高昂。为解决该问题，无监督可见光-红外行人重识别（unsupervised vi-reid, us-vi-reid）受到关注。现有无监督方法主要采用聚类生成伪标签或基于邻居挖掘的对比学习。然而，由于可见光与红外模态之间的显著差异，跨模态匹配极易产生错误的伪对应关系（假正例/假负例），导致对比监督信号被污染，训练不稳定，模态不变特征学习困难。此外，深层特征与浅层特征在邻居挖掘中存在不一致性，进一步降低了实例级对比学习的可靠性。adca方法提出使用双对比学习框架来优化模态不变特征的学习。在进行跨模态学习的方法中，pgm提出使用图匹配的方法来对可见光和红外光两个模态的质心特征进行匹配。再到后来的cclnet利用clip模型的视觉-语言表示能力生成高置信度的伪标签来监督模型训练。sdcl利用实例间的邻居对比学习得到可靠的邻居，利用深浅排名一致性的原理来挖掘跨模态之间的关系。csanet提出了一个模仿人类从简单到困难逐步建立跨模态关系的自调整关系网络。

2、现有的方法存在两个问题，一是基于邻居学习的机制不能捕捉到细粒度的关系结构，深浅特征不一致的邻居也有可能有利于模型的学习；二是由于模态间的差异，由伪监督生成的跨模态关系仍然包含噪声，造成错误的传播。因此，如何在无监督条件下有效抑制模态差异、提升跨模态伪对应关系的可靠性，是当前亟需解决的技术问题。为了得到细粒度的邻居集和更准确的跨模态关系，本文提出了基于跨模态双对比学习的无监督可见光-红外行人重识别方法。

技术实现思路

1、本发明为实现上述目的，通过以下技术方案实现：

2、本发明提供一种基于对比学习的无监督可见光-红外行人重识别方法，包括以下步骤：

3、s1、获取行人的原始可见光照片和原始红外光照片数据，构建训练数据集；

4、s2、构建行人重识别模型，所述行人重识别模型采用基于transformer的reid模型作为基线模型，将训练数据集输入行人重识别模型，采用损失函数对行人重识别模型进行训练，得到训练好的行人重识别模型；

5、s3、将待识别行人和已知行人的图片输入训练好的行人重识别模型提取深层特征，计算待识别行人深层特征和已知行人深层特征的相似度，按照相似度从大到小排序得到已知行人深层特征的排序列表，得到最相似的k个行人深层特征，最后按顺序返回k个行人深层特征对应的图片。

6、进一步地，步骤s2中，基线模型具体包括：

7、将原始可见光照片输入基线模型进行特征提取，得到原始可见光照片的浅层特征和深层特征；所述基于transformer的reid模型由12个transformer block块堆叠而成，每个transformer block块包括注意力机制、残差连接、归一化以及全连接层；原始可见光照片经过第一个transformer block块得到原始可见光照片的浅层特征；原始可见光照片经过12个transformer block块得到原始可见光照片的深层特征；

8、同理，将原始红外光照片输入到基线模型进行特征提取，得到原始红外光照片的浅层特征和深层特征。

9、进一步地，步骤s2中，对原始可见光照片的浅层特征和深层特征以及原始红外光照片的浅层特征和深层特征进行聚类，生成伪标签，分别构建浅层聚类原型记忆库和深层聚类原型记忆库；采用聚类级对比损失进行基线模型的对比学习。

10、进一步地，构建浅层聚类原型记忆库和深层聚类原型记忆库：

11、对于可见光模态，将原始可见光照片的浅层特征和深层特征进行拼接，得到拼接向量，将拼接向量作为聚类特征通过dbscan聚类算法进行聚类操作，得到可见光图像的伪标签；根据可见光图像的伪标签构建可见光模态的浅层聚类原型记忆库和深层聚类原型记忆库，其中每个聚类原型为该聚类内所有样本特征的平均向量，得到的平均向量即为每个伪标签的原型特征；同理，对于红外光模态，原始红外光照片的浅层特征和深层特征通过上述操作，得到红外光模态的浅层聚类原型记忆库和深层聚类原型记忆库。

12、进一步地，步骤s2中，构建基线损失：

13、采用聚类级对比损失函数对各模态内的浅层特征和深层特征分别进行聚类级对比学习，浅层特征的聚类级对比损失为：

14、，

15、其中，，表示可见光模态，表示红外光模态；表示第个样本的浅层特征；表示第个聚类的浅层原型特征；表示当前样本所属聚类的正原型；τ为温度参数；

16、深层特征的聚类级对比损失形式与浅层特征的聚类级对比损失相同；

17、浅层聚类原型记忆库和深层聚类原型记忆库中的质心特征通过动量的方式进行更新，方式如下：

18、，

19、其中，表示第次迭代的原型记忆库中第个质心特征，表示训练迭代数，表示动量系数，表示属于伪标签的实例特征；基线损失为=+++，其中，表示可见光模态的浅层特征的聚类级对比损失、表示红外光模态的浅层特征的聚类级对比损失、表示可见光模态的深层特征的聚类级对比损失、表示红外光模态的深层特征的聚类级对比损失。

20、进一步地，步骤s2中，所述行人重识别模型还包括模态混淆器模块：

21、所述模态混淆器模块包括二分类模态分类器和梯度反转层；将原始可见光照片的模态标签设定为1，原始红外光照片模态标签设定为0；将原始可见光照片和原始红外光照片的深层特征输入二分类模态分类器，将输出结果与模态标签做交叉熵损失；

22、二分类模态分类器的损失函数为：，其中，表示原始可见光照片的深层特征与原始红外光照片的深层特征的批量拼接；表示模态标签；表示二分类模态分类器；表示归一化指数函数，表示交叉熵损失；

23、梯度反转层的损失函数为：，其中，表示梯度反转层；

24、最终得到模态混淆器模块损失，。

25、进一步地，步骤s2中，所述行人重识别模型还包括双尺度交互邻居学习模块：

26、通过双尺度交互邻居学习模块，融合浅层特征和深层特征相似度构建每个样本特征在模态内的邻居集和跨模态的邻居集，基于邻居集进行实例级对比学习；

27、对于原始可见光照片，计算浅层特征和浅层特征的余弦相似度、深层特征和深层特征的余弦相似度、原始可见光照片的浅层特征和原始红外光照片的浅层特征的余弦相似度、原始可见光照片的深层特征和原始红外光照片的深层特征的余弦相似度；

28、对原始可见光照片构建模态内的融合相似度；对原始可见光照片和原始红外光照片构建模态间的融合相似度；对于第个原始可见光照片，基于融合相似度采用阈值构建原始可见光照片的模态内邻居集和模态间邻居集；

29、使用模态内邻居集和模态间邻居集，计算可见光模态内深层特征实例级对比损失函数、可见光模态间浅层特征实例级对比损失函数、可见光模态内浅层特征实例级对比损失函数以及可见光模态间深层特征实例级对比损失函数，可见光模态内深层特征实例级对比损失函数的公式表示如下：

30、，

31、其中，表示当前批次实例数，表示指数函数；其他三种损失函数的形式与可见光模态内深层特征实例级对比损失函数形式相同；

32、同理，对于原始红外光照片，计算得到红外光模态内深层特征实例级对比损失函数、红外光模态间浅层特征实例级对比损失函数、红外光模态内浅层特征实例级对比损失函数以及红外光模态间深层特征实例级对比损失函数；

33、最终得到双尺度交互邻居学习损失，。

34、进一步地，步骤s2中，所述行人重识别模型还包括跨模态关系校正模块：

35、通过匈牙利算法对可见光浅层原型特征和红外光浅层原型特征进行处理，得到可见光浅层原型特征到红外光浅层原型特征的对应关系；同理，得到可见光深层原型特征到红外光深层原型特征的对应关系、红外光浅层原型特征到可见光浅层原型特征的对应关系以及红外光深层原型特征到可见光深层原型特征的对应关系；

36、将可见光浅层原型特征到红外光浅层原型特征的对应关系和可见光深层原型特征到红外光深层原型特征的对应关系中不一致的对应关系提取出来，通过计算原型融合相似度纠正不一致的对应关系，将原型融合相似度最大值对应的可见光深层原型特征和红外光深层原型特征进行对应，得到纠正后的对应关系；将一致的对应关系和纠正后的对应关系合并得到可见光到红外光的匹配关系；同理，对于红外光浅层原型特征到可见光浅层原型特征的对应关系和红外光深层原型特征到可见光深层原型特征的对应关系，得到红外光到可见光的匹配关系；

37、构建跨模态聚类级对比损失，；计算可见光实例到红外光原型之间的深层损失，公式表示如下：

38、，

39、其中，表示数据集加载样本批次大小，表示伪标签为的可见光所对应的红外光深层原型特征，表示红外光深层原型特征数量；同理，得到可见光实例到红外光原型之间的浅层损失、红外光实例到可见光原型之间的浅层损失、红外光实例到可见光原型之间的深层损失。

40、进一步地，步骤s2中，计算原型融合相似度的具体过程为：计算可见光深层原型特征与红外光深层原型特征的余弦相似度、可见光浅层原型特征与红外光浅层原型特征的余弦相似度，将和进行融合，得到原型融合相似度，，表示第二平衡系数。

41、进一步地，损失函数采用联合优化的总损失函数，公式表示如下：

42、，

43、其中，表示基线损失，表示模态混淆器模块损失，表示双尺度交互邻居学习损失，表示跨模态聚类级对比损失，表示第三平衡系数。

44、本发明的优点在于：

45、本发明整合实例级和类级的对比目标，以在无标签监督下学习鲁棒的模态不变表示，从而实现可靠的跨模态检索。基于对比学习的无监督可见光-红外行人重识别方法由三个部分组成。模态混淆器模块在特征表示层面抑制模态特有线索并减轻模态诱导偏差；双尺度交互邻居学习模块利用浅层和深层特征之间的互补性来细化邻域结构，从而强化实例级对比监督；跨模态关系纠正模块通过原型级一致性进一步纠正噪声跨模态关联，提升全局排序质量；在公开行人重识别基准测试上的广泛实验验证了该方法的有效性，并证明了其在不同评估指标下稳定且具有竞争力的性能。这些结果表明，本发明能够消除模态特有信息的偏差并纠正伪对应关系。