基于测地感知对比去幻觉的鲁棒文本-图像行人重识别方法、系统及存储介质

摘要: 本发明涉及计算机视觉与自然语言处理交叉,特别涉及一种基于测地感知对比去幻觉的鲁棒文本-图像行人重识别方法、系统及存储介质。背景技术:1、随着智能安防、公共安全及...
基于测地感知对比去幻觉的鲁棒文本-图像行人重识别方法、系统及存储介质

本发明涉及计算机视觉与自然语言处理交叉,特别涉及一种基于测地感知对比去幻觉的鲁棒文本-图像行人重识别方法、系统及存储介质。

背景技术:

1、随着智能安防、公共安全及视频监控等应用场景的快速发展,文本-图像行人重识别(text-to-image person re-identification, tireid)技术受到了广泛关注。该技术能够根据自然语言描述在大规模行人图像库中检索对应目标行人,因此在智能检索、人机交互和辅助侦查等场景中具有重要应用价值。近年来,随着视觉-语言预训练技术的发展,基于clip等大规模预训练模型的文本-图像行人重识别方法取得了显著进展,该类方法通过分别对图像和文本进行编码,并在共享嵌入空间中实现跨模态对齐,从而提升图文匹配性能。

2、然而,在真实场景下,行人重识别数据往往不可避免地存在噪声对应关系问题,即图像与文本描述之间存在部分错配或完全错配的情况。例如,人工标注过程中可能由于身份混淆、属性描述错误或样本匹配失误,导致文本描述与对应图像中的行人身份不一致。此类噪声对应关系会破坏图像与文本之间原有的语义一致性,使模型在训练过程中学习到错误的跨模态对齐关系,进而降低检索模型的准确率和鲁棒性。为缓解噪声对应关系带来的不利影响,现有方法通常采用“检测并抑制”策略,即先识别训练样本中的不可靠图文对,再通过降权、剔除或抑制的方式减少噪声样本对模型训练的干扰。该类方法虽然能够在一定程度上防止模型对噪声数据过拟合,但也会导致有效训练数据减少,特别是在高噪声环境下,容易影响模型对行人视觉信息的充分学习。

3、针对上述问题,近年来也有研究尝试利用多模态大语言模型对噪声样本重新生成文本描述,以恢复其语义信息。然而,多模态大语言模型在生成描述时通常会引入“语义幻觉”问题,即生成看似合理但与图像内容不一致的属性信息,从而进一步污染监督信号,加剧跨模态匹配偏差。此外,现有方法大多将噪声对应关系和生成描述中的语义幻觉视为彼此独立的问题,缺乏统一的建模视角。与此同时,由于clip等模型输出的归一化嵌入特征通常位于单位超球面空间,若直接采用欧氏度量或常规余弦相似度进行判别,则容易混淆正常视角扰动与异常语义偏移,从而限制噪声识别和语义修正的准确性。因此,如何提出一种能够统一建模噪声与幻觉、有效区分正常扰动与异常偏差并对错误语义进行细粒度修正的鲁棒文本-图像行人重识别方法,成为本领域亟待解决的技术问题。

4、公开于该背景技术部分的信息仅仅旨在增加对本发明总体背景的理解,而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

1、本发明的目的在于提供一种基于测地感知对比去幻觉的鲁棒文本-图像行人重识别方法、系统及存储介质,从而缓解现有文本-图像行人重识别模型在噪声对应关系和多模态大语言模型生成描述语义幻觉共同作用下,存在监督信号易受污染、正常视角扰动与噪声语义难以区分、导致跨模态语义对齐不准确的缺点。

2、本发明提供一种基于测地感知对比去幻觉的鲁棒文本-图像行人重识别方法,包括:

3、步骤1:针对文本-图像行人重识别任务中人工标注噪声对应关系与多模态大语言模型生成描述中的语义幻觉问题,提出噪声即幻觉的统一建模思想并分析其语义污染机理;

4、步骤2:基于黎曼几何理论,在超球面特征空间中构建测地感知不确定性建模模块gum,以实现视角扰动与语义偏差的区分;

5、步骤3:以clip作为基线模型,添加实例感知噪声检测模块ind和维度感知对比去幻觉模块dcd,建立用于鲁棒文本-图像行人重识别的gcd-reid模型;

6、步骤4:在文本-图像行人重识别数据集上训练模型,在训练过程中利用gum模块获得维度不确定性权重,利用ind模块实现清洁样本与噪声样本划分,并利用dcd模块对噪声样本中的错误语义维度进行修正,得到用于鲁棒文本-图像行人重识别的gcd-reid模型;

7、步骤5:在测试集上测试训练模型的有效性和鲁棒性,并输出文本与图像之间的跨模态匹配结果。

8、作为本发明的进一步改进,在所述步骤1中,还包括:

9、步骤10:建立文本-图像行人重识别任务的基础表述;给定数据集

10、

11、其中表示第个行人图像,表示与行人图像对应的文本描述,表示身份标签,表示样本总数,表示身份类别总数;

12、步骤11:采用预训练的 clip 模型作为跨模态编码骨干,分别利用图像编码器和文本编码器提取图像特征与文本特征,即

13、

14、并进行归一化得到

15、

16、其中表示图像特征,表示文本特征;

17、步骤12:将人工标注噪声对应关系和多模态大语言模型生成描述中的语义幻觉统一视为联合嵌入空间中的维度级语义污染,其中人工标注噪声表现为文本与图像之间的整体或局部语义失配,多模态大语言模型生成描述中的语义幻觉表现为部分语义维度上引入与图像证据不一致的伪属性信息。

18、本发明还公开了一种基于测地感知对比去幻觉的鲁棒文本-图像行人重识别系统,其特征在于,包括:存储器、处理器以及存储在所述存储器上的计算机程序,所述计算机程序配置为由所述处理器调用时实现本发明所述的方法的步骤。

19、本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序配置为由处理器调用时实现本发明所述的方法的步骤。

20、本发明的有益效果是:

21、1.本发明针对现有文本-图像行人重识别方法在噪声对应关系和多模态大语言模型生成描述语义幻觉条件下缺乏统一建模机制、容易将正常视角扰动与异常语义偏差混淆的问题,从跨模态联合嵌入空间的几何结构出发,对噪声对应关系与语义幻觉对模型鲁棒性退化的影响机理进行了分析,揭示了现有欧氏度量或常规余弦相似度在超球面特征空间中难以有效区分视角变化与语义污染的问题,从而为鲁棒文本-图像行人重识别模型的结构改进提供了新的分析视角和理论依据。

22、2.本发明提出了一种基于测地感知对比去幻觉的鲁棒文本-图像行人重识别方法,在原有clip模型基础上创新性地引入测地感知不确定性建模模块gum、实例感知噪声检测模块ind和维度感知对比去幻觉模块dcd。所述gum模块通过在局部切空间中估计身份相关的维度不确定性,实现身份稳定维度与视角敏感维度的区分;所述ind模块结合不确定性加权相似度实现清洁样本与噪声样本的可靠划分;所述dcd模块对噪声样本中的错误语义维度进行细粒度修正并生成代理文本特征,从而增强模型对有效语义信息的保留能力并抑制伪语义干扰。

23、3. 本发明在模型训练过程中进一步构建清洁样本与代理样本的联合优化策略。通过gum模块、ind模块与dcd模块的协同作用,本发明在多个文本-图像行人重识别数据集及不同噪声比例条件下均能够有效提升模型的检索精度和鲁棒性能,同时在干净数据条件下仍保持较好的检索表现,具有较好的泛化能力和应用价值。