一种基于文本图像匹配的行人搜索方法和系统

本发明涉及图像处理，尤其涉及一种基于文本图像匹配的行人搜索方法和系统。

背景技术：

1、由于视觉和语言之间的模态异质性，基于文本的人物搜索（tbps）仍然是一项具有挑战性的任务。早期的全局特征对齐方法通过设计跨模态匹配损失函数将整个图像和文本特征映射到共享的全局特征空间，但这种方法忽略了局部关键信息，导致模型对细粒度差异不敏感；随后出现的局部特征对齐方法通过构建身体部位与局部文本实体之间的关系提升了检索性能，但这种方法需要对原始图像和文本进行分割，不仅会引入噪声，还增加了计算开销；后来提出的隐式局部特征对齐方法通过掩蔽部分文本单词并利用未掩蔽单词及局部图像预测被掩蔽内容，实现了更高效的局部对齐。

2、然而，目前的人物搜索方式仍存在一些问题，一方面，基于文本的人物搜索的数据集仍然稀缺，而收集新的真实世界数据集又面临行人隐私和注释成本高的问题，另一方面，多模态大语言模型mllm生成的文本描述中往往不可避免的混入了噪声，导致最终的行人搜索结果存在偏差。

技术实现思路

1、有鉴于此，本发明提出了一种基于文本图像匹配的行人搜索方法和系统。

2、本发明的技术方案是这样实现的：本发明第一方面提供了一种基于文本图像匹配的行人搜索方法，包括：

3、对行人图像样本进行图像分割，得到对应的局部属性图像；

4、利用mllm模型对所述局部属性图像进行特征提取，并基于提取的属性特征生成与所述局部属性图像相关的注释文本，得到初始图像文本对；

5、通过图像编码器与文本编码器确定所述行人图像样本与生成的注释文本归一化后的余弦相似度，以及所述注释文本中的预设标记词的噪声水平，利用所述余弦相似度和所述噪声水平对所述初始图像文本对进行筛选，得到中间图像文本对；

6、将所述中间图像文本对输入至预设匹配模型，结合相似度分布匹配损失对所述预设匹配模型进行训练，得到目标匹配模型；利用所述目标匹配模型为待处理行人图像匹配对应的目标注释文本，完成行人搜索。

7、在以上技术方案的基础上，优选的，所述利用mllm模型对所述局部属性图像进行特征提取，并基于提取的属性特征生成与所述局部属性图像相关的注释文本，得到初始图像文本对，包括：

8、利用设置有多个属性插槽的动态模版库引导所述mllm模型对所述局部属性图像进行特征提取，得到多个侧重点不同的属性特征。

9、在以上技术方案的基础上，优选的，所述利用设置有多个属性插槽的动态模版库引导所述mllm模型对所述局部属性图像进行特征提取，得到多个侧重点不同的属性特征，包括：

10、从预定义的模板库中选择一个与所述局部属性图像相匹配的属性模板；

11、利用所述mllm模型对所述局部属性图像进行特征提取，并将得到的属性特征填充至所述属性模板预留的属性插槽中，生成与所述局部属性图像相关的注释文本。

12、在以上技术方案的基础上，优选的，所述利用所述余弦相似度和所述噪声水平对所述初始图像文本对进行筛选，得到中间图像文本对，包括：

13、将所述初始图像文本对中的局部属性图像与[cls]标记连接后输入至图像编码器，生成所述行人图像样本的全局图像特征；

14、利用[sos]标记和[eos]标记对所述初始图像文本对中的注释文本进行标记，得到标记文本，将所述标记文本经自适应噪声感知掩蔽算法处理后输入至文本编码器，生成所述标记文本的文本特征；

15、获取所述全局图像特征和所述文本特征之间的余弦相似度，并将所述余弦相似度大于第一阈值的所述初始图像文本对确定为中间图像文本对。

16、在以上技术方案的基础上，优选的，所述将所述标记文本经自适应噪声感知掩蔽算法处理后输入至文本编码器，生成所述标记文本的文本特征，还包括：

17、获取任一所述初始图像文本对中所述局部属性图像和所述标记文本之间的全局相似度，以及每个所述标记文本与相邻所述局部属性图像之间的局部相似度；

18、基于所述全局相似度和所述局部相似度确定每个所述标记文本的噪声水平，结合自适应噪声感知掩蔽算法对所述标记文本进行筛选后，输入至文本编码器，生成所述标记文本的文本特征。

19、在以上技术方案的基础上，优选的，所述基于所述全局相似度和所述局部相似度确定每个所述标记文本的噪声水平，结合自适应噪声感知掩蔽算法对所述标记文本进行筛选，包括：

20、在利用自适应噪声感知掩蔽算法对所述标记文本进行筛选的过程中，掩蔽阈值随训练轮数单调递减。

21、在以上技术方案的基础上，优选的，所述将所述中间图像文本对输入至预设匹配模型，结合相似度分布匹配损失对所述预设匹配模型进行训练，得到目标匹配模型，包括：

22、将所述中间图像文本对输入至预设匹配模型记性正向传播，获取每个所述中间图像文本对对应的相似度分布匹配损失；

23、基于所述相似度分布匹配损失对所述预设匹配模型进行反向传播和参数更新，直至所述相似度分布匹配损失小于第二阈值，得到目标匹配模型。

24、更进一步优选的，本发明第二方面提供了一种基于文本图像匹配的行人搜索系统，包括：图像分割模块，文本生成模块，文本筛选模块和文本匹配模块；其中，

25、所述图像分割模块，配置为对行人图像样本进行图像分割，得到对应的局部属性图像；

26、所述文本生成模块，配置为利用mllm模型对所述局部属性图像进行特征提取，并基于提取的属性特征生成与所述局部属性图像相关的注释文本，得到初始图像文本对；

27、所述文本筛选模块，配置为通过图像编码器与文本编码器确定所述行人图像样本与生成的注释文本归一化后的余弦相似度，以及所述注释文本中的预设标记词的噪声水平，利用所述余弦相似度和所述噪声水平对所述初始图像文本对进行筛选，得到中间图像文本对；

28、所述文本匹配模块，配置为将所述中间图像文本对输入至预设匹配模型，结合相似度分布匹配损失对所述预设匹配模型进行训练，得到目标匹配模型；利用所述目标匹配模型为待处理行人图像匹配对应的目标注释文本，完成行人搜索。

29、更进一步优选的，本发明第三方面提供了一种电子设备，包括处理器和存储器；所述存储器有存储计算机程序，其中，所述计算机程序在被所述处理器执行时实现第一方面所述的基于文本图像匹配的行人搜索方法。

30、更进一步优选的，本发明第四方面提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现第一方面所述的基于文本图像匹配的行人搜索方法。

31、本发明的一种基于文本图像匹配的行人搜索方法和系统相对于现有技术具有以下有益效果：

32、1、通过对行人图像样本进行图像分割得到局部属性图像，并利用mllm模型生成注释文本形成初始图像文本对，无需大规模收集真实世界的文本-图像数据集，避免了因收集新数据集面临的行人隐私问题以及高昂的注释成本，有效缓解了基于文本的人物搜索数据集稀缺的困境。通过计算行人图像样本与生成的注释文本归一化后的余弦相似度，以及注释文本中预设标记词的噪声水平，并利用这两个指标对初始图像文本对进行筛选，有效去除了相似度低、噪声水平高的图像文本对，减少了噪声数据对模型训练的干扰，提高了数据质量，从而确保了对模型的训练效果，提高了行人搜索结果的准确性和可靠性。

33、2、通过利用动态模板库设置多个属性插槽，引导mllm模型从不同角度对局部属性图像进行特征提取，得到多个侧重点不同的属性特征。属性插槽明确了需要提取的特征类型，使模型能够更精准地定位图像中的关键信息。将提取的多个属性特征填充到属性模板预留的属性插槽中生成注释文本，能够涵盖图像的多个方面信息，使注释文本更加丰富详细，提高了注释文本的准确性，也方便根据不同的应用场景和任务需求进行灵活调整和扩展。

34、3、获取全局图像特征和文本特征之间的余弦相似度，并将余弦相似度大于第一阈值的初始图像文本对确定为中间图像文本对，可以快速排除图像和文本特征不匹配的初始图像文本对，保证中间图像文本对中的图像和文本具有一定的相关性。在此基础上，利用全局相似度和局部相似度确定每个标记文本的噪声水平，结合自适应噪声感知掩蔽算法对标记文本进行筛选，更全面地评估标记文本与图像之间的匹配程度，准确地识别出存在噪声的标记文本并筛选，进一步提高了中间图像文本对的质量，为后续模型训练提供更优质的数据。