一种基于混合Token优化的文本到图像行人重识别方法及存储介质

本发明涉及计算机视觉及跨模态检索，具体而言，涉及一种基于混合token优化的文本到图像行人重识别方法及存储介质。

背景技术：

1、文本到图像行人重识别是跨模态图文检索中的一种细粒度检索任务，旨在根据自然语言描述从行人图像库中检索目标行人图像。与基于图像的行人重识别不同，文本到图像行人重识别在缺少目标行人查询图像的情况下，仍能够利用自然语言描述完成目标检索。由于图像与文本在数据结构、特征分布和语义表达方式等方面存在差异，如何获得具有判别能力的图像和文本特征表示，并建立视觉信息与语言信息之间有效的跨模态对应关系，是文本到图像行人重识别中的关键问题。

2、目前，相关技术主要通过图像与文本特征表征学习、跨模态特征对齐以及细粒度特征交互提高文本到图像行人检索性能，现有技术仍存在以下不足之处：（1）全局token需要对完整图像或文本信息进行高度压缩，容易造成判别信息损失，全局表征能力仍有提升空间；（2）局部token选择通常较为依赖注意力信息，单一选择依据容易造成具有有效判别信息的局部token遗漏；（3）视觉token序列与文本token序列在结构、有效长度及特征分布方面存在差异，现有token处理方式对不同模态以及不同匹配粒度的表征需求适应能力不足。

技术实现思路

1、有鉴于此，本发明公开了一种基于混合token优化的文本到图像行人重识别方法及存储介质，至少能够通过在编码器与跨模态匹配模块之间引入混合token优化机制，利用模态特定token字典对视觉全局token和文本全局token进行字典先验增强，为高度压缩的全局表征补充判别信息，提高全局跨模态表征能力；通过结合多头注意力显著性和局部token特征响应强度进行空间-能量异构token选择，并根据不同模态的有效token数量设置最小覆盖约束，减少单一注意力选择造成的有效局部信息遗漏，提高局部判别信息覆盖能力以及对视觉、文本序列差异的适应能力。

2、同时，所述混合token优化机制无需改变原有全局匹配模块和局部匹配模块的基本结构，能够以较小的附加参数开销改善文本到图像行人重识别的跨模态匹配效果。

3、具体地，本发明是通过以下技术方案实现的：

4、一方面，本技术提出一种基于混合token优化的文本到图像行人重识别方法，所述方法包括：

5、将待检索文本和候选行人图像输入训练完成的目标文本图像行人重识别模型，获得文本图像行人重识别结果，所述文本图像行人重识别模型为基于混合token优化的文本图像行人重识别模型；

6、其中，通过以下步骤构建所述文本图像行人重识别模型：

7、利用视觉编码器和文本编码器分别对行人图像和文本描述进行特征编码，获得视觉token序列和文本token序列；

8、分别利用视觉模态和文本模态对应的可学习token字典，对视觉全局token和文本全局token进行字典先验增强，获得增强视觉全局token和增强文本全局token；

9、结合多头注意力信息和局部token特征响应强度，对视觉局部token和文本局部token进行空间-能量异构token选择，并根据对应模态的有效token数量进行最小token覆盖，获得视觉局部token子集和文本局部token子集；

10、根据所述增强视觉全局token和增强文本全局token进行全局跨模态匹配，根据所述视觉局部token子集和文本局部token子集进行局部跨模态匹配；

11、根据所述全局跨模态匹配结果和局部跨模态匹配结果构建训练目标，对所述文本到图像行人重识别模型进行训练。

12、在一些实施例中，对视觉全局token和文本全局token进行字典先验增强，包括：

13、分别为视觉模态和文本模态设置结构相同、参数独立的可学习token字典；

14、分别以视觉全局token和文本全局token作为对应模态的查询，根据所述全局token与对应token字典中各字典原子的相关程度获得字典先验特征；

15、将所述字典先验特征与对应的原始全局token进行残差融合，分别获得增强视觉全局token和增强文本全局token。

16、在一些实施例中，所述方法还包括：

17、根据全局token与各字典原子的相似度生成注意力权重，并为不同字典原子设置相互独立的可学习注意力调节参数，以调节各字典原子对所述字典先验特征的贡献。

18、在一些实施例中，所述可学习token字典在模型训练过程中采用任务梯度更新与跨迭代指数移动平均校正相结合的更新方式；

19、其中，通过以下步骤更新所述token字典：

20、根据当前训练批次的全局token均值和各字典原子对应的可学习保留系数对字典原子进行校正，并通过指数移动平均累积所述校正结果，利用模型训练任务损失的梯度更新所述token字典。

21、在一些实施例中，通过以下步骤进行空间-能量异构token选择：

22、根据每个注意力头对应的注意力信息分别选取局部token，并对每个注意力头的选择结果取并集，获得第一token集合；

23、计算局部token的特征范数，并从未被所述第一token集合选中的局部token中选取特征范数较大的局部token，获得第二token集合；

24、将所述第一token集合和第二token集合取并集，获得异构token集合。

25、在一些实施例中，所述方法还包括：

26、根据视觉模态和文本模态各自的有效token数量分别确定最小覆盖数量；

27、当所述异构token集合中的token数量小于对应的最小覆盖数量时，根据注意力信息从剩余局部token中进行补充，直至达到所述最小覆盖数量；

28、当所述异构token集合中的token数量达到或超过所述最小覆盖数量时，保留所述异构token集合而不进行截断。

29、在一些实施例中，通过以下公式计算所述文本图像行人重识别模型总训练目标：

30、；

31、其中，表示模型总训练损失，和分别表示全局匹配分支和局部匹配分支对应的三元组对齐损失，上标和分别表示全局匹配分支和局部匹配分支，表示背景一致性约束损失，表示目标中心特征约束损失，和分别表示背景一致性约束损失和目标中心特征约束损失对应的权重系数。

32、在一些实施例中，所述背景一致性约束作用于最小覆盖补充之前未被局部token选择机制保留的视觉token和文本token，用于对两种模态中未被选择的特征施加辅助约束；

33、其中，通过以下公式计算背景一致性约束损失：

34、；

35、其中，表示背景一致性约束损失，表示当前训练批次中的图像-文本样本对数量，表示样本索引，和分别表示第个图像-文本训练样本对应的视觉背景特征和文本背景特征，上标和分别表示视觉模态和文本模态，下标表示背景特征，表示求和运算，表示向量范数的平方；

36、其中，目标中心特征约束通过计算当前训练批次中相同行人身份样本的特征中心，使相同行人身份对应的局部嵌入向对应身份的特征中心聚集；

37、其中，通过以下公式计算身份对应的特征中心：

38、；

39、其中，表示当前行人身份，表示第个训练样本对应的行人身份标签，表示第个训练样本对应的局部嵌入，表示当前训练批次中身份标签为的样本数量，表示身份对应的局部特征中心，表示对当前训练批次中所有身份标签等于的样本局部嵌入进行求和。

40、在一些实施例中，通过以下公式计算目标中心特征约束损失：

41、；

42、其中，表示目标中心特征约束损失，表示当前训练批次中的样本数量，表示样本索引，表示第个样本对应的局部嵌入，表示第个样本对应的行人身份标签，表示身份对应的局部特征中心，表示向量范数的平方。

43、另一方面，本技术还提供一种非暂态计算机的可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述任一实施例所述的基于混合token优化的文本到图像行人重识别方法的步骤。

44、本技术提出的一种基于混合token优化的文本到图像行人重识别方法及存储介质，至少能够通过在编码器与跨模态匹配模块之间引入混合token优化机制，利用模态特定token字典对视觉全局token和文本全局token进行字典先验增强，为高度压缩的全局表征补充判别信息，提高全局跨模态表征能力；通过结合多头注意力显著性和局部token特征响应强度进行空间-能量异构token选择，并根据不同模态的有效token数量设置最小覆盖约束，减少单一注意力选择造成的有效局部信息遗漏，提高局部判别信息覆盖能力以及对视觉、文本序列差异的适应能力。

45、同时，所述混合token优化机制无需改变原有全局匹配模块和局部匹配模块的基本结构，能够以较小的附加参数开销改善文本到图像行人重识别的跨模态匹配效果。