基于近邻匹配混合专家的文本-图像行人检索方法

本发明涉及多模态检索领域，具体涉及一种基于近邻匹配混合专家的文本-图像行人检索方法。

背景技术：

1、文本-图像行人检索旨在以自然语言描述作为查询信息，从行人图像数据库中检索与所述描述相匹配的目标行人图像。但是，由于自然语言中的服饰颜色、鞋子样式、携带物品等局部描述通常仅对应行人图像中的部分区域，文本标记与图像块之间不存在固定的一一对应关系，叠加受到背景、遮挡以及相似外观区域的影响，仅依据局部相似度进行稠密匹配或近邻选择时，容易产生与实际语义无关的局部对应关系，不利于文本-图像行人检索性能。此外，不同局部跨模态对应关系所包含的语义信息及匹配可靠程度存在差异，对其采用统一的特征变换和相似度计算方式，依然难以针对不同局部匹配关系进行差异化处理，制约文本-图像行人检索性能。

技术实现思路

1、本技术的目的在于针对上述提到的技术问题提出一种基于近邻匹配混合专家的文本-图像行人检索方法，从候选图文对中获得可靠的跨模态局部匹配表征，并根据专家网络的输出对文本端特征修正量和图像端特征修正量与其局部匹配关系进行自适应特征增强和匹配校正，提升文本-图像行人检索性能。

2、本发明提供了一种基于近邻匹配混合专家的文本-图像行人检索方法，包括以下步骤：

3、构建文本-图像行人检索模型并训练，得到经训练的文本-图像行人检索模型；文本-图像行人检索模型包括视觉分支、文本分支以及近邻匹配混合专家重排序模块；视觉分支包括预训练的视觉编码器，用于提取行人图像对应的全局视觉特征和图像块特征序列；文本分支包括预训练的文本编码器，用于提取自然语言文本描述对应的全局文本特征和文本标记特征序列；利用经训练的文本-图像行人检索模型的视觉分支对若干个行人图像进行编码，提取得到全局视觉特征和图像块特征序列并构建得到行人图像特征数据库；

4、获取待查询人员的自然语言文本描述并输入经训练的文本-图像行人检索模型，经过文本分支提取得到待查询人员的全局文本特征和文本标记特征序列；将待查询人员的全局文本特征和文本标记特征序列以及行人图像特征数据库中的全局视觉特征和图像块特征序列输入到近邻匹配混合专家重排序模块中，先将全局文本特征与行人图像特征数据库中的全局视觉特征进行跨模态相似度计算，得到初始跨模态相似度，并根据初始跨模态相似度筛选前k个候选行人图像；基于文本标记特征序列对各个候选行人图像对应的图像块特征序列进行筛选，得到互为近邻的文本标记-图像块匹配对，根据文本标记-图像块匹配对生成跨模态局部匹配表征；将各个跨模态局部匹配表征输入到专家路由单元中以选择对应的专家网络，并计算得到各个跨模态局部匹配表征对应于各个专家网络选择的路由权重；将各个跨模态局部匹配表征输入到对应被选择的专家网络，生成文本端特征修正量、图像端特征修正量和匹配校正值；根据文本端特征修正量和图像端特征修正量更新对应的文本标记特征和图像块特征；根据路由权重对多个专家网络输出的匹配校正值进行加权，得到候选匹配校正项；根据更新后的文本特征、更新后的图像特征、候选匹配校正项及初始跨模态相似度计算重排序分值，基于重排序分值确定待查询人员的文本-图像行人检索结果。

5、作为优选，筛选互为近邻的文本标记-图像块匹配对，具体包括：

6、将文本标记特征序列与对应候选行人图像的图像块特征序列分别表示为：

7、；

8、；

9、其中，表示文本标记特征序列；表示图像块特征序列；表示第个文本标记特征；表示第个图像块特征；表示文本标记特征的总数量；表示图像块特征的总数量；表示特征维度，t表示矩阵的转置,表示实数集合；

10、分别对文本标记特征序列和图像块特征序列进行二范数归一化，并计算得到局部相似度矩阵，如下式所示：

11、；

12、其中，表示沿特征维度执行的二范数归一化操作；表示局部相似度矩阵；

13、针对任意一个文本标记特征与任意一个图像块特征，根据下式确定两者是否构成互为近邻的文本标记-图像块匹配对：

14、；

15、其中，表示第个文本标记特征与第个图像块特征之间的互为近邻匹配指示值；当时，第个文本标记特征与第个图像块特征构成互为近邻的文本标记-图像块匹配对，否则不构成互为近邻的文本标记-图像块匹配对；表示指示函数，满足条件则其值取1，否则其值取0；表示局部相似度矩阵中第个文本标记特征与所有图像块特征之间的局部相似度所构成的向量，表示局部相似度矩阵中第个图像块特征与所有文本标记特征之间的局部相似度所构成的向量；表示第个文本标记特征与所有图像块特征之间的局部相似度所构成的向量中的局部相似度最大的前个图像块特征；表示第个图像块特征与所有文本标记特征之间的局部相似度所构成的向量中的局部相似度最大的前个文本标记特征；，，min表示取最小值；表示预设近邻数量。

16、作为优选，根据文本标记-图像块匹配对生成跨模态局部匹配表征，具体包括：

17、针对第个文本标记-图像块匹配对，将对应的文本标记特征、图像块特征、二者的逐元素乘积、二者的逐元素绝对差值以及对应的局部相似度进行拼接，并通过匹配表征投影网络进行特征映射，如下式所示：

18、；

19、其中，表示文本标记-图像块匹配对的索引；和分别表示第个文本标记-图像块匹配对对应的文本标记特征的索引和图像块特征的索引；表示第个文本标记-图像块匹配对对应的跨模态局部匹配表征；表示特征拼接操作；表示逐元素乘法；表示逐元素取绝对值；表示匹配表征投影网络。

20、作为优选，将各个跨模态局部匹配表征输入到专家路由单元中以选择对应的专家网络，并计算得到各个跨模态局部匹配表征对应于各个专家网络选择的路由权重，具体包括：

21、将各个跨模态局部匹配表征输入到线性路由器，并通过sigmoid函数层计算得到对应的专家适配分值；根据跨模态局部匹配表征的总数量、专家网络的总数量和专家容量因子确定单个专家网络的有效容量，并从全部跨模态局部匹配表征中选择对应专家适配分值最大的前个跨模态局部匹配表征，并计算得到对应的路由权重，如下式所示：

22、；

23、其中，表示第个跨模态局部匹配表征对于第个专家网络的专家适配分值；表示线性路由器的可学习权重矩阵；表示向量中的第个元素；表示 sigmoid函数；表示单个专家网络的有效容量；表示专家容量因子；表示当前输入的跨模态局部匹配表征总数量；表示专家网络总数量；表示向下取整；表示第个跨模态局部匹配表征是否被第个专家网络选择的指示值，若是，则其值取1，否则其值取0；表示第个跨模态局部匹配表征被第个专家网络选择的路由权重；表示跨模态局部匹配表征的索引；表示专家网络的索引；表示用于防止分母为零的预设正数。

24、作为优选，匹配表征投影网络包括依次连接的第一层归一化层、第一线性投影层、第一高斯误差线性单元激活层和第二线性投影层；专家路由单元包括依次连接的线性路由器和sigmoid函数层。

25、作为优选，将各个跨模态局部匹配表征输入到对应被选择的专家网络，以生成文本端特征修正量、图像端特征修正量和匹配校正值；根据文本端特征修正量和图像端特征修正量更新对应的文本标记特征和图像块特征，具体包括：

26、将被第个专家网络选择的第个跨模态局部匹配表征输入第个专家网络，得到文本端特征修正量、图像端特征修正量和匹配校正值，如下式所示：

27、；

28、其中，表示第个专家网络对应的函数；表示第个专家网络针对第个跨模态局部匹配表征生成的文本端特征修正量；表示第个专家网络针对第个跨模态局部匹配表征生成的图像端特征修正量；表示第个专家网络针对第个跨模态局部匹配表征输出的匹配校正值；

29、按照路由权重对多个专家网络输出的文本端特征修正量和图像端特征修正量进行加权，得到第个跨模态局部匹配表征对应的文本端加权修正量和图像端加权修正量，如下式所示：

30、；

31、；

32、其中，和分别表示第个文本标记-图像块匹配对对应的文本端加权修正量和图像端加权修正量；

33、根据第个文本标记-图像块匹配对对应的文本标记特征的索引和图像块特征的索引，将文本端加权修正量和图像端加权修正量分别累加至对应文本标记特征的位置和图像块特征的位置，得到对应的文本标记特征更新量和图像块特征更新量，如下式所示：

34、；

35、；

36、其中，和分别表示聚合至第个文本标记位置的文本标记特征更新量和聚合到第个图像块位置的图像块特征更新量；表示所有满足的；

37、根据文本标记特征更新量、图像块特征更新量和预设残差缩放系数更新文本标记特征和图像块特征，如下式所示：

38、；

39、其中，表示更新后的第个文本标记特征；表示更新后的第个图像块特征；表示预设残差缩放系数。

40、作为优选，第个专家网络包括依次连接的第二层归一化层、第一线性层、第二高斯误差线性单元激活层和第二线性层，并在第二线性层之后设置文本修正投影层、图像修正投影层和匹配校正投影层，以分别输出文本端特征修正量、图像端特征修正量和匹配校正值。

41、作为优选，根据全局文本特征和全局视觉特征计算得到初始跨模态相似度，如下式所示：

42、；

43、其中，表示由预训练的文本编码器输出的全局文本特征；表示由预训练的视觉编码器输出的全局视觉特征；表示l2范数，表示初始跨模态相似度。

44、作为优选，根据路由权重对多个专家网络输出的匹配校正值进行加权，得到候选匹配校正项，具体包括：

45、将近邻匹配混合专家重排序模块中各专家网络输出的匹配校正值按照路由权重加权后得到候选匹配校正项，具体为：

46、；

47、其中，表示第个专家网络针对第个跨模态局部匹配表征输出的匹配校正值；待查询人员的自然语言文本与候选行人图像构成候选图文对，表示当前候选图文对中的文本标记-图像块匹配对的总数量；表示取最大值；表示候选匹配校正项。

48、作为优选，根据更新后的文本特征、更新后的图像特征、候选匹配校正项及初始跨模态相似度计算重排序分值，具体包括：

49、将更新后的文本标记特征与更新后的图像块特征分别经均值池化和归一化操作得到增强全局文本特征与增强全局视觉特征，如下式所示：

50、；

51、；

52、根据下式计算候选图文对的重排序分值：

53、；

54、其中，为候选图文对的重排序分值；为余弦相似度；和表示第一可调权重系数和第二可调权重系数。

55、相比于现有技术，本发明具有以下有益效果：

56、（1）本发明提出的基于近邻匹配混合专家的文本-图像行人检索方法通过计算文本标记特征与图像块特征之间的局部相似度，并结合文本到图像以及图像到文本的双向近邻选择结果，筛选互为近邻的文本标记-图像块匹配对；仅保留在两个方向上均具有较高局部相似性的匹配关系。相较于稠密匹配或单向近邻匹配方式，本发明能够减少背景、遮挡区域以及语义不明确局部特征形成错误匹配对的情况，降低偶然高相似局部关系对匹配结果的影响，提高文本细粒度描述与行人局部视觉区域之间匹配关系的可靠性。

57、（2）本发明提出的基于近邻匹配混合专家的文本-图像行人检索方法通过计算跨模态局部匹配表征与不同专家网络之间的适配程度，并由各专家网络在预设容量约束下选择相应的跨模态局部匹配表征进行差异化处理；利用专家网络分别生成文本端特征修正量、图像端特征修正量和匹配校正值，基于路由权重对文本特征与图像特征进行协同更新，并结合初始跨模态相似度和候选匹配校正项完成候选图文对的重排序。该方法能够增强模型对不同细粒度匹配模式的表达能力，实现对局部跨模态匹配关系的自适应校正，降低局部错误匹配对最终排序结果的干扰，提高复杂场景下文本-图像行人检索的准确性。