图像检索的方法、设备、存储介质和程序产品与流程

本技术涉及图像识别，特别涉及一种图像检索的方法、设备、存储介质和程序产品。

背景技术：

1、随着网络技术和计算机技术的发展，比较多的平台使用包括目标对象的图像，在图像库中检索也存在目标对象的图像，以提供以图搜图功能。例如，在电商平台中，用户上传包括目标商品的图像，电商平台基于该图像搜索与该目标商品匹配的商品图像，然后向用户反馈该商品图像所属的商品列表。

2、相关技术中，平台使用cnn（convolutional neural network，卷积神经网络）模型提取图像的特征，然后计算该特征与图像库的图像的向量相似度，以确定也存在目标对象的图像。

3、由于cnn模型的局部感知能力比较弱，所述有可能会导致检索到的图像与目标对象不匹配。

技术实现思路

1、本技术实施例提供了一种图像检索的方法、设备、存储介质和程序产品,能够提升检索到的图像与想要搜索的对象匹配的概率。所述技术方案如下：

2、第一方面，本技术提供了一种图像检索的方法，该方法包括：

3、获取待检索图像，其中，所述待检索图像包括目标对象；

4、通过视觉变换模型中的特征提取层对所述待检索图像进行特征提取，得到所述待检索图像的第一抽象语义特征；

5、通过所述视觉变换模型中的掩膜层对所述第一抽象语义特征进行处理，得到所述待检索图像的掩膜信息，其中，所述掩膜信息用于标记所述目标对象所在区域；

6、通过所述特征提取层对所述第一抽象语义特征和所述掩膜信息进行处理，得到所述待检索图像的表征向量；

7、基于所述表征向量，确定与所述目标对象匹配的图像。

8、在一种可选的方式中，所述特征提取层包括n+1个视觉变换子层，n大于1，所述通过视觉变换模型中的特征提取层对所述待检索图像进行特征提取，得到所述待检索图像的第一抽象语义特征，包括：

9、通过所述n+1个视觉变换子层中的前n个视觉变换子层，对所述待检索图像进行特征提取，得到所述第一抽象语义特征；

10、所述通过所述特征提取层对所述第一抽象语义特征和所述掩膜信息进行处理，得到所述待检索图像的表征向量，包括：

11、基于所述n+1个视觉变换子层中的最后一个视觉变换子层、所述第一抽象语义特征和所述掩膜信息，确定所述待检索图像的表征向量。

12、这样，由于第一抽象语义特征是通过多个视觉变换子层提取的，所以能够包括高阶语义，使用高阶语义确定掩膜信息，能够准确确定掩膜信息，从而可以获得尽量不包括非主体区域信息的表征向量。

13、在一种可选的方式中，所述特征提取层还包括特征融合子层，所述基于所述n+1个视觉变换子层中的最后一个视觉变换子层、所述第一抽象语义特征和所述掩膜信息，确定所述待检索图像的表征向量，包括：

14、通过所述最后一个视觉变换子层，基于所述掩膜信息，对所述第一抽象语义特征进行处理，得到第二抽象语义特征；

15、通过所述特征融合子层，对所述第二抽象语义特征与所述前n个视觉变换子层中至少一个视觉变换子层输出的特征进行融合处理，得到所述表征向量。

16、这样，由于还融合其他视觉变换子层提取的特征，所以可以聚合不同感受野下的特征表达，提升视觉变换模型对多尺度目标的检索精度。

17、在一种可选的方式中，所述第一抽象语义特征包括所述待检索图像的每个分块的空间标记，所述基于所述掩膜信息，对所述第一抽象语义特征进行处理，得到第二抽象语义特征，包括：

18、基于所述掩膜信息，对所述第一抽象语义特征进行多头自注意力分数计算，得到注意力分数矩阵，其中，在多头自注意力分数计算过程中，为标识为背景的空间标记参与计算的注意力分数施加预设负向惩罚；

19、基于所述注意力分数矩阵，计算所述第二抽象语义特征。

20、这样，由于在多注意力头分数计算时，为标识为背景的空间标记参与计算的注意力分数施加预设负向惩罚，所以能够使得待检索图像的表征向量尽量不体现非主体区域的特征。

21、在一种可选的方式中，所述至少一个视觉变换子层包括第一视觉变换子层和第二视觉变换子层，所述第一视觉变换子层和所述最后一个视觉变换子层均与第二视觉变换子层相隔m个视觉变换子层，m大于2。

22、这样，是将浅层特征、中层特征和深层特征进行融合处理，浅层特征对应小目标，中层特征对应中等大小目标，深层特征对应大目标，使得更进一步提升模型对多尺度目标的检索精度。

23、在一种可选的方式中，所述视觉变换子层包括多头自注意力模块和激活模块，所述激活模块包括多个前馈激活单元和叠加单元；

24、所述通过所述n+1个视觉变换子层中的前n个视觉变换子层，对所述待检索图像进行特征提取，得到所述第一抽象语义特征，包括：

25、在所述前n个视觉变换子层中的第i个视觉变换子层中，通过所述多头自注意力模块，对第i-1个视觉变换层的输出特征进行处理，得到第一残差特征，i取值为2至n;

26、通过所述多个前馈激活单元分别对所述第一残差特征进行处理，得到多个全连接特征；

27、通过所述叠加单元对所述多个全连接特征进行处理，得到所述第i个视觉变换子层的输出特征，其中，所述前n个视觉变换子层中的最后一个视觉变换子层的输出特征为所述第一抽象语义特征。

28、这样，由于采用多个前馈激活单元，不同的前馈激活单元的关注点不相同，所以使得第一抽象语义特征更丰富。

29、在一种可选的方式中，所述第一抽象语义特征包括全局状态标记cls和所述待检索图像的每个分块的空间标记，所述通过所述视觉变换模型中的掩膜层对所述第一抽象语义特征进行处理，得到所述待检索图像的掩膜信息，包括：

30、对于所述第一抽象语义特征中的每个空间标记，通过所述掩膜层，确定所述cls对所述空间标记在多头自注意力层中的注意力分布权重；

31、通过所述掩膜层，对所述注意力分布权重进行平均，得到所述空间标记对应的主体显著响应值；

32、通过所述掩膜层，基于所述每个空间标记对应的主体显著响应值与截断阈值的大小关系，确定所述掩膜信息。

33、这样，主体区域的自注意力权重比较高，而非主体区域的自注意力权重比较低，所以使用自注意层的注意力分布权重，可以准确确定掩膜信息。

34、在一种可选的方式中，所述目标对象为商品；所述基于所述表征向量，确定与所述目标对象匹配的图像之后，所述方法还包括：返回与所述目标对象匹配的图像所属的商品列表。

35、这样，将视觉变换模型应用于电商场景中，能够提升用户搜索商品的准确率，从而提升转化率。

36、在一种可选的方式中，所述方法还包括：

37、获取第一样本集和第二样本集，其中，所述第一样本集包括多个第一样本图像和所述第一样本图像的标注信息，所述第二样本集包括多个第二样本图像和所述第二样本图像的标注信息，所述多个第二样本图像包括在不同图像采集条件下采集的每个标准化产品单元的图像；

38、在当前批次的训练过程中，基于文本编码器对所述当前批次的第一样本图像的标注信息进行编码，得到所述当前批次的第一样本图像的语义向量，并且基于初始视觉变换模型对所述当前批次的第一样本图像进行处理，得到所述当前批次的第一样本图像的表征向量；

39、基于所述语义向量和所述当前批次的第一样本图像的表征向量，对所述初始视觉变换模型进行更新，以得到中间视觉变换模型；

40、基于所述第二样本集，对所述中间视觉变换模型进行训练，得到所述视觉变换模型。

41、这样，采用两个阶段训练模型，使得视觉变换模型可以充分理解电商场景中的复杂语义。

42、第二方面，本技术提供了一种视觉变换模型的训练方法，所述视觉变换模型为上述第一方面或者任意一种可选方式中所述的视觉变换模型，所述方法包括：

43、获取第一样本集和第二样本集，其中，所述第一样本集包括多个第一样本图像和所述第一样本图像的标注信息，所述第二样本集包括多个第二样本图像和所述第二样本图像的标注信息，所述多个第二样本图像包括在不同图像采集条件下采集的每个标准化产品单元的图像；

44、在当前批次的训练过程中，基于文本编码器对所述当前批次的第一样本图像的标注信息进行编码，得到所述当前批次的第一样本图像的语义向量，并且基于初始视觉变换模型对所述当前批次的第一样本图像进行处理，得到所述当前批次的第一样本图像的表征向量；

45、基于所述语义向量和所述表征向量，对所述初始视觉变换模型进行更新，以得到中间视觉变换模型；

46、基于所述第二样本集，对所述中间视觉变换模型进行训练，得到所述视觉变换模型。

47、第三方面，提供了一种图像检索的装置，该装置包括至少一个模块，至少一个模块用于执行上述第一方面以及第一方面的任一可选的方式中所述的图像检索的方法所执行的操作，或者执行第二方面所述的视觉变换模型的训练方法所执行的操作。

48、第四方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上述第一方面以及第一方面的任一可选的方式中所述的图像检索的方法所执行的操作，或者执行第二方面所述的视觉变换模型的训练方法所执行的操作。

49、第五方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述第一方面以及第一方面的任一可选的方式中所述的图像检索的方法所执行的操作，或者执行第二方面所述的视觉变换模型的训练方法所执行的操作。

50、第六方面，提供了一种计算机程序产品，所述计算机程序产品中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述第一方面以及第一方面的任一可选的方式中所述的图像检索的方法所执行的操作，或者执行第二方面所述的视觉变换模型的训练方法所执行的操作。

51、本技术提供的技术方案带来的有益效果是：

52、本技术中，在视觉变换模型中引入掩膜层，掩膜层使用待检索图像的抽象语义特征确定掩膜信息。由于抽象语义特征是针对待检索图像的高阶语义特征，所以掩膜层能够准确分离前景和背景，找到主体对象区域和非主体区域，那么在后续确定待检索图像的表征向量时，可以弱化非主体区域的特征，从而使得该表征向量包括纯净的对象主体的高阶语义，那么在与其他图像计算相似度时，就能减少非主体区域的特征的干扰，从而提升检索到与对象匹配的图像的概率。