特征提取模型训练方法、图像检索方法、装置和设备与流程

技术特征：
1.一种特征提取模型训练方法，包括：将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中，所述批量样本图像中包含多种类别的样本图像；对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；基于所述批量样本图像的掩码特征计算损失；基于所述损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目标特征提取模型。2.根据权利要求1所述的方法，其中，所述对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征，包括：确定第一类样本图像的至少一个选择性特征掩码矩阵，其中，所述第一类样本图像为所述多种类别的样本图像中的任一种，所述选择性特征掩码矩阵的维度与样本图像的原始特征的维度相同，且所述选择性特征掩码矩阵中目标位置元素的值是根据所述第一类样本图像与第二类样本图像的原始特征中相应位置特征元素的值的差异程度确定的，所述差异程度与所述目标位置元素的值负相关，所述第二类样本图像包括所述多种类别的样本图像中除所述第一类样本图像外的至少一种；将所述第一类样本图像的原始特征分别与所述至少一个选择性特征掩码矩阵进行点乘，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到对应数量的所述第一类样本图像的掩码特征。3.根据权利要求2所述的方法，所述第二类样本图像包括所述多种类型的样本图像中的至少两种，其中，所述确定第一类样本图像的至少一个选择性特征掩码矩阵，包括：分别基于第一类样本图像与所述至少两种第二类样本图像的原始特征中目标位置特征元素的值的差异程度，确定所述第一类样本图像的多个第一选择性特征掩码矩阵中相应位置元素的值，得到多个第一选择性特征掩码矩阵，其中，一种第二类样本图像对应确定出一个第一选择性特征掩码矩阵；对所述多个第一选择性特征掩码矩阵进行求和，得到所述第一类样本图像的第二选择性特征掩码矩阵；对所述第二选择性特征掩码矩阵进行取反运算，得到所述第一类样本图像的第三选择性特征掩码矩阵。4.根据权利要求3所述的方法，其中，基于第一类样本图像与一种第二类样本图像的原始特征中目标位置特征元素的值的差异程度，确定所述第一类样本图像的一个第一选择性特征掩码矩阵中相应位置元素的值，包括：确定第一类样本图像与该第二类样本图像的原始特征中目标位置特征元素的值的差异程度；在该差异程度小于所述目标门限值时，确定所述第一类样本图像的该第一选择性特征掩码矩阵中相应位置元素的值为第一值；在该差异程度大于或等于所述目标门限值时，确定所述第一类样本图像的该第一选择性特征掩码矩阵中相应位置元素的值为第二值；
其中，所述第二值远小于所述第一值。5.根据权利要求1
‑
4任一项所述的方法，所述目标特征提取模型包括卷积神经网络和变换器模型中的一种。6.根据权利要求5所述的方法，第一类样本图像与第二类样本图像的原始特征中目标位置特征元素的值的差异程度，用第一类样本图像与第二类样本图像的原始特征中目标位置特征元素值之差的绝对值表征；所述目标门限值是根据第一类样本图像与第二类样本图像的原始特征中全部或部分元素值之差的绝对值的平均值确定的。7.根据权利要求4所述的方法，所述目标特征提取模型为卷积神经网络，所述卷积神经网络包含全连接层；第一类样本图像与第二类样本图像的原始特征中目标位置特征元素的值的差异程度，用所述全连接层中第一类样本图像与第二类样本图像的权重中相应位置元素值之差的绝对值表征；所述目标门限值是根据所述全连接层中第一类样本图像与第二类样本图像的权重中全部或部分元素值之差的绝对值的平均值确定的。8.根据权利要求7所述的方法，其中，所述将所述第一类样本图像的原始特征分别与所述至少一个选择性特征掩码矩阵进行点乘，得到对应数量的所述第一类样本图像的掩码特征，包括：将所述第一类样本图像的原始特征与所述多个第一选择性特征掩码矩阵进行点乘，得到对应数量的所述第一类样本图像的多个第一掩码特征；将所述第一类样本图像的原始特征与所述第二选择性特征掩码矩阵进行点乘，得到对应数量的所述第一类样本图像的第二掩码特征；将所述第一类样本图像的原始特征与所述第三选择性特征掩码矩阵进行点乘，得到对应数量的所述第一类样本图像的第三掩码特征。9.根据权利要求8所述的方法，其中，所述基于所述批量样本图像的掩码特征计算损失，包括：基于三元组损失函数以及所述批量样本图像的第一掩码特征、第二掩码特征和第三掩码特征，计算损失。10.根据权利要求9所述的方法，所述三元组损失函数包括基于代理的损失函数和基于度量学习的损失函数，其中，所述基于三元组损失函数以及所述批量样本图像的第一掩码特征、第二掩码特征和第三掩码特征，计算损失，包括：基于所述基于代理的损失函数以及所述批量样本图像的第一掩码特征和第二掩码特征，计算第一损失，其中，目标类别的样本图像的代理为所述目标类别样本图像在所述全连接层中的权重，所述目标类别为所述多种类别中的任一类别；基于所述基于度量学习的损失函数以及所述批量样本图像的第一掩码特征和第三掩码特征，计算第二损失；基于所述第一损失和所述第二损失，确定总损失。11.根据权利要求10所述的方法，其中，所述基于所述损失最小的策略优化所述目标特
征提取模型的参数，包括：基于所述总损失最小的策略优化所述目标特征提取模型的参数，其中，所述参数包括所述全连接层的权重。12.一种图像检索方法，包括：获取待检索图像；将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述目标特征提取模型由权利要求1
‑
11中任一项所述的方法训练得到；基于所述特征从预设图像库中检索与所述待检索图像相似的图像。13.一种特征提取模型训练装置，包括：原始特征提取模块，用于将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中，所述批量样本图像中包含多种类别的样本图像；特征选择掩码模块，对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；损失计算模块，基于所述批量样本图像的掩码特征计算损失；参数优化模块，基于所述损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目标特征提取模型。14.一种图像检索装置，包括：图像获取模块，获取待检索图像；特征提取模块，将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述目标特征提取模型由权利要求1
‑
11中任一项所述的方法训练得到；图像检索模块，基于所述特征从预设图像库中检索与所述待检索图像相似的图像。15.一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中，所述批量样本图像中包含多种类别的样本图像；对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；基于所述批量样本图像的掩码特征计算损失；基于所述损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目标特征提取模型。16.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：将批量样本图像输入目标特征提取模型，得到所述批量样本图像的原始特征，其中，所述批量样本图像中包含多种类别的样本图像；对所述批量样本图像的原始特征进行选择性掩码，以掩去所述批量样本图像的原始特征中具有区分性的特征元素，得到所述批量样本图像的掩码特征；
基于所述批量样本图像的掩码特征计算损失；基于所述损失最小的策略优化所述目标特征提取模型的参数，以得到优化后的所述目标特征提取模型。17.一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：获取待检索图像；将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述目标特征提取模型由权利要求1
‑
11中任一项所述的方法训练得到；基于所述特征从预设图像库中检索与所述待检索图像相似的图像。18.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：获取待检索图像；将所述待检索图像输入目标特征提取模型，得到所述待检索图像的特征，其中，所述目标特征提取模型由权利要求1
‑
11中任一项所述的方法训练得到；基于所述特征从预设图像库中检索与所述待检索图像相似的图像。

技术总结
本说明书实施例公开了一种特征提取模型训练方法、图像检索方法、装置和设备，所述方法可以将包含多种类别的样本图像的批量样本图像输入目标特征提取模型，得到该批样本图像的原始特征；并对该批样本图像的原始特征进行选择性掩码，以掩去该批样本图像的原始特征中具有区分性的特征元素，得到该批样本图像的掩码特征；然后基于该批样本图像的掩码特征计算损失；最后基于该损失最小的策略优化所述目标特征提取模型的参数。征提取模型的参数。征提取模型的参数。


技术研发人员：徐富荣 王萌 张伟 程远 褚崴
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2021.06.08
技术公布日：2021/10/23