一种基于相似性零样本哈希的跨模态检索方法

技术特征：
1.一种基于相似性零样本哈希的跨模态检索方法，其特征在于：所述方法的具体步骤如下：step1、获取跨模态数据集，并进行跨模态数据集的特征提取以及类属性的提取；step2、跨模态数据集的处理：将现有的跨模态数据集处理为跨模态零样本数据集；step3、进行目标函数学习：融合模态内相似性、模态间相似性、语义标签、类属性、哈希码以及哈希函数学习到同一个框架中，以此来获得目标函数，学习更具判别性的哈希码；step4、进行目标函数的迭代更新：通过迭代更新step3得到的目标函数中的变量矩阵，直到目标函数收敛或达到最大迭代次数，得到哈希函数以及训练集的哈希码；step5：进行零样本跨模态检索：首先得到检索集对应的哈希码，然后，通过step4得到的哈希函数求查询集的哈希码，放入检索集中进行查询，通过计算查询集与检索集中各样本间的汉明距离来获取查询结果，汉明距离最小者即为最终的查询结果。2.根据权利要求1所述的基于相似性零样本哈希的跨模态检索方法，其特征在于：所述step1中，进行类属性的提取，采用的是glove方法为每个类别名提取一个对应的词向量，组成类属性矩阵。3.根据权利要求1所述的基于相似性零样本哈希的跨模态检索方法，其特征在于：所述step2的具体方法为：原始数据集首先被划分为训练集和查询集，然后从原始数据集的所有类中随机选取20％的类作为不可见类，其余的类为可见类；对于零样本跨模态检索场景来说，将原查询集中的不可见类对应的样本对作为新的查询集；将原训练集中可见类对应的样本对作为新的训练集；检索集由原训练集组成。4.根据权利要求1所述的基于相似性零样本哈希的跨模态检索方法，其特征在于：所述step3中的模态内相似性分为特征相似度和语义相似度，其中特征相似度通过euclidean相似度来计算，语义相似度通过jaccard相似度来衡量。5.根据权利要求1所述的基于相似性零样本哈希的跨模态检索方法，其特征在于：所述step3中的模态间相似性指的是不同模态间各实例之间的语义相似度，该语义相似度通过标签语义信息来衡量。6.根据权利要求1所述的基于相似性零样本哈希的跨模态检索方法，其特征在于：所述step3中所获得的目标函数包括哈希码学习和哈希函数两个部分，哈希码学习指的是结合模态内相似性、模态间相似性、语义标签以及类属性来学习哈希码；哈希函数的学习指的是通过最小化最小二乘回归问题来学习哈希函数，通过将哈希码学习和哈希函数学习放到同一个模型中进行学习，以此来增强哈希码与哈希函数之间的语义联系，实现高精度的零样本跨模态检索。7.根据权利要求1所述的基于相似性零样本哈希的跨模态检索方法，其特征在于：将所述step4中的目标函数的迭代更新是以step4中得到的目标函数作为原始函数来更新，显然目标函数并非是最优的，需要对该函数进行优化，由于该目标函数是一个非凸问题，但是当固定其他的变量，更新一个矩阵变量时，这时的函数是一个凸问题，方便进行目标函数的更新；采用此交替迭代算法来更新矩阵变量，直到目标函数收敛或达到最大迭代次数，最终得到最优的哈希码和哈希函数。8.根据权利要求1所述的基于相似性零样本哈希的跨模态检索方法，其特征在于：所述step3中的目标函数为：
其中，表示模型的正则化项，用于防止过拟合；γ是控制正则化项的参数，x
(1)
和x
(2)
分别为图像和文本两个模态的特征矩阵；y为标签矩阵；a为类属性矩阵；s
11
和s
22
分别为图像和文本两个模态的模态内相似性矩阵，s
12
为图像和文本两个模态的模态间相似性矩阵；w1、w2、v1、v2为投影矩阵；α和β为非负参数，n
s
为训练样本数。

技术总结
本发明公开了一种基于相似性零样本哈希的跨模态检索方法。提出了一种新的零样本哈希框架来充分挖掘监督语义信息，该框架将模态内相似性、模态间相似性、语义标签以及类属性联合起来，以指导零样本哈希码的学习。在该框架中，同时考虑了模态内相似性和模态间相似性。模态内相似性体现的是多模态数据的流形结构以及特征相似性，模态间相似性体现的是模态间的语义相关性。此外，将语义标签与类属性嵌入到哈希码中，为每个实例学习更具判别性的哈希码。然而，由于类属性的嵌入，在哈希码中可以很好地捕捉可见类和不可见类之间的关系，从而可以将属性知识从可见类转移到不可见类中。本发明实现了对零样本跨模态数据更高精度的检索。明实现了对零样本跨模态数据更高精度的检索。明实现了对零样本跨模态数据更高精度的检索。


技术研发人员：舒振球 永凯玲 余正涛 高盛祥 毛存礼
受保护的技术使用者：昆明理工大学
技术研发日：2022.06.20
技术公布日：2022/8/26