一种自适应权重图学习驱动的语义增强跨模态哈希检索方法

本发明涉及信息检索，特别是一种自适应权重图学习驱动的语义增强跨模态哈希检索方法。

背景技术：

1、随着多媒体数据规模的持续增长，跨模态检索在信息检索领域中得到广泛关注。跨模态哈希（cross-modal hashing，cmh）方法通过将不同模态的数据映射为统一的二进制哈希码，在保证检索效率和存储开销较低的同时，实现跨模态样本的快速近似检索。根据是否利用语义标签信息，现有跨模态哈希方法主要分为无监督 cmh 方法和有监督 cmh 方法两类。无监督 cmh 方法主要依赖数据分布或特征相似性进行建模，由于缺乏语义约束，难以准确刻画跨模态样本之间的高层语义关系，检索性能受限。有监督 cmh 方法通过引入语义标签信息构建样本间的相似度关系或直接学习哈希函数，在一定程度上提升了检索性能，因此受到广泛关注。

2、然而，现有有监督 cmh 方法通常假设训练样本的语义标签完整且准确，而在实际应用中，语义标签往往存在缺失或错误，噪声标签的直接利用容易干扰哈希码学习过程，降低检索性能。此外，多媒体数据通常具有多标签属性，现有方法在建模过程中往往忽略标签之间的潜在语义关联，将其视为相互独立，从而导致语义信息挖掘不充分，限制了哈希码的语义表达能力。

技术实现思路

1、鉴于上述现有存在的问题，提出了本发明。

2、因此，本发明提供了一种自适应权重图学习驱动的语义增强跨模态哈希检索方法解决现有有监督 cmh 方法通常假设语义标签完整且准确，在标签缺失或错误以及多标签语义关联未充分建模的情况下，容易导致哈希码判别能力下降、检索性能退化的问题。

3、为解决上述技术问题，本发明提供如下技术方案：

4、本发明提供了一种自适应权重图学习驱动的语义增强跨模态哈希检索方法，其包括：

5、s1 获取多模态数据和语义标签；

6、s2 对多模态数据及其语义标签进行联合建模，构建语义增强标签表示；

7、s3 采用非对称内积策略刻画样本间的成对语义相似关系；

8、s4 使用自适应权重图学习机制学习类别权重并抑制噪声；

9、s5 在离散约束条件下设计优化算法生成二进制哈希码；

10、s6 采用线性回归框架学习模态特定哈希函数，实现新样本的快速外推编码；

11、作为本发明所述自适应权重图学习驱动的语义增强跨模态哈希检索方法的一种优选方案，其中：所述对多模态数据及其语义标签进行联合建模，构建语义增强标签表示，具体步骤为：

12、采用线性回归模型学习判别性哈希码，其描述如下：

13、；

14、引入标签相关性矩阵来描述标签类别间的关联信息，并使用自表示学习将离散的语义标签信息映射为携带高阶语义关联的增强标签矩阵，表达式为：

15、；

16、其中，为哈希矩阵，为映射矩阵，为标签矩阵。

17、作为本发明所述自适应权重图学习驱动的语义增强跨模态哈希检索方法的一种优选方案，其中：所述采用非对称内积策略刻画样本间的成对语义相似关系，具体步骤为：

18、将语义标签矩阵进行归一化处理，并使用其内积计算相似度矩阵；

19、使用对称非负矩阵分解模型学习样本间的成对语义相似关系，表达式为：

20、；

21、考虑到上式中二元离散内积使得优化问题难以求解，因此引入非对称内积策略，表达式为：

22、；

23、引入正交性和平衡性分别约束哈希位相互不相关和哈希位平衡，表达式为：

24、；

25、其中和是平衡参数，是哈希连续矩阵，是哈希码长度，是样本个数，是单位矩阵，是单位向量。

26、作为本发明所述自适应权重图学习驱动的语义增强跨模态哈希检索方法，其中：所述使用自适应权重图学习机制学习类别权重并抑制噪声，具体步骤为：

27、在携带高阶语义关联的增强标签空间中，采用图学习策略动态优化相似度矩阵，表达式为：

28、；

29、将对角矩阵引入上述模型中，用来自适应学习类别的权重，以抑制类别噪声，表达式为：

30、；

31、其中为权重矩阵，为权重向量，为第个类别的权重得分，为灵活的相似度矩阵。

32、作为本发明所述自适应权重图学习驱动的语义增强跨模态哈希检索方法的一种优选方案，其中：所述在离散约束条件下设计优化算法生成二进制哈希码，具体步骤为：

33、将上述三部分整合为一个统一的目标函数，表达式为：

34、；

35、在离散约束条件下，采用交替迭代更新方法分别对变量，，，，和进行更新；

36、当目标函数收敛时，停止迭代并输出各个变量及二进制哈希码。

37、作为本发明所述自适应权重图学习驱动的语义增强跨模态哈希检索方法的一种优选方案，其中：所述采用线性回归框架学习模态特定哈希函数，实现新样本的快速外推编码，具体步骤为：

38、使用非线性 rbf 核函数生成核化数据特征，使得不同模态的数据维度相同；

39、采用线性回归框架学习模态特定哈希函数，表达式为：

40、

41、通过，计算最优哈希函数；

42、使用，得到新样本不同模态的哈希码；

43、通过哈希码查询，实现新样本的快速外推编码；

44、其中为平衡参数，为第种模态的哈希函数，为第种模态核化后的训练样本，为单位矩阵，为第种模态测试样本的哈希编码。

45、本发明的有益效果：通过构建语义增强标签表示以挖掘多标签间的高阶关联，引入非对称内积策略精准刻画跨模态样本的成对语义相似性，结合自适应权重图学习机制动态调整类别重要性并有效抑制噪声标签干扰，在严格的离散约束下协同优化生成高判别性的二进制哈希码，并基于线性回归框架学习模态特定哈希函数，实现对新样本的高效外推编码，从而提升跨模态哈希检索在标签不完整、含噪或语义复杂场景下的鲁棒性、准确性和实用性。

1.一种自适应权重图学习驱动的语义增强跨模态哈希检索方法，其特征在于：包括：

2.如权利要求1所述的自适应权重图学习驱动的语义增强跨模态哈希检索方法，其特征在于：所述对多模态数据及其语义标签进行联合建模，构建语义增强标签表示，具体步骤为：

3.如权利要求1所述的自适应权重图学习驱动的语义增强跨模态哈希检索方法，其特征在于：所述采用非对称内积策略刻画样本间的成对语义相似关系，具体步骤为：

4.如权利要求1所述的自适应权重图学习驱动的语义增强跨模态哈希检索方法，其特征在于：所述使用自适应权重图学习机制学习类别权重并抑制噪声,具体步骤为：

5.如权利要求1所述的自适应权重图学习驱动的语义增强跨模态哈希检索方法，其特征在于：所述在离散约束条件下设计优化算法生成二进制哈希码，具体步骤为：

6.如权利要求1所述的自适应权重图学习驱动的语义增强跨模态哈希检索方法，其特征在于：所述采用线性回归框架学习模态特定哈希函数，实现新样本的快速外推编码，具体步骤为：