一种基于语义理解的图书馆跨模态检索方法

本发明涉及图书馆信息检索和跨模态人工智能，具体为一种基于语义理解的图书馆跨模态检索方法。

背景技术：

1、图书馆馆藏资源日益呈现多模态化特征，包含图书封面图像、摘要文本、作者音频片段以及目录结构图像等多种形式。用户查询时往往需要跨模态获取相关信息，现有图书馆跨模态检索方法主要依赖将不同模态数据映射至公共特征空间，通过计算特征相似度完成检索。这类方案普遍存在对深层语义关系刻画不足的问题，难以揭示查询意图与资源内容之间隐含的因果逻辑，检索结果仅停留在表层相关性匹配层面。另一缺陷在于，多模态数据在特征提取过程中彼此孤立，图像、文本、音频和结构图像各自独立处理，缺少一种能承载跨模态细粒度语义关联的统一表征结构，导致不同模态间的互补信息难以充分融合与利用。随着用户对检索深度和精度的要求不断提高，以相似性为中心的检索范式在应对复杂查询、隐含意图和多跳语义推理时表现出明显局限。因此，如何构建能够集成多元模态并保留丰富语义关联的知识表示，以及如何从因果关联角度出发挖掘查询与资源之间的深层匹配关系，成为该技术方向亟待解决的问题。

技术实现思路

1、本发明旨在提供一种基于语义理解的图书馆跨模态检索方法，解决现有方法多模态语义割裂和缺乏因果推理能力的问题，实现异构图书馆资源的统一语义表征与深层关联发现，提升跨模态检索的准确性和可解释性。

2、为了实现上述目的，本发明提供如下技术方案：本发明提供一种基于语义理解的图书馆跨模态检索方法，所述方法包括：

3、获取用户查询文本与图书馆多模态资源库，所述多模态资源库包括图书封面图像、摘要文本、作者音频片段和目录结构图像；

4、对所述用户查询文本和所述多模态资源库中的每个资源执行多维语义图构建处理，生成查询语义图与每个资源对应的资源语义图；

5、调用预训练的因果推断网络模型对所述查询语义图与所述资源语义图进行跨模态因果关联推理处理，生成资源关联度矩阵；

6、基于所述资源关联度矩阵对所述多模态资源库进行根因子图检索处理，生成目标检索结果集。

7、作为本发明的一个优选技术方案，所述多维语义图构建处理包括：对所述用户查询文本进行意图实体抽取处理，得到查询意图实体集合；对所述多模态资源库中每个资源的封面图像执行视觉语义分割处理，得到图像区域语义标签集合；对每个资源的摘要文本执行句法依存解析处理，得到文本语义角色序列；对每个资源的作者音频片段执行声纹情感标注处理，得到情感韵律特征向量；对每个资源的目录结构图像执行层级结构识别处理，得到章节语义树；将所述查询意图实体集合作为节点，将实体间的语义关联作为边，构建所述查询语义图；将所述图像区域语义标签集合、所述文本语义角色序列、所述情感韵律特征向量和所述章节语义树作为多类型节点，将不同类型节点间的语义相似度作为边，构建所述资源语义图。通过将图书馆中图像、文本、音频、结构图像等异构资源统一表达为多维语义图，实现了对不同模态资源内容的结构化语义抽取与对齐，为跨模态深层关联推理提供了统一的图结构基础。

8、进一步地，所述调用预训练的因果推断网络模型对所述查询语义图与所述资源语义图进行跨模态因果关联推理处理，生成资源关联度矩阵，包括：对所述查询语义图进行图嵌入编码处理，得到查询语义嵌入向量；对所述资源语义图进行图嵌入编码处理，得到资源语义嵌入向量；将所述查询语义嵌入向量和所述资源语义嵌入向量输入所述因果推断网络模型的跨模态对比学习层进行交互匹配处理，生成初始匹配得分向量；通过所述因果推断网络模型的因果路径发现层对所述初始匹配得分向量进行多跳因果路径挖掘处理，生成所述资源关联度矩阵，所述资源关联度矩阵中的每个元素表示所述用户查询文本与所述多模态资源库中一个资源之间的因果关联强度评分。该方案以因果推断替代传统的相关性匹配，能够挖掘查询意图与资源内容之间的多跳因果链条，显著提升跨模态检索结果的可解释性与可靠性。

9、作为本发明的一种优选实施方式，所述图嵌入编码处理包括：对所述查询语义图进行子图采样处理，得到多个查询子图；调用预训练的图注意力网络模型对每个所述查询子图进行异构节点聚合处理，生成查询子图特征向量；对各个所述查询子图特征向量进行层级池化处理，得到所述查询语义嵌入向量，所述层级池化处理包括将各查询子图特征向量按预设的层级结构进行组织，生成多层级特征金字塔，对所述多层级特征金字塔进行逐级降维融合，输出所述查询语义嵌入向量。对于资源语义图采用同样的图嵌入编码方式得到资源语义嵌入向量。通过子图采样与层级金字塔式融合，有效捕捉语义图的局部细粒度特征与全局结构特征，增强嵌入向量的表达能力和区分度。

10、作为本发明的一个优选技术方案，所述交互匹配处理包括：计算所述查询语义嵌入向量与所述资源语义嵌入向量之间的余弦相似度，生成基础相似度特征；对所述查询语义嵌入向量和所述资源语义嵌入向量执行向量外积运算处理，生成交互特征矩阵；将所述基础相似度特征与所述交互特征矩阵进行注意力联合嵌入处理，生成联合嵌入特征向量；通过所述因果推断网络模型的全连接分类层对所述联合嵌入特征向量进行匹配度评分处理，生成所述初始匹配得分向量。该方案融合了一阶线性相似与高阶非线性交互信息，并对不同交互特征进行注意力加权，提高了跨模态细粒度匹配的精度和鲁棒性。

11、优选地，所述基于所述资源关联度矩阵对所述多模态资源库进行根因子图检索处理，生成目标检索结果集，包括：对所述资源关联度矩阵进行阈值过滤处理，筛选出关联度评分高于预设阈值的候选资源标识列表；对所述候选资源标识列表中每个候选资源标识，提取其对应的资源语义图中的关键因果节点序列；调用预训练的路径推理模型对所述关键因果节点序列进行语义连贯性校验处理，生成校验通过节点序列；将所述校验通过节点序列与所述查询语义图进行子图匹配处理，生成所述目标检索结果集，所述目标检索结果集包含与用户查询文本语义因果关联最紧密的图书馆资源信息。通过根因子图结构的约束过滤与路径推理校验，能够有效去除语义割裂或不连贯的资源，保证最终返回资源在语义因果层面的高度一致性。

12、进一步地，所述语义连贯性校验处理包括：将所述关键因果节点序列输入所述路径推理模型的序列编码器进行节点位置编码处理，生成编码节点序列；调用所述路径推理模型的条件随机场层对所述编码节点序列进行标签转移概率计算处理，生成节点连贯性概率分布；基于所述节点连贯性概率分布从所述关键因果节点序列中剔除概率低于预设阈值的节点，得到所述校验通过节点序列。利用条件随机场对节点序列的全局连贯性进行建模，能够精准识别并滤除因果链中的噪声节点，提高后续子图匹配的准确率。

13、更进一步地，所述子图匹配处理包括：对所述校验通过节点序列进行子图重构处理，生成候选资源子图；计算所述候选资源子图与所述查询语义图之间的结构相似度评分和语义相似度评分；对所述结构相似度评分和所述语义相似度评分进行加权求和处理，得到综合匹配评分；基于所述综合匹配评分对所述候选资源标识列表中的资源进行排序处理，选取排序前n个资源作为所述目标检索结果集。通过结构相似度和语义相似度的联合评估，使检索结果排序更贴合用户的实际信息需求，提升多模态资源的命中效果。

14、作为本发明的另一优选方案，所述预训练的因果推断网络模型的构建方法包括：获取跨模态样本数据集，每组样本数据包括样本查询文本、样本多模态资源及对应的样本因果关联标签；对所述样本查询文本和所述样本多模态资源中的每个资源分别执行所述多维语义图构建处理，得到样本查询语义图和样本资源语义图；对所述样本查询语义图和所述样本资源语义图分别进行所述图嵌入编码处理，得到样本查询嵌入向量和样本资源嵌入向量；将所述样本查询嵌入向量和所述样本资源嵌入向量输入初始因果推断网络，所述初始因果推断网络包括跨模态对比学习层和因果路径发现层，通过所述跨模态对比学习层输出初始样本匹配得分向量，通过所述因果路径发现层输出样本资源关联度预测矩阵；基于所述样本资源关联度预测矩阵和所述样本因果关联标签计算联合损失函数值，对所述初始因果推断网络进行反向传播和参数迭代更新，直至收敛，得到所述预训练的因果推断网络模型。通过有监督的因果标签指导，使模型学习到从语义图到因果关联强度的准确映射，保证了推理结果的真实性。

15、进一步优选地，所述方法还包括：解析所述目标检索结果集中每个检索结果对应的资源语义图，提取资源语义图中的模态类型节点分布；基于所述模态类型节点分布生成跨模态检索反馈信号，所述跨模态检索反馈信号用于指示检索结果中各模态资源对用户查询的贡献比例；将所述跨模态检索反馈信号和所述资源关联度矩阵输入策略优化网络模型进行强化学习策略更新处理，生成更新后的因果推断网络模型参数，具体包括：将所述跨模态检索反馈信号编码为奖励值向量；将所述奖励值向量与所述资源关联度矩阵进行特征拼接处理，生成状态特征向量；调用所述策略优化网络模型的策略梯度计算层对所述状态特征向量进行梯度下降计算处理，生成模型参数更新量；利用所述模型参数更新量对所述因果推断网络模型的权重参数进行批归一化调整处理，生成所述更新后的因果推断网络模型参数。该反馈更新机制使因果推断网络能够根据真实的多模态贡献分布持续进行强化优化，从而动态适应图书馆资源库的更新以及用户检索行为的变化，长时间保持高水平的跨模态检索性能。

16、在上述技术方案中，本发明提供的技术效果和优点：

17、通过将查询文本与多模态资源分别转化为多维语义图，从查询文本中抽取意图实体集合作为节点，并依据实体间语义关系生成边，对图书封面图像执行视觉语义分割形成图像区域语义标签，对摘要文本执行句法依存解析生成文本语义角色序列，对作者音频片段进行声纹情感标注得到情感韵律特征向量，以及对目录结构图像实施层级结构识别构建章节语义树，将这些来自不同模态的语义元素统一作为多类型节点，并按其间的语义相似度连接跨模态边，最终构建出查询语义图和资源语义图。该图结构能将分散的模态语义规整为以实体、关系和属性为骨架的统一表征，保留了图像区域语义标签与文本语义角色之间的细粒度对应、情感韵律特征与章节语义树的上下文关联，消除了传统方案中模态信息孤立处理的隔阂，使得后续推理可以直接在蕴含多模态知识的语义图空间进行，显著增强了图书馆多模态资源语义理解的完整性和结构化程度。

18、在获得查询语义图与资源语义图后，通过图嵌入编码将其压缩为向量表达，送入因果推断网络模型中的跨模态对比学习层计算交互特征并生成初始匹配评分，再由因果路径发现层对初始匹配得分进行多条因果路径挖掘，得到资源关联度矩阵，该矩阵中的每个元素反映查询与对应资源之间的因果关联强度。随后依据资源关联度矩阵进行阈值过滤得到候选资源标识列表，提取候选资源对应的关键因果节点序列，调用路径推理模型检验序列的语义连贯性，剔除连贯性低的节点，再对校验后的节点序列与查询语义图实施子图匹配，综合结构相似度和语义相似度评分排序输出目标检索结果集。该过程超越了基于相关性的浅层匹配，通过显式的因果路径发现和多跳推理，从海量资源中筛选出与查询存在因果语义链条的内容，降低了无效匹配比例，使检索结果更具可解释性，适应复杂查询场景下的深层语义检索需求。