一种基于双向语义文本化的档案跨模态检索方法及装置与流程

本申请涉及检索，尤其涉及一种基于双向语义文本化的档案跨模态检索方法及装置。

背景技术：

1、随着数字档案信息化建设的不断深入，档案资源的载体形式逐步由传统单一文本纸质档案，向文本、图像、音频、视频共存的多模态数字化档案形态转变，海量异构、多源混杂的多模态档案数据已成为档案管理的主要数据载体。在智慧档案建设场景中，用户的检索查询方式也愈发多元化，不再局限于传统文本检索，时常存在图片、语音、短视频等非文本检索需求，这对档案检索系统的跨模态适配能力、语义理解能力与多源资源统一检索能力提出了更高的要求。现阶段各类档案检索系统已基本实现数字化档案的存储与基础检索功能，能够满足简单的文本关键词匹配检索需求，在常规档案查阅、资料调取场景中得到广泛应用。

2、现有档案检索技术大多采用单模态关键词匹配或底层视觉、音频特征比对的检索方式，存在明显的技术局限性，无法适配当前多模态档案的智能检索需求。传统检索模式仅能实现字面关键词的精准匹配，无法理解档案数据的深层语义信息，极易因表述差异、术语不统一、语义歧义等问题出现漏检、误检情况，查全率与查准率较低；同时不同模态档案的特征空间相互独立，模态异构壁垒导致跨模态关联检索难以实现，无法支撑用户多模态查询与跨模态资源联动输出的检索场景。此外，现有技术通常依赖复杂的多模态向量空间对齐与端到端深度学习训练，缺乏针对档案行业规范的语义增强与校正机制，通用模型生成的语义描述专业性不足、贴合业务度差，需要大规模标注数据与高昂算力支撑，工程落地难度大、部署运维成本高，难以适配档案领域标注数据稀疏、业务规范性强的现实约束。进一步制约了多模态档案资源的智能化检索与深度挖掘利用效率。

技术实现思路

1、有鉴于此，本申请实施例提供了一种基于双向语义文本化的档案跨模态检索方法及装置，通过构建资源处理侧与检索侧双向语义文本化通道，将异构多模态档案资源与用户多模态查询请求统一映射至档案领域规范化语义文本空间，消除多模态数据语义异构壁垒，依托bm25算法实现深层语义跨模态智能检索，适配多样化档案检索场景，有效提升了多模态档案检索精准度与资源利用效率。

2、本申请实施例的技术方案是这样实现的：

3、第一方面，本申请实施例提供一种基于双向语义文本化的档案跨模态检索方法，包括以下步骤：

4、对接收的多模态原始档案数据进行预处理，得到标准化档案资源；

5、对所述标准化档案资源依据模态类型进行差异化语义文本化处理，生成符合档案业务规范的结构化增强语义文本；

6、存储所述结构化增强语义文本，并基于倒排索引构建多模态档案检索索引；

7、接收用户多模态查询请求，对查询模态进行模态识别与语义文本转换，通过深度语义解析与优化处理，生成规范化文本检索指令；

8、将所述规范化文本检索指令匹配所述多模态档案检索索引，计算相关性得分，筛选满足预设相似度阈值的候选档案资源并生成多模态检索结果。

9、第二方面，本申请实施例还提供一种基于双向语义文本化的档案跨模态检索装置，所述装置包括：

10、预处理模块，用于对接收的多模态原始档案数据进行预处理，得到标准化档案资源；

11、语义文本转换模块，用于对所述标准化档案资源依据模态类型进行差异化语义文本化处理，生成符合档案业务规范的结构化增强语义文本；

12、索引构建模块，用于存储所述结构化增强语义文本，并基于倒排索引构建多模态档案检索索引；

13、查询模态识别与转换模块，用于接收用户多模态查询请求，对查询模态进行模态识别与语义文本转换；

14、查询语义解析与优化模块，用于通过深度语义解析与优化处理，生成规范化文本检索指令；

15、检索匹配与结果输出模块，用于将所述规范化文本检索指令匹配所述多模态档案检索索引，计算相关性得分，筛选满足预设相似度阈值的候选档案资源并生成多模态检索结果。

16、第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行第一方面任一项所述的基于双向语义文本化的档案跨模态检索方法。

17、第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行第一方面任一项所述的基于双向语义文本化的档案跨模态检索方法。

18、本申请实施例具有以下有益效果：

19、通过构建资源处理侧差异化语义文本化、基于倒排索引结构预计算bm25排序所需参数、检索侧多模态统一转换与深度语义解析、量化相关性匹配及阈值筛选输出的完整闭环检索链路，将原本底层特征异构、语义割裂的文本、图像、音频、视频多模态档案资源，以及用户多样化的多模态检索请求，统一映射至档案领域规范化的语义文本空间，彻底规避了传统档案检索依赖浅层关键词匹配、低层特征比对所导致的模态壁垒与语义鸿沟问题；通过先标准化档案资源、再经差异化语义文本化与领域知识增强统一语义表征、基于倒排索引结构预计算bm25排序参数、深度语义级解析查询、量化匹配筛选的递进式技术架构，实现了档案检索从人工粗粒度著录、字面精准匹配向机器全自动细粒度语义理解、跨模态关联检索的范式升级，有效兼容各类模态档案与各类模态查询输入，稳定输出语义关联可靠、覆盖维度全面的多模态检索结果，在大幅提升多模态档案检索查全率与查准率的同时，无需依赖大规模标注数据与复杂多模态对齐训练模型，依托差异化的提示工程技术与成熟bm25文本检索引擎即可实现跨模态统一检索落地，简化了跨模态智能检索的工程落地难度，降低了多模态档案统一检索的部署与运维成本，显著提升了数字档案多模态资源的智能化检索能力与综合利用效能。

1.一种基于双向语义文本化的档案跨模态检索方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述对所述标准化档案资源依据模态类型进行差异化语义文本化处理，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于倒排索引构建多模态档案检索索引，包括：

4.根据权利要求1所述的方法，其特征在于，所述对查询模态进行模态识别与语义文本转换，包括：

5.根据权利要求1所述的方法，其特征在于，所述通过深度语义解析与优化处理，生成规范化文本检索指令，包括：

6.根据权利要求3所述的方法，其特征在于，所述预计算bm25排序所需参数，包括：

7.根据权利要求1所述的方法，其特征在于，所述筛选满足预设相似度阈值的候选档案资源并生成多模态检索结果，包括：

8.一种基于双向语义文本化的档案跨模态检索装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一项所述的基于双向语义文本化的档案跨模态检索方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的基于双向语义文本化的档案跨模态检索方法。