用于解析多模态科技文献的方法、设备、介质、产品与流程

本申请涉及人工智能领域，特别是涉及一种用于解析多模态科技文献的方法、设备、介质、产品。

背景技术：

1、科技文献通常同时包含正文段落、标题、图表、公式、公式符号、脚注、图表题注以及正文中对图表或公式的引用说明。与普通文本文件相比，科技文献中的图表和公式等具有较强的排版依赖性和领域差异性。例如，化学文献中的分子式、反应式和实验数据表格等、物理或工程文献中的公式、单位和电路符号等、医学文献中的统计表和图示说明，均可能具有不同的符号体系、表格层级和语义表达方式。

2、现有的文献解析方法通常可以对页面文字、表格区域或公式区域进行检测，也可以输出一定形式的文本、表格或公式识别结果。但是，现有方法在面对跨学科科技文献时，不能根据学科属性输出针对性的识别结果，从而在相应的学科专属特征方面识别准确度较差，例如存在识别出的分子式不符合规范、电路图不符合电路原理等。

技术实现思路

1、本申请提供一种用于解析多模态科技文献的方法、设备、介质及产品，用以改善现有技术中对不同学科科技文献适应性不足、复杂表格结构恢复不完整以及表格或公式识别结果缺少上下文语义校验的问题。

2、所述用于解析多模态科技文献的方法包括步骤：将科技文献输入到预设的解析模型，并提取所述科技文献的特征图；通过所述解析模型的自适应注意力模块，基于所述科技文献的领域标签对所述特征图进行动态重加权以输出领域增强特征图；基于所述领域增强特征图，执行文本检测、表格结构识别、公式符号识别和位置对应关系预测，以分别输出所述科技文献的文本、表格、公式、符号和位置对应关系的结构化数据；以及基于与所述表格和所述公式相关联的文本，对所述表格和所述公式进行语义一致性校验。

3、可选地，所述领域标签包括所述科技文献所属学科的学科大类标签和子领域特征标签。

4、可选地，所述自适应注意力模块包括粗粒度领域层级、细粒度领域层级及元素级符号层级的注意力子网络，所述粗粒度领域层级用于识别所述学科大类标签，所述细粒度领域层级用于识别所述子领域特征标签，所述元素级符号层级用于针对表格、公式中的符号类型调整识别敏感度。

5、可选地，所述表格结构识别包括：沿水平方向遍历单元格，以识别行合并关系；沿垂直方向遍历单元格，以识别列合并关系；维护行列交叉点的状态向量，并基于所述状态向量解析嵌套表头结构；基于所述行合并关系、所述列合并关系和所述嵌套表头结构构建多级表头树状结构。

6、可选地，所述表格结构识别还包括：基于跨页表格的表格列数、表头特征和数据模式生成目标表格的结构特征；基于所述结构特征，计算相邻页面之间表格的相似度；当所述相似度大于预设阈值时，判定所述跨页表格具有连续性，并对所述跨页表格执行结构拼接与断裂处语义补全。

7、可选地，所述语义一致性校验包括：从文本中识别对图表或公式的引用语句；验证所述引用语句中的描述内容与所述图表或公式的内容是否一致；检测不一致的内容并生成修正建议。

8、可选地，所述预处理包括：对所述科技文献进行标准化处理；检测所述科技文献中图像的模糊度、对比度和噪声水平；基于所述模糊度、对比度和噪声水平，进行去噪、锐化或对比度调整中的至少一种。

9、可选地，所述方法还包括：获取基于学科的符号分类数据和合法组合模式；基于符号的上下文，以所述符号分类数据和所述合法组合模式为约束，预测所述符号的符号类型。

10、根据本申请的另一个方面，提供一种电子设备，该设备包括存储有计算机可执行指令的存储器和处理器；当所述指令被处理器执行时，使得该设备实施上述任一项方法。

11、根据本申请的又一个方面，提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述任一项方法。

12、根据本申请的又一个方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述任一项方法。

13、本申请相比于现有技术的技术效果在于：通过在解析模型中引入基于领域标签的自适应注意力模块，可以使模型对不同学科的科技文献进行自适应学习。通过自适应注意力模块，在面对不同学科的科技文献时，可以针对文本、表格、公式和符号等与学科属性关联的数据采用不同的特征权重，从而提高跨领域科技文献解析的适应性。

14、进一步地，通过在表格结构识别中结合行方向遍历、列方向遍历和行列交叉点状态向量，可以更准确地恢复合并单元格、嵌套表头等复杂的表格结构，减少了复杂表格的结构被破坏的概率；通过对跨页表格计算结构特征相似度并进行拼接和语义补全，可以改善表格跨页后结构断裂的问题；通过利用与表格和公式相关联的文本进行语义一致性校验，可以发现引用描述与识别结果之间的冲突，并生成修正建议，从而提高最终结构化数据的可信度和可用性。

1.一种用于解析多模态科技文献的方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述领域标签包括所述科技文献所属学科的学科大类标签和子领域特征标签。

3.根据权利要求2所述的方法，其特征在于，所述自适应注意力模块包括粗粒度领域层级、细粒度领域层级及元素级符号层级的注意力子网络，所述粗粒度领域层级用于识别所述学科大类标签，所述细粒度领域层级用于识别所述子领域特征标签，所述元素级符号层级用于针对表格、公式中的符号类型调整识别敏感度。

4.根据权利要求3所述的方法，其特征在于，所述表格结构识别包括：

5.根据权利要求4所述的方法，其特征在于，所述表格结构识别还包括：

6.根据权利要求5所述的方法，其特征在于，所述语义一致性校验包括：

7.根据权利要求6所述的方法，其特征在于，所述预处理包括：

8.根据权利要求7所述的方法，其特征在于，还包括：

9.一种电子设备，其特征在于，所述设备包括存储有计算机可执行指令的存储器和处理器；当所述指令被所述处理器执行时，使得所述设备实施根据权利要求1至8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至8中任一项所述的方法。

11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法。