水电技术标准多模态对齐与关系拓扑构建方法与流程

本发明属于计算机信息处理方法，具体涉及水电技术标准多模态对齐与关系拓扑构建方法。

背景技术：

1、随着水电工程数字化与智能化建设的推进，水电技术标准已广泛应用于工程规划、设计、施工及运行维护等环节。此类标准文件通常篇幅较长，并同时包含条文文本、技术指标表、计算公式、工程图示等多种信息载体，不同标准文件及其章节之间还存在引用、上下位衔接、指标互补和指标冲突等关联关系。如何对上述内容进行结构化处理并支持跨文件关联检索，已成为水电技术标准数字化管理中的重要技术问题。

2、现有非结构化文档解析技术通常分别对文本、表格、公式或图像进行识别和转换，主要输出文本片段、表格数据或图像文件。由于缺少对原始版面位置及上下文语义的联合利用，转换后的图表、公式等非文本要素容易与其对应的条文说明失去关联，出现要素错配、关联缺失或结构信息不完整的情况，难以形成保留原有条文组织关系的多模态结构化数据。

3、现有标准管理和检索系统多以文件目录、关键词或单条文本相似度为主要组织依据，对跨文件、跨章节条文之间的引用、上下位衔接、指标互补及指标冲突等关系缺少统一的识别和表示方式。因此，涉及同一技术对象的相关条文难以自动聚合，重复或互补内容不易建立关联，存在差异的技术指标也难以被自动定位并保留其来源、版本及适用范围，影响标准内容的一致性核查和关联追溯。

4、此外，现有向量化检索方法通常以孤立条文的文本语义作为编码对象，较少利用条文在标准体系中的关系类型、邻接节点及引用路径等拓扑信息。由此生成的向量主要反映字面语义相似性，难以同时表征条文在跨文件标准网络中的逻辑位置。当用户检索某一技术要求时，系统可能只能返回字面相近的条文，难以进一步扩展获得与其存在引用、互补、上下位或冲突关系的相关条文及其关联的表格、公式或图示信息。

技术实现思路

1、本发明的目的在于提供水电技术标准多模态对齐与关系拓扑构建方法，解决了现有水电技术标准多模态信息割裂与跨标准关系缺失的问题。

2、本发明所采用的技术方案是：水电技术标准多模态对齐与关系拓扑构建方法，包括以下步骤：

3、步骤1、输入水电技术标准源文件，提取文本、表格及图像多模态要素并按原始排版空间坐标映射对齐，输出全要素结构化条文数据集；

4、步骤2、将数据集输入预训练关系抽取模型，识别跨文件显隐性依存关系并赋予标签，生成关联矩阵并构建图结构，清洗冗余并标注指标冲突，输出语义逻辑拓扑网络；

5、步骤3、联合数据集与拓扑网络，采用双路联合编码生成文本语义向量与拓扑结构向量，再进行融合生成综合语义拓扑向量并写入向量数据库，完成知识网络构建。

6、本发明的特点还在于，

7、步骤1具体包括以下步骤：

8、步骤1.1、调用基于多任务卷积神经网络的版面分析算法，将水电技术标准源文件的页面划分为文本块、表格块以及包含专业工程图示的图像块，为划分出的每个物理区块分配唯一的全局id，并记录每个物理区块在源文件页面中的绝对像素坐标范围；

9、步骤1.2、利用光学字符识别算法对文本块进行像素流字符映射，提取纯文本字符串；利用基于交叉线检测的表格结构解析算法识别表格块的行列物理交点，将表格转化为二维矩阵形式的字符流；将图像块输入二级卷积特征提取网络进行自适应池化，输出固定维度的图像核心特征向量；

10、步骤1.3、设为非文本区块索引、为文本条文区块索引，和分别为两区块的中心点坐标，和分别为基于绝对像素坐标范围得到的两区块的外接矩形面积，和分别为非文本区块的上下文说明文字语义向量与文本条文区块的语义向量，通过公式（3）计算非文本区块与文本条文区块之间的空间语义对齐得分：

11、（3）

12、式中，为两区块中心点在版面上的欧氏距离，为距离缩放调节因子，为两区块外接矩形的交并比，为条文文本与图表上下文说明文字的语义余弦相似度；

13、之后选择得分最高的对齐组合进行映射绑定，输出全要素结构化标准条文数据集。

14、步骤2具体包括以下步骤：

15、步骤2.1、将步骤1输出的全要素结构化标准条文数据集输入预训练的自然语言处理关系抽取模型中，利用双向自注意力机制捕获长篇幅文本间的依赖，识别跨文件、跨章节条文之间的显性引用关系和隐性技术衔接关系；

16、步骤2.2、将识别出的显隐性关联特征输入至全连接层分类器，映射为离散的关系概率分布：

17、（5）

18、式中，为关系分类器的可学习权重矩阵，和分别为条文节点和关联条文节点的上下文注意力表征；

19、再根据最大概率赋予对应的技术依存关系标签，汇总所有条文间的标签关系生成条文关联矩阵，其中矩阵元素；

20、步骤2.3、以条文关联矩阵为拓扑基础构建初始图结构数据，将全要素结构化标准条文数据作为图节点，技术依存关系标签作为有向边，遍历初始图结构数据，当发现两个图节点和之间的有向边标签为指标冲突时，触发冲突清洗操作函数，在两个图节点和上挂载冲突标记属性，通过保留冲突源头并挂载标记的方式实现冗余数据清洗与去重，重构生成标准语义逻辑拓扑网络：

21、（6）

22、式中，为指标冲突关系标签。

23、步骤2.2中的技术依存关系标签包括上下位衔接、引用、指标互补及指标冲突。

24、步骤3具体为：将步骤1输出的全要素结构化标准条文数据集与步骤2输出的标准语义逻辑拓扑网络联合输入双路联合编码模块，采用双路联合编码生成文本语义向量与拓扑结构向量，再进行融合生成综合语义拓扑向量并写入向量数据库，完成水电技术标准知识网络构建。

25、在双路联合编码模块的内容编码路径中，对于任意一个条文节点，利用预训练的文本嵌入算法对条文节点包含的纯文本、结构化表格以及图像特征向量进行直接拼接，生成文本语义向量：

26、（7）。

27、在双路联合编码模块的拓扑编码路径中，利用图卷积网络算法在标准语义逻辑拓扑网络中聚合条文节点的邻居特征，抽取条文节点在知识网络中的空间拓扑结构向量：

28、（8）

29、式中，为激活函数，为第

l层的可学习拓扑权重矩阵，表示与条文节点存在直接依存关系的邻居条文节点集合，为引入自环后的节点度矩阵，为邻居条文节点的文本语义向量。

30、通过公式（9）将文本语义向量与拓扑结构向量合并重构为综合语义拓扑向量，将综合语义拓扑向量写入向量数据库：

31、（9）

32、式中，为基于节点出入度的自适应自标定系数。

33、本发明的有益效果是：本发明的水电技术标准多模态对齐与关系拓扑构建方法，通过基于原始版面坐标与上下文语义的多模态区块对齐、跨文件条文关系识别与拓扑构建，以及图拓扑感知与条文语义双路联合编码，实现文本、图表和公式全要素的无损转化，跨文件与跨章节条文复杂依存关系的深度识别，以及具备行业机理和逻辑链条特征的关系拓扑重构。从而一并解决现有技术中多模态要素信息割裂、标准数据冗余冲突与信息孤岛并存、以及向量化机制缺乏拓扑特征感知导致下游系统难以精准推理的问题。