一种多源异构文本的深度解析与知识提纯方法及系统与流程

摘要: 本发明涉及自然语言处理与知识工程,尤其涉及一种多源异构文本的深度解析与知识提纯方法及系统。背景技术:1、在变电站技术经济评审工作中,需要处理规程规范、设计说明书...
一种多源异构文本的深度解析与知识提纯方法及系统与流程

本发明涉及自然语言处理与知识工程,尤其涉及一种多源异构文本的深度解析与知识提纯方法及系统。

背景技术:

1、在变电站技术经济评审工作中,需要处理规程规范、设计说明书、设备清册、概算文件、前期批复、历史案例、评审意见及专家经验等多种类型的文档资料。上述资料在文件格式、内容结构、表达方式及信息粒度等方面存在较大差异,既包括可编辑文本、扫描文档和复杂表格,也包括篇幅较长、章节层级复杂的技术文件,具有明显的多源异构特征。现有技术多采用文本提取、光学字符识别、关键词检索等方式对上述资料进行局部处理,但在复杂表格、扫描文档及超长文本场景下,容易出现章节层级结构丢失、表格结构损坏、参数字段及上下文关系缺失等问题,导致知识碎片化,难以形成完整、准确的结构化知识。

2、此外,同一工程对象或规范依据在不同文件中可能存在名称、单位和表述方式不一致的情况,使得跨文档信息关联与语义对齐存在困难。当不同文件之间出现数值差异、依据缺失、版本不一致或适用范围异常时,现有方案仍多依赖人工逐一比对和判断,缺乏自动化的一致性校验与冲突检测机制,重复、冲突、失效及低可信度信息也缺乏统一的识别与提纯手段。同时,现有知识库构建方式通常侧重于文档存储或单一向量化索引,知识切分粒度、索引机制、来源标识、版本状态、适用范围及审核状态等缺乏统一规范,导致知识在定位、关联、追溯及更新过程中存在一致性不足和管理困难的问题,进而影响知识检索、任务调用及结果解释的准确性与可靠性。

技术实现思路

1、本发明的目的在于:提供一种多源异构文本的深度解析与知识提纯方法及系统,以解决现有技术中存在的上述技术问题,提高变电站技术经济评审资料的解析、关联、校验及知识组织效率,并提升知识资源的一致性、准确性和可追溯性。

2、为了实现上述目的,本发明采用如下技术方案:一种多源异构文本的深度解析与知识提纯方法,包括以下步骤:

3、s1、获取多源异构文本,并按照文档类型、来源及版本信息对所述多源异构文本进行分类管理,为每份文档配置唯一标识;

4、s2、根据文档类型对所述多源异构文本采用对应的解析方式,提取文本内容、表格结构及语义信息,并对提取的信息进行字段映射及标准化,得到标准化解析结果;

5、s3、以工程对象为核心,对不同文档中的工程对象、参数指标及规范依据进行关联匹配和语义对齐,建立跨文档信息关联关系;

6、s4、对所述跨文档信息关联关系进行一致性校验和冲突检测,识别信息差异、依据缺失及版本不一致,并对问题信息进行处理,得到提纯后的知识数据;

7、s5、对所述提纯后的知识数据进行语义切分、向量化表示和索引构建,建立支持精确检索、语义检索及混合检索的知识访问机制;

8、s6、对所述知识数据的来源文件、位置、版本、适用范围、关联对象及审核状态进行元数据标注和管理,形成支持知识追溯、更新和调用的知识管理体系。

9、通过上述六个步骤的有机结合,实现了从多源异构文本获取到结构化知识管理的完整处理链路,有效解决了知识碎片化、跨文档信息孤岛及知识可信度不足等核心技术问题。

10、进一步地,所述s1具体包括:

11、s1.1:获取变电站技术经济评审过程中涉及的规程规范、设计说明书、设备清册、概算文件、前期批复、历史案例、评审意见及专家经验的多源异构资料;

12、s1.2:依据工程类型、评审阶段、专业范围、文件类别、版本信息及资料来源对所述多源异构资料进行分类,并为每份资料配置唯一文档标识及对应的基础属性信息,对于同一资料存在多个版本的情况,分别记录各版本对应的文档标识、版本号及有效状态;

13、s1.3:建立多源资料分类目录及文档属性映射关系,将所述文档标识与工程属性、专业属性、文件类别、版本信息及资料来源进行关联,形成统一的资料组织结构,为后续文档解析、跨文档关联、一致性校验及知识提纯提供数据基础。

14、进一步地,所述根据文档类型对所述多源异构文本采用对应的解析方式的步骤具体包括:

15、针对可编辑文档直接提取文本内容、标题层级结构及表格结构;

16、针对扫描件采用光学字符识别与版面分析方法提取文本及页面区域信息;针对复杂表格进行单元格结构恢复、跨行跨列识别及跨页合并;

17、针对超长文档按照章节、条文及业务主题进行分层切分,保留原始文档结构及上下文关系。

18、通过针对不同文档类型采用差异化的解析策略,能够最大程度保留原始文档的结构完整性和语义信息,避免知识碎片化。

19、进一步地,所述得到标准化解析结果的步骤还包括:

20、采用基于预训练语言模型的命名实体识别和关系抽取方法,对解析结果中的工程对象、设备名称、参数指标及规范条款进行识别和字段映射;

21、对不同表述方式但语义一致的信息进行术语归一化、同义词映射和单位统一,对数值型参数的单位统一采用换算公式进行转换,其中表示原始参数值,表示对应单位的换算系数,表示标准化后的参数值。

22、通过命名实体识别、关系抽取及术语归一化处理,消除了不同文档在表述方式上的差异,为后续跨文档关联奠定了统一的语义基础。

23、具体地,所述建立跨文档信息关联关系的步骤具体包括:

24、s3.1:以工程对象作为跨文档关联主体,根据工程编码、设备名称、参数字段、章节位置及规范依据等信息设置跨文档关联触发条件,并将满足触发条件的信息单元纳入候选关联范围;

25、s3.2:采用结构化字段匹配、关键词匹配和规则匹配方法对不同文档中的工程对象、关键参数及规范依据进行初步关联,形成候选关联关系;

26、其中,结构化字段匹配用于识别工程编码、设备名称及参数字段等显式对应关系,关键词匹配和规则匹配用于补充识别非完全一致表述下的关联信息;

27、s3.3:采用语义表示模型分别获取候选信息的向量,并计算候选信息之间的语义相似度,相似度计算公式为:

28、

29、其中,和分别表示两个候选信息单元的特征向量,表示两个候选信息单元之间的语义相似度;

30、s3.4:综合结构化字段匹配得分、关键词匹配得分、规则匹配得分及语义相似度得分计算综合关联置信度,计算公式为:

31、

32、其中,表示结构化字段匹配得分,表示关键词匹配得分,表示规则匹配得分,,,,分别表示对应匹配方式的权重,且满足,当综合关联置信度大于预设关联阈值时,判定两个信息单元存在跨文档关联关系。

33、具体地,所述进行一致性校验和冲突检测的步骤具体包括:

34、s4.1:对已建立关联关系的跨文档信息中的数值型参数采用结构化字段比对方法进行一致性校验,参数相对差异计算公式为:

35、

36、其中,和分别表示不同文档中针对同一参数记录的数值,表示两个参数值之间的相对差异,当大于预设差异阈值时,将对应信息标记为数值冲突,并记录对应参数、来源文档及冲突位置;

37、s4.2:对规范依据、设计原则及技术描述定性信息,采用知识检索与大语言模型判断相结合的方式进行一致性分析;将待校验信息与相关规范条款、历史知识及关联文档内容进行检索匹配,并由大语言模型结合检索结果判断不同信息之间是否存在语义不一致、依据缺失或适用范围异常;

38、s4.3:按照预设冲突判定规则,对获得的校验结果进行分类,识别不同文档之间的数值差异、依据缺失、版本不一致、适用范围异常及语义冲突,并记录对应的冲突类型、冲突位置、来源文档及判断依据,形成跨文档冲突检测结果;

39、s4.4:根据一致性校验及冲突检测结果,采用重复检测、规则筛选、置信度评估及冲突消解方法,对重复、冲突、失效及低可信度信息进行筛选、合并、修正或标记,获得提纯后的知识数据;

40、其中,对于待提纯知识,根据知识来源、版本状态、审核状态及跨文档一致性计算知识可信度,计算公式为:

41、

42、其中,表示知识来源可信度,表示版本有效性得分,表示审核状态得分,表示跨文档一致性得分;,和分别表示对应指标的权重,且满足,根据知识可信度与预设可信度阈值的比较结果,对知识数据进行保留、修正、标记或人工复核处理,并将处理结果及对应的来源、版本和审核状态进行记录,得到提纯后的知识数据。

43、通过结构化字段比对与大语言模型双路校验机制,结合多维度知识可信度量化评分,实现了对重复、冲突、失效及低可信度信息的自动化识别与提纯。

44、具体地,所述建立支持精确检索、语义检索及混合检索的知识访问机制的步骤具体包括:

45、s5.1:按照预设知识切分粒度对提纯后的知识数据进行语义切分,将所述知识数据划分为规范条款、工程对象、参数信息、规则信息、案例信息及专家经验等知识单元,并保留各知识单元与原始文档之间的对应关系;

46、s5.2:针对不同知识单元分别建立关键词索引、结构化字段索引及向量索引,其中,关键词索引用于名称、编码及条款编号的精确查询,结构化字段索引用于工程类别、专业类别、设备类型及版本状态的条件筛选,向量索引用于语义相似度检索;

47、s5.3:采用语义表示模型将查询文本和知识单元分别转换为语义向量,计算查询文本与各知识单元之间的语义相似度,计算公式为:

48、

49、其中表示查询文本的语义向量,表示第个知识单元的语义向量,表示查询文本与第个知识单元的语义相似度;

50、s5.4:融合精确检索得分和语义检索得分计算混合检索得分,并根据所述混合检索得分对候选知识进行排序,形成支持精确检索、语义检索和混合检索的知识检索机制,混合检索综合得分计算公式为:

51、

52、其中,表示关键词或结构字段匹配得分,表示语义相似度得分表示精确检索与语义检索之间的融合权重,且,根据混合检索得分对候选知识单元进行降序排序,并将得分满足预设检索阈值的知识单元作为检索结果输出。

53、通过构建关键词索引、结构化字段索引及向量索引三类索引,并引入可调权重的混合检索得分机制,能够同时满足精确匹配、条件筛选和语义相似检索的多样化需求。

54、具体地,所述形成支持知识追溯、更新和调用的知识管理体系的步骤具体包括:

55、s6.1:为每个知识单元配置来源文件、页码或条文位置、文档版本、发布日期、适用范围、关联工程对象、专业类别及审核状态元数据;

56、s6.2:建立知识单元与原始文档、工程对象及关联知识之间的映射关系,并记录知识单元在原始文档中的来源位置,使所述知识单元能够追溯至对应原始文档、具体页码或条文位置及相关工程对象;

57、s6.3:针对具有版本属性的规程规范、批复文件及设计资料建立版本链,记录各版本对应的版本号、生效时间、失效时间、适用范围及版本状态,并建立不同版本知识单元之间的对应关系,以区分当前有效知识与历史版本知识;

58、s6.4:当知识来源文件发生新增、修改或版本更新时,根据元数据关联关系定位受影响的知识单元,并同步更新对应的知识内容、索引状态及版本信息。

59、通过完整的元数据标注体系和版本链管理机制,实现了知识单元从来源到应用的全链路追溯,支持知识库的动态更新与一致性维护。

60、本发明还提供一种多源异构文本的深度解析与知识提纯系统,包括:

61、文档管理模块,用于获取多源异构文本,并按照文档类型、来源及版本信息对所述多源异构文本进行分类管理,为每份文档配置唯一标识;

62、文档解析模块,与所述文档管理模块数据连接,用于根据文档类型对所述多源异构文本采用对应的解析方式,提取文本内容、表格结构及语义信息,并对提取的信息进行字段映射及标准化,得到标准化解析结果;

63、跨文档关联模块,与所述文档解析模块数据连接,用于以工程对象为核心,对不同文档中的工程对象、参数指标及规范依据进行关联匹配和语义对齐,建立跨文档信息关联关系;

64、一致性校验模块,与所述跨文档关联模块数据连接,用于对所述跨文档信息关联关系进行一致性校验和冲突检测,并对重复、冲突、失效或可信度低的信息进行筛选、合并、修正或标记,得到提纯后的知识数据;

65、知识索引模块,与所述一致性校验模块数据连接,用于对所述提纯后的知识数据进行语义切分、向量化表示和索引构建,建立支持精确检索、语义检索及混合检索的知识访问机制;

66、元数据管理模块,与所述知识索引模块数据连接,用于对所述知识数据的来源文件、位置、版本、适用范围、关联对象及审核状态进行元数据标注和管理,形成支持知识追溯、更新和调用的知识管理体系。

67、与现有技术相比,本发明的技术方案具有以下有益效果:

68、1、通过针对可编辑文档、扫描件、复杂表格及超长文档分别制定差异化的解析策略,并结合基于预训练语言模型的命名实体识别、关系抽取及术语归一化处理,有效克服了现有技术在复杂文档场景下章节层级结构丢失、表格结构损坏及参数字段缺失等问题,实现了多源异构文本内容的完整提取与标准化表示,从根本上解决了知识碎片化的技术难题。

69、2、通过构建结构化字段匹配、关键词匹配、规则匹配和语义相似度匹配四级混合匹配机制,并引入综合关联置信度量化评估模型,实现了对不同文档中名称、单位和表述方式存在差异的同一工程对象及规范依据的自动化精准关联,解决了现有技术依赖人工逐一比对、跨文档信息关联困难的技术问题。

70、3、通过将结构化字段比对与大语言模型判断相结合的双路一致性校验机制,并引入基于知识来源可信度、版本有效性、审核状态及跨文档一致性的多维度知识可信度量化评分模型,实现了对数值冲突、依据缺失、版本不一致等问题的自动化检测与提纯,克服了现有技术缺乏统一冲突检测机制的不足,显著提升了知识数据的准确性和可信度。

71、4、通过建立关键词索引、结构化字段索引及向量索引三类并行索引,并引入可调融合权重的混合检索得分机制,同时支持精确检索、条件筛选和语义相似检索三种模式,解决了现有技术单一索引机制检索能力不足的问题,满足了多样化的知识访问需求。

72、5、通过为每个知识单元配置完整的元数据并建立版本链管理机制,实现了知识单元从来源文档到具体条文位置的全链路追溯,以及知识库随来源文件变更的动态同步更新,解决了现有技术知识来源标识不规范、版本管理缺失导致的知识一致性不足和管理困难问题。