一种融合政策语料库的电力政策数据信息检索方法与流程

摘要: 本发明涉及电力政策信息检索,具体为一种融合政策语料库的电力政策数据信息检索方法。背景技术:1、电力政策数据信息检索通常以用户输入的查询文本为处理对象,依靠分词、...
一种融合政策语料库的电力政策数据信息检索方法与流程

本发明涉及电力政策信息检索,具体为一种融合政策语料库的电力政策数据信息检索方法。

背景技术:

1、电力政策数据信息检索通常以用户输入的查询文本为处理对象,依靠分词、关键词匹配、倒排索引和文本相似度计算等手段,从政策语料库中召回包含查询词的政策条款。由于电力政策文本中同一政策行为存在多种术语表达方式,部分检索系统引入同义词词典或词向量扩展查询词,以缓解词面不匹配造成的漏检。然而,电力政策语言具有明显的谓词-论元结构和层级嵌套特征,核心谓词支配的语义角色以及句法框架携带政策行为发生条件、对象和范围等信息,单纯基于词义相似度或共现统计的扩展方法容易忽略这些句法约束,扩展出的术语可能与原查询在句法结构上不兼容,导致召回结果偏离查询意图。同时,政策条款本身具有时间效力和地域适用范围属性,已废止、尚未生效或仅适用于特定行政区域的政策条款不应出现在针对特定时间和地域条件的查询结果中。现有检索流程通常将关键词匹配得分作为排序依据,未在召回后对政策条款的时间效力和地域适用范围与查询约束进行逻辑层面校验,检索结果中混入时间失效或地域不适用的政策条款,需要用户逐条甄别。围绕上述问题,需要在查询扩展环节引入依存句法结构信息,使扩展检索词在语义等价的基础上保持与原查询句法骨架的对应,并在检索结果确定后对政策条款的时间效力条件和地域适用范围条件进行逻辑对齐校验,以过滤与查询约束不一致的政策条款。

技术实现思路

1、针对电力政策数据检索中查询扩展忽略句法结构导致语义漂移,以及检索结果未校验政策条款时间效力和地域适用范围的问题,本发明提供一种融合政策语料库的电力政策数据信息检索方法,对待检索电力政策文本进行依存句法分析并构建语义骨架树,在政策语料库中匹配语义等价且句法结构相似的政策术语作为扩展检索词,生成候选查询语句并通过倒排索引检索,根据初步检索结果集的交集和并集比例确定最优查询语句,再从命中的政策条款中抽取时间效力条件和地域适用范围条件,与查询约束条件进行逻辑对齐校验,滤除不满足约束的政策条款,获得与查询意图在句法、时间和地域维度上一致的检索结果集。

2、为了实现上述目的,本发明提供如下技术方案:一种融合政策语料库的电力政策数据信息检索方法,包括:

3、获取待检索电力政策文本,进行依存句法分析,提取核心谓词及其支配的语义角色成分,构建以所述核心谓词为根节点的语义骨架树;根据语义骨架树中各节点的语义角色类型,从政策语料库中匹配与核心谓词语义等价的政策术语集合,计算所述政策术语集合中每个术语与所述语义骨架树的句法结构相似度,选取超过预设阈值的政策术语作为扩展检索词;以所述待检索电力政策文本中未被扩展检索词覆盖的剩余词汇为基准,对所述扩展检索词进行同义替换,生成若干组候选查询语句;将若干组所述候选查询语句分别输入政策语料库的倒排索引中进行检索,获取每组候选查询语句对应的初步检索结果集,计算各初步检索结果集之间的交集和并集比例,根据所述交集和并集比例确定最优查询语句;根据最优查询语句定位政策条款文本,从中抽取时间效力条件和地域适用范围条件,将所述时间效力条件和地域适用范围条件与所述待检索电力政策文本中的查询约束条件进行逻辑对齐校验,滤除不满足逻辑对齐校验的政策条款,得到检索结果集。

4、作为本发明的一个优选技术方案,所述构建以所述核心谓词为根节点的语义骨架树,具体包括:对所述待检索电力政策文本进行分句处理,对每个分句进行词性标注和依存句法分析,生成每个分句的依存关系图;在所述依存关系图中定位具有根节点属性的核心谓词,查找所述核心谓词直接支配的第一层依存子节点,根据所述第一层依存子节点的依存关系标签确定语义角色类型;将所述核心谓词作为根节点,将所述第一层依存子节点作为所述根节点的直接子节点,将每个直接子节点作为子树根节点,递归查找每个子树根节点直接支配的下层依存子节点,生成以所述核心谓词为根节点的语义骨架树。通过该方式能够保留政策文本中核心谓词与各语义角色成分的层级关系,为后续扩展检索提供结构化句法信息。

5、作为本发明的一个优选技术方案,所述根据语义骨架树中各节点的语义角色类型,从政策语料库中匹配与核心谓词语义等价的政策术语集合,具体包括:在政策语料库中预设的政策术语词典中查找与所述核心谓词具有相同语义角色类型且词义相似度大于阈值的术语作为候选等价术语;对于每个候选等价术语,计算该候选等价术语在政策语料库中的上下文共现向量,计算所述核心谓词在所述语义骨架树中的子节点类型分布向量,将所述上下文共现向量与所述子节点类型分布向量的余弦相似度作为该候选等价术语的语义等价置信度;选取语义等价置信度最高的前若干位候选等价术语构成所述政策术语集合。通过语义角色、词义相似度和上下文共现向量的多重约束,能够筛选出与核心谓词在政策语境下语义等价性更高的术语。

6、作为本发明的一个优选技术方案,所述计算所述政策术语集合中每个术语与所述语义骨架树的句法结构相似度,具体包括:对于所述政策术语集合中的每个术语,从政策语料库中提取包含该术语的典型例句,对所述典型例句进行依存句法分析,生成该术语在典型例句中的例句依存子图;将所述例句依存子图与所述语义骨架树进行图编辑距离计算,以图编辑距离的倒数作为该术语与所述语义骨架树的句法结构相似度。在图编辑距离计算中,节点和边的插入、删除及替换操作分别赋予基于语义角色类型和依存关系标签的差异化权重,使相似度计算结果更符合政策文本的句法语义差异,减少扩展检索词的句法结构误匹配。

7、作为本发明的一个优选技术方案,所述以所述待检索电力政策文本中未被扩展检索词覆盖的剩余词汇为基准,对所述扩展检索词进行同义替换,生成若干组候选查询语句,具体包括:在政策语料库中对所述扩展检索词进行词义消歧,确定所述扩展检索词在当前上下文中的当前义项,根据所述当前义项从同义词词典中获取该义项下的同义替换词列表;以所述待检索电力政策文本中未被扩展检索词覆盖的剩余词汇作为固定词,将所述扩展检索词替换为所述同义替换词列表中的词,每次替换一组扩展检索词生成一组候选查询语句,遍历同义替换组合生成若干组候选查询语句。通过词义消歧和义项级同义替换,能够避免同义替换过程中的语义漂移,同时保持未扩展部分的原始约束不变。

8、作为本发明的一个优选技术方案,所述将若干组所述候选查询语句分别输入政策语料库的倒排索引中进行检索,获取每组候选查询语句对应的初步检索结果集,计算各初步检索结果集之间的交集和并集比例,根据所述交集和并集比例确定最优查询语句,具体包括:对于任意两组候选查询语句对应的初步检索结果集,计算该两组初步检索结果集的交集文档数量与并集文档数量的第一比例,若所述第一比例大于第一阈值则将该两组候选查询语句归入同一查询组;计算每个查询组内所有候选查询语句对应的初步检索结果集的交集文档数量与该查询组并集文档数量的第二比例,选取第二比例最大的查询组中检索结果数量最多的候选查询语句作为最优查询语句。所述第一阈值根据政策语料库中文档总数和平均检索结果数量的比值动态调整。通过分组和比例比较,能够从多组候选查询语句中筛选出检索结果重合度和区分度更优的查询表达。

9、作为本发明的一个优选技术方案,所述根据最优查询语句定位政策条款文本,从中抽取时间效力条件和地域适用范围条件,具体包括:在政策语料库中检索所述最优查询语句命中政策条款文本的位置,以命中位置为中心向前和向后截取预定长度的上下文窗口,在所述上下文窗口内使用时间表达式识别模板抽取时间效力条件;在所述政策条款文本的标题层级和正文首句中匹配地域关键词词典,抽取地域适用范围条件,并将所述地域适用范围条件与政策条款文本的发布机构地域属性进行交叉验证。通过上下文窗口和交叉验证,能够提高时间效力条件和地域适用范围条件的抽取准确率,减少因政策文本表述不规范导致的抽取错误。

10、作为本发明的一个优选技术方案,所述将所述时间效力条件和地域适用范围条件与所述待检索电力政策文本中的查询约束条件进行逻辑对齐校验,具体包括:将所述待检索电力政策文本中的查询约束条件拆分为时间约束子句和地域约束子句,分别提取所述时间约束子句和地域约束子句中的时间区间算子和地域层级算子;将所述时间效力条件中的生效日期和失效日期与所述时间区间算子进行比较,判定时间效力条件是否满足时间约束子句;将所述地域适用范围条件中的地域层级与所述地域层级算子进行层级包含关系判定,判定地域适用范围条件是否满足地域约束子句,仅在时间效力条件和地域适用范围条件均满足对应约束时通过逻辑对齐校验。通过上述时间效力和地域适用的双重校验,能够滤除不符合查询时效和地域约束的政策条款,使最终检索结果集与查询约束条件保持一致。

11、上述技术方案通过依存句法分析构建语义骨架树,利用语义角色和句法结构相似度扩展政策术语,通过同义替换生成候选查询语句并以初步检索结果集比例筛选最优查询语句,抽取时间效力条件和地域适用范围条件进行逻辑对齐校验,能够提升电力政策数据检索的语义覆盖度、句法准确性和条款适用性。

12、在上述技术方案中,本发明提供的技术效果和优点:

13、通过对核心谓词及其语义角色成分进行依存句法分析,构建以核心谓词为根节点的语义骨架树,从政策语料库中匹配与核心谓词语义等价的政策术语集合后,计算政策术语在政策语料库中的上下文共现向量与语义骨架树子节点类型分布向量的语义等价置信度,并提取包含该术语的典型例句生成例句依存子图,与语义骨架树进行图编辑距离计算,选取句法结构相似度超过预设阈值的政策术语作为扩展检索词。在对例句依存子图与语义骨架树进行图编辑距离计算时,节点和边的插入、删除及替换操作分别赋予基于语义角色类型和依存关系标签的差异化权重,使句法结构相似度能够体现政策语句中不同句法成分的重要程度差异。该方式将查询扩展从词面或词义维度扩展到句法结构维度,只有在语义角色类型和句法框架上与原查询骨架保持一致的术语才进入扩展检索词集合,避免因同义词替换造成核心谓词支配关系改变或语义角色缺失,使得扩展后的查询语句在政策语料库中能够召回具有不同表层表述但句法结构一致的条款,减少同义表述造成的漏检。在根据最优查询语句定位政策条款文本后,从上下文窗口和政策条款标题层级及正文首句中抽取时间效力条件和地域适用范围条件,将待检索电力政策文本中的查询约束条件拆分为时间约束子句和地域约束子句,提取时间区间算子和地域层级算子,将政策条款的生效日期、失效日期与时间区间算子进行比较,将政策条款的地域层级与地域层级算子进行层级包含关系判定,仅保留时间效力条件和地域适用范围条件均满足对应约束的条款。该方式使检索结果在关键词匹配得分之外,还经过时间效力和地域适用性的逻辑过滤,已失效、未生效或地域层级不匹配的政策条款不会进入最终结果集,减少用户对政策条款有效性和适用范围的逐条人工判断成本。