异构政策文件双向一致性检测方法及系统与流程

摘要: 本技术涉及自然语言处理,尤其涉及一种异构政策文件双向一致性检测方法及系统。背景技术:1、政策一致性分析通常需要在上位政策与地方政策、不同地区的同类政策或者同一政...
异构政策文件双向一致性检测方法及系统与流程

本技术涉及自然语言处理,尤其涉及一种异构政策文件双向一致性检测方法及系统。

背景技术:

1、政策一致性分析通常需要在上位政策与地方政策、不同地区的同类政策或者同一政策的不同版本之间建立条款对应关系。现有计算机处理方案多采用文本切分、向量编码、相似度检索和固定阈值分类的流程,将相似度较高的条款判为一致,将相似度较低的条款判为差异或新增。此类方案能够辅助查找措辞相近的条款,但其输出易受文件格式、条款结构和文本长度影响。

2、首先,不同政策文件的章、节、条、款、项结构在word样式、pdf版面、扫描图像和网页标签中并不统一。跨页条款、页眉页脚、被光学字符识别破坏的编号以及非标准编号会造成条款边界错误,进而使后续向量表示失真。其次,单向的“地方条款检索上位条款”只能说明地方条款可能对应哪一上位条款,不能发现上位政策已经规定、但地方政策未覆盖或仅部分覆盖的要求。再次,语义相似度较高并不等于约束一致。例如,将“应当在30日内完成”改为“可以在60日内完成”时,两句文本高度相似,但义务强度和期限均发生实质变化。

3、此外,固定阈值无法适应条款长度、政策主题、文件质量和ocr置信度的变化;对全部条款执行两两向量比较和深层约束分析,在通用cpu环境中还会产生较高的计算量和重复计算。因此,需要一种能够把异构文档结构、政策约束作用域、双向覆盖关系和处理置信度结合起来的计算机实现方案,以提高条款对应关系的可判定性、降低错误匹配并控制cpu资源消耗。

技术实现思路

1、本技术提供一种异构政策文件双向一致性检测方法,方法包括:

2、获取待比对的异构政策文件并解析得到层级约束图;

3、依据异构政策文件对应的文件节点,将层级约束图划分为第一约束单元集合、第二约束单元集合及其附属节点集合;

4、沿作为查询侧的第一约束单元集合指向作为候选侧的第二约束单元集合的第一方向,以及沿作为查询侧的第二约束单元集合指向作为候选侧的第一约束单元集合的第二方向分别执行分层召回并配对筛选得到条款对列表;

5、基于约束单元的结构节点和约束要素节点及附属节点的节点信息,计算条款对列表内各条款对的六维关联分值,筛选出查询侧约束单元指向六维关联分值最高的目标候选侧约束单元的各目标条款对;

6、结合各目标条款对关联的节点信息及预设约束规则,确定各目标条款对的冲突事件综合置信度;

7、将综合置信度与预设复核阈值比对,输出表征异构政策文件约束冲突或待人工复核的结构化结论。

8、在一些实施例中,附属节点包括效力时间节点和原文定位节点,分层召回包括结构路径过滤、稀疏特征召回和语义向量召回;

9、结构路径过滤指,根据查询侧约束单元与候选侧约束单元的结构节点所携带的结构路径,剔除层级上下文明显无关的候选侧约束单元;

10、稀疏特征召回指,根据查询侧约束单元的约束要素节点所携带的表征政策主题和关键词的约束要素以及效力时间节点携带的效力时间类约束信息,对经结构路径过滤留存的候选侧约束单元进行筛选,剔除主题不匹配、关键词无交集或效力时间失效的候选侧约束单元;

11、语义向量召回指,调取查询侧约束单元与经稀疏特征召回留存的候选侧约束单元各自结构节点所绑定的语义向量执行量化处理,采用量化后的语义向量执行相似度检索得到语义相似度并按相似度降序排序,选取前个候选侧约束单元形成召回候选单元集合,其中,语义向量根据各自结构节点以及关联的约束要素节点、效力时间节点和原文定位节点所携带的节点信息进行编码生成。

12、在一些实施例中,配对筛选得到条款对列表,包括:

13、对于第一方向,将每一第一约束单元作为查询侧约束单元,并将该第一约束单元经分层召回得到的各第二候选单元分别与该第一约束单元配对,形成第一条款对列表;

14、对于第二方向,将每一第二约束单元作为查询侧约束单元,并将该第二约束单元经分层召回得到的各第一候选单元分别与该第二约束单元配对,形成第二条款对列表;

15、将第二条款对列表中的条款对按照第一约束单元在前、第二约束单元在后的顺序规范化表示,并与第一条款对列表合并去重,得到条款对列表。

16、在一些实施例中,筛选出查询侧约束单元指向六维关联分值最高的目标候选侧约束单元的各目标条款对,包括:

17、汇总出各条款对的六维关联分数,形成各条款对的查询侧约束单元的候选分值集合;

18、从候选分值集合中挑选出最高六维关联分值对应的目标候选侧约束单元;

19、若最高六维关联分值大于等于匹配阈值,则在查询侧约束单元对应的第一方向或第二方向建立由查询侧约束单元指向目标候选侧约束单元的第一有向覆盖边集合或第二有向覆盖边集合;

20、根据各查询侧约束单元的第一有向覆盖边集合和第二有向覆盖边集合构建双向覆盖矩阵,每个矩阵元素表示每个查询侧约束单元与目标候选侧约束单元形成的条款对的双向覆盖情况;

21、若最高六维关联分值小于该匹配阈值,则将查询侧约束单元归入第一未覆盖集或第二未覆盖集合;

22、根据双向覆盖情况、第一未覆盖集合、第二未覆盖集合和调取的约束覆盖率辅助结果判断每个条款对的匹配状态;

23、从双向覆盖矩阵中筛选出匹配状态为双向高覆盖和单向部分覆盖的各目标条款对。

24、在一些实施例中,附属节点还包括原文定位节点,六维关联分值包括层级路径一致性分值、约束要素匹配分值、解析置信度分值、效力时间匹配分值、数值关系一致性分值以及语义相似度分值;

25、其中,层级路径一致性分值依据条款对的结构节点携带的结构路径计算;约束要素匹配分值依据条款对的约束要素节点携带的约束要素内容、原文字符起止区间、作用域指针计算;

26、解析置信度分值依据条款对的约束要素节点携带的解析置信度计算;

27、效力时间匹配分值依据条款对的效力时间节点携带的效力时间类约束信息计算;

28、数值关系一致性分值依据条款对约束要素节点中数值限制类约束要素,经单位归一化后的数值区间、比较运算符运算结果计算;

29、语义相似度分值依据结构节点绑定的语义向量计算。

30、在一些实施例中,匹配阈值的确定包括:

31、统计各条款对的查询侧约束单元的候选分值集合的分值分布特征;

32、根据查询侧约束单元的原文定位节点携带的版面坐标计算条款长度并归一化得到长度修正量;

33、根据查询侧约束单元的约束要素节点携带的解析置信度取补数得到解析质量修正量;

34、基于分值分布特征、长度修正量和解析质量修正量计算得到查询侧约束单元的匹配阈值。

35、在一些实施例中,结合各目标条款对关联的节点信息及预设约束规则,确定各目标条款对的冲突事件综合置信度,包括:

36、根据预设约束规则,结合每个目标条款对的约束要素节点携带的约束要素内容、原文字符区间以及作用域指针执行约束关系运算,识别并输出每个目标条款对的约束冲突事件集合;

37、对约束冲突事件集合中的每个约束冲突事件,结合约束冲突事件相关的目标条款对关联的节点信息确定出原文定位节点的证据来源完整度、目标条款对的多候选歧义度和约束要素的抽取置信度,并结合相关的目标条款对的六维关联分值和调取的预设约束规则的确定性计算出冲突事件综合置信度;

38、其中,约束规则的确定性为对应冲突类型的预设规则分值;约束要素的抽取置信度由参与冲突判定的约束要素节点携带的解析置信度聚合得到;约束要素的证据来源完整度依据参与判定约束要素关联的原文定位节点所携带的源文件标识、页码、版面坐标的完备程度确定;目标条款对的多候选歧义度,根据查询侧约束单元对应的候选分值集合中最优候选与次优候选的六维关联分值差值确定。

39、在一些实施例中,异构政策文件包括第一政策文件和第二政策文件,方法还包括:

40、若第一政策文件的版本更新,则对更新后的第一政策文件和第二政策文件解析成新层级约束图;

41、分别计算新层级约束图和层级约束图中各节点的内容指纹;

42、逐节点比对各节点的内容指纹,确定新增节点、删除节点以及发生变更的变化节点集合;

43、对未发生指纹变化的节点,复用已缓存的节点语义向量、节点在层级约束图中的拓扑关系,以及节点对应的召回候选单元集合;

44、根据变化节点集合,确定受影响约束单元集合,受影响约束单元集合包括发生变化的约束单元,以及其缓存的召回候选单元集合中包含变化节点的约束单元;

45、对未发生指纹变化且不属于受影响约束单元集合的节点,复用已缓存的节点语义向量、节点在层级约束图中的拓扑关系以及节点对应的召回候选单元集合;

46、仅针对变化节点集合和受影响约束单元集合重新执行分层召回、配对筛选、六维关联分值计算、双向覆盖关系检测、冲突事件综合置信度计算和结构化结论输出步骤。

47、在一些实施例中,将综合置信度与预设复核阈值比对,输出表征异构政策文件约束冲突或待人工复核的结构化结论,包括:

48、若综合置信度高于预设的复核阈值,输出表征第一政策文件集合与第二政策文件集合之间约束冲突的结构化结论。

49、若综合置信度低于或等于预设的复核阈值,输出表征待人工复核的结构化结论。

50、本技术还提供一种异构政策文件双向一致性检测系统,系统包括:

51、层级约束图构建模块,用于获取待比对的异构政策文件并解析得到层级约束图;

52、约束图划分模块,用于依据异构政策文件对应的文件节点,将层级约束图划分为第一约束单元集合、第二约束单元集合及其附属节点集合;

53、双向分层召回模块,用于沿作为查询侧的第一约束单元集合指向作为候选侧的第二约束单元集合的第一方向,以及沿作为查询侧的第二约束单元集合指向作为候选侧的第一约束单元集合的第二方向分别执行分层召回并配对筛选得到条款对列表;

54、分值与目标对筛选模块,用于基于约束单元的结构节点和约束要素节点及附属节点的节点信息,计算条款对列表内各条款对的六维关联分值,筛选出查询侧约束单元指向六维关联分值最高的目标候选侧约束单元的各目标条款对;

55、置信度计算模块,用于结合各目标条款对关联的节点信息及预设约束规则,确定各目标条款对的冲突事件综合置信度; 结构化结论输出模块,用于将综合置信度与预设复核阈值比对,输出表征异构政策文件约束冲突或待人工复核的结构化结论。

56、可理解,本技术提供一种异构政策文件双向一致性检测方法及系统,首先,将异构政策文件解析构建层级约束图,并划分约束单元集合与附属节点集合,能够兼容 word、pdf、扫描件等格式,把文件层级结构、约束要素、效力时间、原文定位信息统一纳入图结构表达,规避不同文档排版、ocr 识别缺陷造成的条款边界错乱问题,为后续比对提供结构化基础。其次,采用第一、第二方向双向分层召回与配对筛选得到条款对列表,区别于传统单向检索,可同时检测政策遗漏、部分覆盖、新增要求;分层召回包含结构路径过滤、稀疏特征、语义向量召回,大幅压缩待深度计算的条款对规模,将深层分析限制在有限候选,降低cpu 计算开销,避免全量两两比对带来的性能损耗。再者,利用六维关联分值综合层级路径、约束要素、解析置信度、效力时间、数值关系、语义多维度信息,不再单纯依赖文本语义相似度,可识别文本措辞相近但义务、数值、时效实质不一致情形;结合候选分值分布等信息筛选最优目标条款对,能够区分双向高覆盖、单向部分覆盖、未覆盖等匹配状态,减少固定阈值带来的误匹配。最后,融合多类节点信息计算冲突事件综合置信度,关联原文定位、抽取置信度、候选歧义度,再和复核阈值比对输出结构化结论。对解析质量差、证据不完备的场景输出人工复核提示,形成可追溯证据链,降低 ocr 解析错误引发的错误判定,提升政策冲突检测的可靠性与可解释性。