一种基于语义理解的法规文本检索与智能匹配方法与流程

摘要: 本发明涉及自然语言处理与智能信息检索,具体涉及一种基于语义理解的法规文本检索与智能匹配方法。背景技术:1、随着各行业监管制度不断完善,法规正文、法规附件、实施通...
一种基于语义理解的法规文本检索与智能匹配方法与流程

本发明涉及自然语言处理与智能信息检索,具体涉及一种基于语义理解的法规文本检索与智能匹配方法。

背景技术:

1、随着各行业监管制度不断完善,法规正文、法规附件、实施通知、修订公告及行业技术规范等法规文件持续增加,不同法规文件之间还存在引用、补充、替代、废止及版本更新关系。企业在产品研发、合规审查、安全评估和资料备案过程中,需要根据产品类别、原料属性、使用方式、适用地区及法规生效时间,从大量法规文本中查找对应条款并判断其适用性。法规频繁更新、研发数据分散以及备案资料繁琐,容易导致企业难以及时跟进监管要求,并增加法规风险识别和资料核验的工作量。

2、现有法规文本检索方式通常以法规名称、关键词或对象标识作为查询条件,通过字符匹配或全文索引返回包含相同词语的法规条款。该方式虽然能够检索包含目标词语的文本,但难以准确理解法规问题与法规条款之间的语义关系。当检索请求采用简称、别名、自然语言描述或隐含表达时,容易出现相关条款漏检;当多个法规条款包含相近词语但适用地区、产品类别、使用方式或使用部位不同时,又容易返回大量实际不适用的结果。

3、法规文本还具有明显的层级性和条件约束性。同一法规条款的完整含义可能同时取决于法规标题、章节标题、上级条款、附件条款及引用条款。若仅对单个文本片段进行语义相似度计算,可能忽略上级条款限定的适用范围,导致检索结果与法规原意不一致。此外,法规条款中经常包含浓度、剂量、含量、纯度、持续时间及使用频次等限制阈值,并存在“仅限于”“不适用于”“除外”及“附条件允许”等例外条件。普通语义检索模型侧重文本内容相似程度,难以对实际限制参数与法规限制阈值进行单位统一和关系比较,也难以识别例外条件对初始匹配结果的影响。

4、与此同时,同一法规可能存在多个历史版本,法规之间还可能形成修订、替代和废止关系。仅根据文本相似度返回法规条款,无法判断检索基准日期对应的有效版本,也难以处理一般法规条款与特别法规条款、正文条款与附件条款以及不同效力层级法规条款之间的适用冲突。现有检索结果通常只提供法规名称或相关文本,缺少从检索对象特征、候选召回来源、适用条件判断、限制阈值比较到版本校正过程的完整证据关联,导致用户难以复核智能匹配结论。

5、因此,如何提供一种基于语义理解的法规文本检索与智能匹配方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于语义理解的法规文本检索与智能匹配方法,本发明通过对法规正文、法规附件及法规变更文件进行标准化处理和版本关联,构建携带法规版本属性与法规有效期限的版本化法规文本集合;按照法规文本层级和语义完整性生成关联法规层级路径、原始法规位置、适用条件、限制阈值及例外条件的法规语义单元集合;对法规检索请求进行语义解析,得到法规检索对象特征集,并通过对象标识召回、语义召回及适用范围过滤形成候选法规语义单元集合;利用改进的colbert法规语义匹配模型执行层级词元编码、适用条件门控、词元级相似度交互、数值约束判断和例外条件校正,得到初始法规匹配结果集合;进一步根据法规有效期限、版本关系、条款引用关系和法规冲突优先级进行校正,生成法规匹配结果集合及法规匹配证据链,从而实现法规检索对象与适用法规条款之间的准确匹配和匹配过程追溯。

2、根据本发明实施例的一种基于语义理解的法规文本检索与智能匹配方法,包括如下步骤:

3、s1、采集法规正文、法规附件及法规变更文件,进行格式标准化,提取法规名称、法规效力层级、发布日期、生效日期、失效日期、版本标识及版本关系,得到携带法规版本属性和法规有效期限的版本化法规文本集合;

4、s2、按照法规文本层级和语义完整性划分版本化法规文本集合,提取规范对象、规范行为、适用条件、限制阈值、例外条件及引用关系,得到关联法规层级路径、法规版本属性和原始法规位置的法规语义单元集合;

5、s3、接收法规检索请求,解析对象属性、目标法规问题、适用地区、检索基准日期及限制参数,得到法规检索对象特征集;

6、s4、依据法规检索对象特征集,对法规语义单元集合执行对象标识召回、语义召回和适用范围过滤,得到携带召回来源的候选法规语义单元集合;

7、s5、将法规检索对象特征集和候选法规语义单元集合输入改进的colbert法规语义匹配模型,执行层级词元编码、适用条件门控、词元级相似度交互、数值约束判断及例外条件校正,得到初始法规匹配结果集合;

8、s6、根据检索基准日期、法规有效期限和版本关系确定法规版本有效状态,根据条款引用关系确定法规冲突优先级,据此校正初始法规匹配结果并记录校正依据,得到法规匹配结果集合;

9、s7、关联法规匹配结果集合与法规语义单元、关联条款、适用条件及校正依据,生成法规匹配证据链,并根据用户反馈更新法规语义单元中的适用条件、限制阈值和例外条件属性。

10、可选的,所述s2包括如下步骤:

11、s21、识别法规标题、章节标题、条款、款项、附录及目录条目,构建法规文本层级结构;

12、s22、按照法规文本层级结构和语义完整性划分法规文本,记录法规名称、章节编号、条款编号、段落编号及字符区间,形成原始法规位置;

13、s23、提取规范对象、规范行为、适用地区、对象类别、产品类别、使用方式、使用部位、限制阈值和例外条件,并识别引用方向、补充关系、排除关系及从属关系;

14、s24、将提取内容、识别关系、法规层级路径、法规版本属性、法规有效期限和原始法规位置与对应法规文本片段关联,得到法规语义单元集合。

15、可选的,所述s3包括如下步骤:

16、s31、接收由自然语言问题、产品资料、原料资料、配方资料或备案资料形成的法规检索请求;

17、s32、识别对象名称、对象别名、对象标识、对象类别、产品类别、使用方式及使用部位,形成对象属性;

18、s33、提取目标法规问题、适用地区和检索基准日期,识别浓度、剂量、含量、纯度、持续时间或使用频次,形成限制参数;

19、s34、结构化关联对象属性、目标法规问题、适用地区、检索基准日期及限制参数,得到法规检索对象特征集。

20、可选的,所述s4包括如下步骤:

21、s41、依据对象名称、对象别名和对象标识,在法规语义单元集合中执行对象标识召回,得到第一召回集合;

22、s42、依据目标法规问题和对象属性生成检索语义向量,在法规语义单元集合中执行语义召回,得到第二召回集合;

23、s43、按照适用地区、检索基准日期、对象类别、产品类别、使用方式和使用部位,对第一召回集合和第二召回集合进行适用范围过滤;

24、s44、合并过滤后的第一召回集合和第二召回集合,去除重复法规语义单元并保留召回来源,得到候选法规语义单元集合。

25、可选的,所述s5包括如下步骤:

26、s51、对法规检索对象特征集进行检索词元编码,并依据法规层级路径对候选法规语义单元进行层级词元编码,得到检索词元特征序列和层级法规词元特征;

27、s52、比较适用地区、对象类别、产品类别、使用方式和使用部位,并判断检索基准日期是否位于法规有效期限内,生成法规适用条件门控矩阵;

28、s53、利用法规适用条件门控矩阵约束检索词元特征序列与层级法规词元特征之间的词元级相似度交互,得到词元交互匹配结果;

29、s54、统一限制参数和限制阈值的计量单位并进行关系比较,得到数值约束判断结果;识别法规检索对象是否触发例外条件,得到例外条件触发结果;结合词元交互匹配结果确定初始匹配分值、初始适用状态及初始匹配排序,得到初始法规匹配结果集合。

30、可选的,所述s52包括如下步骤:

31、s521、从法规检索对象特征集中提取对象条件项,从各候选法规语义单元中提取法规条件项;

32、s522、按照适用地区、对象类别、产品类别、使用方式及使用部位对应对象条件项和法规条件项,并比较检索基准日期与法规有效期限;

33、s523、判断各对应条件项和日期比较结果的一致状态、冲突状态或缺失状态,得到条件状态序列;

34、s524、将一致状态、冲突状态和缺失状态分别映射为通过值、抑制值和待核验值,按照条件状态序列排列各映射值,生成法规适用条件门控矩阵。

35、可选的,所述s6包括如下步骤:

36、s61、根据检索基准日期与各初始法规匹配结果对应的法规有效期限,确定法规版本有效状态;

37、s62、依据法规版本属性识别不同法规版本之间的修订关系、替代关系和废止关系,更新法规版本有效状态;

38、s63、根据一般法规条款、特别法规条款、正文条款、附件条款、上位法规条款及被引用法规条款之间的关系,确定法规冲突优先级;

39、s64、依据法规版本有效状态和法规冲突优先级,校正初始适用状态及初始匹配分值,得到最终适用状态和最终匹配分值,形成最终匹配排序并记录校正依据,得到法规匹配结果集合。

40、可选的,所述s63包括如下步骤:

41、s631、识别作用于同一规范对象且适用条件存在交集的法规条款,得到待比较法规条款集合;

42、s632、依据待比较法规条款的法规效力层级、适用条件、生效日期、版本关系及引用方向,构建条款关系序列;

43、s633、在条款关系序列中标记特别法规条款优先关系、后生效法规条款优先关系、上位法规条款优先关系及被引用法规条款约束关系;

44、s634、按照已标记的优先关系和约束关系确定待比较法规条款的适用顺序,得到法规冲突优先级。

45、可选的,所述s7包括如下步骤:

46、s71、获取各法规匹配结果关联的法规语义单元,并读取对应的法规名称、法规版本属性和原始法规位置;

47、s72、将法规语义单元与上级条款、引用条款、适用条件、限制阈值、例外条件、数值约束判断结果、例外条件触发结果、法规版本有效状态、法规冲突优先级及校正依据关联;

48、s73、按照法规检索对象特征集、召回来源、法规语义单元、条件判断结果和校正过程,生成法规匹配证据链;

49、s74、接收用户对法规匹配结果的确认、更正、删除或补充操作,生成用户反馈数据,并据此更新法规语义单元中的适用条件、限制阈值和例外条件属性。

50、可选的,所述s73包括如下步骤:

51、s731、将法规检索对象特征集中的对象属性、适用地区、检索基准日期和限制参数构建为检索证据节点;

52、s732、将召回来源、法规语义单元、上级条款、引用条款、适用条件、限制阈值和例外条件构建为法规证据节点;

53、s733、将数值约束判断结果、例外条件触发结果、法规版本有效状态、法规冲突优先级、校正依据、最终适用状态、最终匹配分值及最终匹配排序构建为判断证据节点;

54、s734、按照检索证据节点、法规证据节点和判断证据节点对应数据的生成顺序及输入输出关系建立有向关联,生成法规匹配证据链。

55、本发明的有益效果是:与现有技术相比,本发明按照法规文本层级和语义完整性对法规正文、章节、条款、款项及附件进行划分,并提取规范对象、规范行为、适用条件、限制阈值、例外条件和引用关系,构建关联法规层级路径、法规版本属性及原始法规位置的法规语义单元集合。该方式能够保留法规条款的上下文语义和层级限定关系,减少因固定长度切分、标题缺失或上下文分离造成的语义偏差,为法规检索与智能匹配提供结构清晰且语义完整的数据基础。

56、本发明对法规检索请求中的对象名称、对象别名、对象标识、对象类别、产品类别、使用方式、使用部位、适用地区、检索基准日期及限制参数进行结构化解析,并结合对象标识召回和语义召回获取候选法规语义单元,既能够根据名称和标识准确定位相关法规内容,又能够识别自然语言问题与法规条款之间的潜在语义关联,降低因简称、同义表达或关键词缺失造成的条款漏检。

57、本发明利用改进的colbert法规语义匹配模型进行层级词元编码和词元级相似度交互,并根据适用地区、对象类别、产品类别、使用方式、使用部位及法规有效期限生成法规适用条件门控矩阵,对文字相似但适用条件冲突的候选法规语义单元进行抑制,从而提高法规匹配结果的准确性和实际适用性。同时,对限制参数与限制阈值进行计量单位统一和关系比较,并结合例外条件触发结果校正匹配结果,能够减少因数值差异、否定表达或附加条件未被识别而产生的错误判断。

58、本发明还根据检索基准日期、法规有效期限及法规版本关系确定法规版本有效状态,并结合一般法规条款、特别法规条款、正文条款、附件条款、上位法规条款及被引用法规条款之间的关系确定法规冲突优先级,降低失效法规、被替代法规及冲突条款对匹配结果的干扰。通过将法规匹配结果与法规语义单元、原始法规位置、适用条件、限制阈值、例外条件及校正依据进行关联,生成法规匹配证据链,使用户能够追溯候选召回、条件判断、数值比较和版本校正过程,提高法规检索结果的可解释性、可验证性及人工复核效率。