一种法律大模型幻觉消除方法、系统、电子设备、计算机可读存储介质及计算机程序产品与流程

摘要: 本发明涉及人工智能、自然语言处理、信息检索和计算机数据处理,具体涉及一种法律大模型幻觉消除方法、系统、电子设备、计算机可读存储介质及计算机程序产品。背景技术:1...
一种法律大模型幻觉消除方法、系统、电子设备、计算机可读存储介质及计算机程序产品与流程

本发明涉及人工智能、自然语言处理、信息检索和计算机数据处理,具体涉及一种法律大模型幻觉消除方法、系统、电子设备、计算机可读存储介质及计算机程序产品。

背景技术:

1、大语言模型能够根据自然语言问题生成可读性较高的答复,但其输出由概率生成过程形成。在法律信息处理场景中,输入事实可能缺少主体身份、行为时间、适用地域或成立条件,法律规范又可能存在版本、效力层级和适用范围差异。若检索输入不完整、证据选择不适当或者推理过程错误连接前提与结论,计算机系统可能输出不存在的依据、失效的规范、遗漏的成立条件或与证据不一致的结论。

2、现有检索增强生成技术通常将检索到的文档片段与用户问题共同输入生成模型。该方式能够扩展模型上下文,但当检索请求本身遗漏关键要素、候选证据存在时间或适用范围冲突,或者模型未正确利用证据时,仍可能产生不一致输出。

3、现有多模型评分、投票或交叉核验技术能够发现不同生成结果之间的差异,但若仅比较自然语言答案或给出整体评分,差异难以被稳定定位至具体子问题、证据记录及前序处理阶段。发现差异后,系统往往重新执行完整流程或者仅重写最终文本,无法将差异转换为可直接控制检索参数和处理路径的结构化控制数据,导致重复计算并可能在错误前提上继续生成。现有法律大模型处理过程中生成结果差异难以结构化定位、校验结果不能直接驱动前序处理阶段修正以及差异发生后重复执行完整流程造成计算资源浪费。

4、因此,需要开发一种面向计算机信息处理流程的多阶段闭环方案,将不同推理通道的输出转换为能够对齐和计算的断言记录,将差异记录与子问题、证据及处理阶段建立关联,并由差异记录生成机器可执行的修正控制信息,以选择性重新执行受影响的处理阶段,通过闭环迭代机制实现幻觉的逐轮消除。

技术实现思路

1、本发明旨在解决上述技术问题。

2、为解决上述技术问题,本发明的第一个目的在于提出一种法律大模型幻觉消除方法,计算设备对法律问题文本进行法律要素抽取,生成具有子问题标识的结构化子问题集;基于结构化子问题集检索法律知识库,形成与各结构化子问题关联且具有证据标识的证据记录。本发明通过一种面向计算机信息处理流程的多阶段闭环方案,将不同推理通道的输出转换为能够对齐和计算的断言记录,将差异记录与子问题、证据及处理阶段建立关联,并由差异记录生成机器可执行的修正控制信息,以选择性重新执行受影响的处理阶段,通过闭环迭代机制实现幻觉的逐轮消除。

3、本发明的第二个目的在于提出一种法律大模型幻觉消除系统。

4、本发明的第三个目的在于提出一种电子设备。

5、本发明的第四个目的在于提出一种计算机可读存储介质。

6、本发明的第五个目的在于提出一种计算机程序产品。

7、为实现上述目的,本发明第一方面实施例公开了一种法律大模型幻觉消除方法,包括以下步骤:步骤s1:获取法律问题文本,对所述法律问题文本进行法律要素抽取,生成具有子问题标识的结构化子问题集;步骤s2:基于所述结构化子问题集检索法律知识库,获得与所述结构化子问题集关联且具有证据标识的证据记录;步骤s3:将所述结构化子问题集和所述证据记录作为共同输入,分别提供给相互独立配置的第一推理引擎和第二推理引擎,所述第一推理引擎生成第一处理结果,所述第二推理引擎生成第二处理结果;步骤s4:将所述第一处理结果和所述第二处理结果分别转换为断言记录,所述断言记录包括子问题标识、处理阶段标识、断言内容和证据标识集合,对具有对应子问题标识的断言记录进行对齐比对,生成差异记录;步骤s5:在所述差异记录不满足一致性条件时,根据所述差异记录中的差异类型、子问题标识和处理阶段标识生成修正控制信息,所述修正控制信息用于确定待重新执行的目标子问题、目标处理阶段及处理参数,所述目标处理阶段选自结构化子问题生成阶段、证据检索阶段和推理处理阶段中的至少一个;步骤s6:根据所述修正控制信息,对所述目标子问题从所述目标处理阶段开始重新执行,获得更新后的断言记录;步骤s7:重复步骤s4至步骤s6,进行对齐比对、判断一致性条件,以及重新执行,直至满足一致性条件或迭代终止条件;步骤s8:输出基于最终断言记录生成并与证据标识关联的法律答复结果。

8、另外,根据本技术上述技术方案的法律大模型幻觉消除方法,还可以具有如下附加的技术特征:

9、可选地,对所述法律问题文本进行法律要素抽取包括:提取实体、属性、行为、条件及实体间关系,将提取结果写入预设法律要素结构的要素槽位;根据已填充的要素槽位生成结构化子问题,并针对未填充的要素槽位生成缺失掩码,所述缺失掩码用于限制输出依赖对应缺失要素的确定性断言。

10、可选地,所述法律知识库包括分别设置检索索引的法律规范集合、裁判文书集合、规范性文件集合和逻辑规则集合中的至少两个;所述证据记录包括证据标识、来源类型、来源定位信息、规范化文本、版本标识、有效时间范围及适用范围标签中的至少三项;检索所述法律知识库包括对候选证据执行去重、时间有效性过滤和适用范围过滤,并按照子问题标识建立结构化子问题与证据记录之间的映射。

11、可选地,所述第一推理引擎与所述第二推理引擎在模型结构、模型参数、参数适配层、提示模板或上下文配置中的至少一项不同;在生成所述第一处理结果和所述第二处理结果之前,任一推理引擎不接收另一推理引擎的处理结果。

12、可选地,所述断言内容包括主体项、关系项、客体项或判断值、成立条件以及极性;所述对齐比对包括根据子问题标识、法律要素标识及语义表示对所述断言记录进行对齐,并比较相互对齐的断言记录在判断值、成立条件、极性及证据标识集合中的至少一项差异。

13、可选地,所述差异类型包括缺失要素差异、证据缺失差异、证据冲突差异、时间有效性差异、条件范围差异、逻辑关系差异和结论极性差异中的至少一种;所述差异记录还包括与差异内容对应的证据标识。

14、可选地,生成所述修正控制信息包括:当所述差异类型为缺失要素差异时,将所述目标处理阶段确定为结构化子问题生成阶段,并更新要素槽位、缺失掩码或结构化子问题;当所述差异类型为证据缺失差异、证据冲突差异或时间有效性差异时,将所述目标处理阶段确定为证据检索阶段,并生成检索修正参数;当所述差异类型为条件范围差异、逻辑关系差异或结论极性差异时,将所述目标处理阶段确定为推理处理阶段,并生成推理处理参数。

15、可选地,所述检索修正参数包括查询词扩展参数、来源类型参数、适用地域参数、时间范围参数、规范层级参数、结果数量参数和排序权重参数中的至少一种;所述推理处理参数包括待重新处理的断言标识、成立条件、证据标识集合、上下文配置和输出结构约束中的至少一种。

16、可选地,所述对齐比对包括分析阶段比对和结论阶段比对;在所述分析阶段比对未满足分析一致性条件时,根据分析差异记录更新证据记录并重新执行推理处理;在所述结论阶段比对未满足结论一致性条件时,根据结论差异记录确定所述目标处理阶段并从所述目标处理阶段重新执行。

17、可选地,根据所述修正控制信息重新执行时,仅重新处理所述目标子问题及其关联的证据记录,并保留未受所述差异记录影响的其他结构化子问题的处理结果;每次重新执行所使用的证据记录具有迭代版本标识,所述第一推理引擎和所述第二推理引擎在同一次迭代中使用相同迭代版本的证据记录。

18、可选地,所述迭代终止条件包括达到预设最大迭代次数、连续迭代的差异改善量低于预设改善阈值或超过预设计算资源限额中的至少一种;因满足所述迭代终止条件而输出所述法律答复结果时,向所述法律答复结果附加低置信度标识、未消除差异记录或缺失要素列表中的至少一种。

19、可选地,在所述步骤7之后还包括步骤9:记录结构化子问题、检索请求、证据记录、断言记录、差异记录、修正控制信息及重新执行路径之间的关联关系,并基于所述关联关系生成审计记录;所述法律答复结果中的各结论项通过证据标识与对应证据记录的来源定位信息、版本标识和有效时间范围关联。

20、为实现上述目的,本发明第二方面实施例提出一种法律大模型幻觉消除系统,包括:结构化处理模块,用于获取法律问题文本,对所述法律问题文本进行法律要素抽取,生成具有子问题标识的结构化子问题集;证据检索模块,用于基于所述结构化子问题集检索法律知识库,获得与结构化子问题集关联且具有证据标识的证据记录;双通道推理模块,包括相互独立配置的第一推理引擎和第二推理引擎,用于将所述结构化子问题集和所述证据记录作为共同输入,分别生成第一处理结果和第二处理结果;断言比对模块,用于将所述第一处理结果和所述第二处理结果分别转换为包括子问题标识、处理阶段标识、断言内容和证据标识集合的断言记录,对具有对应子问题标识的断言记录进行对齐比对,生成差异记录;修正控制模块,用于在所述差异记录不满足一致性条件时,根据所述差异记录中的差异类型、子问题标识和处理阶段标识生成修正控制信息,所述修正控制信息用于确定待重新执行的目标子问题、目标处理阶段及处理参数,所述目标处理阶段选自结构化子问题生成阶段、证据检索阶段和推理处理阶段中的至少一个;重新执行模块,用于根据所述修正控制信息,对所述目标子问题从所述目标处理阶段开始重新执行,获得更新后的断言记录;回溯控制模块,用于重复控制断言比对模块进行对齐比对、控制修正控制模块进行判断一致性条件,以及控制重新执行模块进行重新执行,直至满足一致性条件或迭代终止条件;输出模块,用于输出基于最终断言记录生成并与证据标识关联的法律答复结果;审计模块,用于记录结构化子问题、检索请求、证据记录、断言记录、差异记录、修正控制信息及重新执行路径之间的关联关系,并基于所述关联关系生成审计记录;所述法律答复结果中的各结论项通过证据标识与对应证据记录的来源定位信息、版本标识和有效时间范围关联。

21、为实现上述目的,本发明第三方面实施例提出一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序被所述处理器执行时,使所述电子设备执行本发明第一方面实施例中任一项所述的方法。

22、为实现上述目的,本发明第四方面实施例提出一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现本发明第一方面实施例中任一项所述的方法。

23、为实现上述目的,本发明第五方面实施例提出一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现本发明第一方面实施例中任一项所述的方法。

24、本发明能够取得如下有益效果:1.将推理引擎的自然语言或结构化输出统一转换为带有子问题标识、处理阶段标识和证据标识集合的断言记录,使不同推理通道的结果能够在计算机中进行细粒度对齐和差异计算;2.将差异类型及其关联标识转换为目标子问题、目标处理阶段和处理参数,使校验结果成为能够直接控制前序模块的机器可执行数据,而不是仅用于给出评分或重写最终文本;3.对受差异影响的子问题从对应处理阶段开始选择性重新执行,并保留其他子问题的处理结果,可减少无关检索、模型调用和数据传输,避免在错误前提上继续生成,通过多阶段闭环迭代逐步消除幻觉;4.通过结论项与证据标识的关联以及检索、断言比对和回溯路径的记录,使输出结果能够追溯至对应证据的来源位置、版本和有效时间。