基于大模型与向量检索的合同审查与合规性AI分析系统的制作方法

摘要: 本发明涉及自然语言处理与文本语义识别,尤其涉及基于大模型与向量检索的合同审查与合规性ai分析系统。背景技术:1、现有合同文本处理系统多采用文档解析、ocr识别、...
基于大模型与向量检索的合同审查与合规性AI分析系统的制作方法

本发明涉及自然语言处理与文本语义识别,尤其涉及基于大模型与向量检索的合同审查与合规性ai分析系统。

背景技术:

1、现有合同文本处理系统多采用文档解析、ocr识别、关键词检索、向量检索和大语言模型分析方式,对合同文件、招标文件和标准条款文件进行文本抽取、条款召回、语义比对和结果输出。部分系统能够将pdf文件转换为结构化文本,提取页码、章节标题和条款号,建立文本节点索引,再通过语义相似度检索和提示词分析生成文本审查结果。

2、在工程合同和招标文件的文本处理中,合同正文、标准条款、修订文件和补遗表格之间存在大量交叉引用。现有文本处理方式多将修订内容作为普通文本参与检索,缺少基于规范化条款号、修订动作和来源优先级生成当前有效条款集合的处理过程,容易使已被新增、替换、删除和局部修改影响的旧条款继续进入语义比对,导致标准条款与当前条款之间的对应关系不准确。

3、现有向量检索和大语言模型处理方式多依赖整段文本相似度,缺少对标准合同条款文本和当前条款文本进行义务字段抽取、字段级语义对齐和偏离项生成的处理。文本整体相似但主体、行为、条件、数值、责任、程序和后果发生变化的条款,容易被误判为语义一致。现有大模型调用方式多将待分析文本直接输入模型,缺少输入字段约束、提示模板构建、结构化输出解析和失败复核规则,模型输出结果与条款偏离字段、反证文本和页码溯源之间缺少稳定关联。现有质量复核多在结果输出后进行,缺少以偏离项为对象的反证文本检索和闭合流转机制,难以利用修订记录、定义解释、限制条件、文件优先顺序和适用范围内容排除假偏离,影响合同文本语义偏离识别结果的准确性。因此,如何提供基于大模型与向量检索的合同审查与合规性ai分析系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出基于大模型与向量检索的合同审查与合规性ai分析系统,本发明充分利用了结构化文档解析、向量检索、大语言模型和质量门控技术,详细描述了合同修订解析、当前条款集合更新、字段偏离识别和反证闭合审查流程,具备审查准确性高、误报率低和页码溯源清晰的优点。

2、根据本发明实施例的基于大模型与向量检索的合同审查与合规性ai分析系统,包括:

3、文档解析与向量索引构建模块,用于解析合同文件、标准条款文件和修订文件,生成带条款号、页码的文本节点集合、合同文本向量索引和标准条款向量索引;

4、修订索引构建模块,用于定位修订表格行,提取规范化条款号、修订动作和修订内容,按规范化条款号生成修订索引;

5、当前有效条款生成模块,用于读取原始合同条款和同号修订记录,将新增内容写入当前条款集合,将替换内容覆盖原始合同条款,将删除内容移出当前条款集合,将局部修改内容替换对应字段;

6、双向合规检查模块,用于匹配引用条款号的标准条款,以标准条款检索当前条款集合,生成候选对应关系;

7、字段偏离项生成模块,用于将候选对应关系解析为义务字段组,执行字段对齐,对缺失字段、取值不一致字段和新增限制字段生成偏离项;

8、偏离反证检索模块,用于读取偏离字段、偏离类型和规范化条款号,查找覆盖同一偏离字段的修订记录,在文本节点集合中检索定义解释内容、限制条件内容、文件优先顺序内容和适用范围内容;

9、偏离闭合状态确定模块,用于将检索结果与偏离项逐条匹配,将被修订覆盖、限制条件排除、优先顺序覆盖和适用范围区分的偏离项移出待处理偏离项集合,将未移出的偏离项输入质量门控,生成保留偏离项和合同审查结果。

10、可选的,所述文档解析与向量索引构建模块具体包括:

11、读取合同文件、标准条款文件和修订文件,提取正文文本、表格文本、条款号、章节标题、页码和来源文件名;

12、按条款号、章节标题和段落位置生成文本节点集合;

13、按照文档类型将合同文件和修订文件的文本节点归入合同文本向量索引,将标准条款文件的文本节点归入标准条款向量索引,关联文本节点集合与索引元数据。

14、可选的,所述生成修订索引的操作包括:

15、读取修订文件对应的文本节点集合,根据表格行边界、分隔符和单元格数量定位修订表格行,将修订表格行划分为条款号单元、修订动作单元和修订内容单元;

16、对条款号单元执行数字段切分和前导异常数字剥离,生成规范化条款号;

17、从修订动作单元中提取新增、替换、删除、局部修改和优先覆盖动作,生成修订动作字段;

18、当当前修订表格行的条款号单元为空且上一修订表格行具有规范化条款号时,将当前修订表格行的修订内容并入上一修订表格行的修订内容字段;

19、将规范化条款号、修订动作字段、修订内容字段、来源文件名、来源页码和表格行号组合为修订记录,按照规范化条款号对修订记录分组,生成供当前有效条款生成模块调用的修订索引。

20、可选的,所述基于修订动作更新当前条款集合的操作包括:

21、从文本节点集合中读取带有规范化条款号的原始合同条款,从修订索引中调用相同规范化条款号对应的修订记录;

22、将原始合同条款写入当前条款集合,作为当前条款初始内容;

23、读取修订记录中的修订动作字段和修订内容字段;

24、当修订动作字段为新增时,将修订内容字段作为新增条款写入当前条款集合,为新增条款配置相同规范化条款号、来源文件名、来源页码和表格行号;

25、当修订动作字段为替换时,将当前条款集合中相同规范化条款号对应的原始合同条款移入历史条款集合,将修订内容字段写入当前条款集合中相同规范化条款号对应的位置;

26、当修订动作字段为删除时,将当前条款集合中相同规范化条款号对应的条款移出当前条款集合,将移出的条款写入删除记录集合;

27、当修订动作字段为局部修改时,从修订内容字段中提取被修改字段名称和字段替换内容,在当前条款集合中相同规范化条款号对应的条款内定位被修改字段名称对应的字段内容,以字段替换内容替换字段内容,得到更新后的当前条款集合。

28、可选的,所述同一规范化条款号存在若干条修订记录时的当前条款集合更新操作包括:

29、读取来源文件优先级表,来源文件优先级表记录待审合同文件和修订文件的优先级顺序;

30、从同一规范化条款号对应的若干条修订记录中提取来源文件名、来源页码和表格行号,将来源文件优先级低的修订记录先处理,将来源文件优先级高的修订记录后处理,将来源文件优先级相同的修订记录按照来源页码和表格行号升序处理,生成修订记录处理序列;

31、按照修订记录处理序列依次读取修订动作字段和修订内容字段,当后处理的替换动作与先处理的替换动作对应同一规范化条款号时,将先处理生成的同号条款移入历史条款集合,以后处理的修订内容字段覆盖当前条款集合中的同号条款;

32、当后处理的删除动作与先处理的新增动作、替换动作和局部修改动作中的任一种动作对应同一规范化条款号时,将当前条款集合中的同号条款移出当前条款集合,将移出的同号条款写入删除记录集合;

33、当若干条局部修改动作对应同一规范化条款号的不同被修改字段名称时,分别以对应字段替换内容替换字段内容;

34、当若干条局部修改动作对应同一被修改字段名称时,以修订记录处理序列中排序靠后的字段替换内容作为当前字段内容,得到若干修订记录处理后的当前条款集合。

35、可选的,所述执行双向合规检查的操作包括:

36、从当前条款集合的条款文本中抽取符合标准合同条款号格式的引用字符串,将引用字符串规范化为显式引用条款号,将显式引用条款号与标准条款向量索引中的标准合同条款号匹配,形成第一候选对应关系;

37、以标准条款向量索引中的标准合同条款文本作为查询文本,在当前条款集合对应的合同文本向量索引中按向量相似度降序召回前n个语义候选条款,n为预设召回数量;

38、从标准合同条款文本中提取条款号、关键词、数值、单位、金额和百分比作为检核字段,对语义候选条款执行检核字段匹配,剔除条款号冲突、数值不一致且不存在单位换算关系的语义候选条款,形成第二候选对应关系;

39、将第一候选对应关系和第二候选对应关系按照标准合同条款号和当前条款集合中的规范化条款号进行合并,删除重复候选对应关系,生成供字段偏离项生成模块调用的候选对应关系集合。

40、可选的,所述生成字段偏离项的操作包括:

41、遍历候选对应关系集合中的每一候选对应关系,提取候选对应关系中的标准合同条款文本和当前条款集合中的对应条款文本;

42、按照主体、行为、条件、数值、责任、程序和后果七类字段建立字段抽取模板,调用大语言模型分别从标准合同条款文本和对应条款文本中抽取字段内容,生成标准义务字段组和当前义务字段组;

43、对标准义务字段组和当前义务字段组中相同字段类型的字段内容执行字段对齐;

44、当标准义务字段组中的字段内容在当前义务字段组中没有对应字段内容时,生成缺失偏离项;

45、当标准义务字段组中的字段内容与当前义务字段组中的对应字段内容在主体名称、行为对象、条件范围、数值大小、责任承担方式、程序顺序和后果内容中存在不一致时,生成变更偏离项;

46、当当前义务字段组中存在审批前置、通知限制、适用范围限定、除外条件和权利行使时限,且标准义务字段组中不存在对应限制内容时,生成限制偏离项;

47、将缺失偏离项、变更偏离项和限制偏离项分别关联标准合同条款号、规范化条款号、偏离字段名称、标准字段文本、当前字段文本和来源页码,生成字段偏离项集合。

48、可选的,所述生成反证证据包的操作包括:

49、遍历字段偏离项集合,提取每一字段偏离项关联的标准合同条款号、规范化条款号、偏离字段名称、标准字段文本、当前字段文本、来源页码和偏离类型;

50、将规范化条款号、偏离字段名称、标准字段文本和当前字段文本组合为反证检索文本;

51、在修订索引中检索与规范化条款号相同的修订记录,从检索到的修订记录中筛选修订内容字段包含偏离字段名称的修订记录;

52、当偏离类型为缺失偏离项时,在筛选出的修订记录和文本节点集合中检索含有标准字段文本的新增内容和替换内容;

53、当偏离类型为变更偏离项时,在筛选出的修订记录和文本节点集合中检索覆盖当前字段文本的后续修订内容;

54、当偏离类型为限制偏离项时,在文本节点集合中检索与偏离字段名称对应的定义解释内容、适用范围内容、限制条件内容和文件优先顺序内容;

55、将检索到的证据文本、证据来源页码、证据所属条款号、证据命中的偏离字段名称和证据对应的字段偏离项组合为反证证据包。

56、可选的,所述执行偏离闭合状态确定和质量门控流转的操作包括:

57、将字段偏离项集合复制为待处理偏离项集合,按照字段偏离项关联的规范化条款号、偏离字段名称、标准字段文本、当前字段文本和来源页码,从反证证据包中逐条提取对应证据文本;

58、当对应证据文本来自修订记录且修订内容字段覆盖偏离字段名称时,将对应字段偏离项从待处理偏离项集合移入排除偏离项集合;

59、当对应证据文本中的定义解释内容将标准字段文本和当前字段文本限定为同一适用对象、同一合同阶段或同一工程范围时,将对应字段偏离项移入排除偏离项集合;

60、当对应证据文本中的限制条件内容、文件优先顺序内容和适用范围内容排除同一适用对象、同一文件层级和同一工程范围下的偏离时,将对应字段偏离项移入排除偏离项集合;

61、将未移入排除偏离项集合的字段偏离项写入保留偏离项集合;

62、对保留偏离项集合依次执行ocr畸变检测、格式差异检测、增补版本检测和跨文档引用检测,将通过检测的字段偏离项输入大语言模型复核,生成质量门控后的有效偏离项集合。

63、可选的,所述审查结果、风险标记和页码溯源输出的操作包括:

64、遍历有效偏离项集合,提取标准合同条款文本、当前条款文本、偏离字段名称、偏离类型、证据文本和证据来源页码,组合为风险证据包;

65、将风险证据包分别写入攻方提示模板、守方提示模板和中立裁决提示模板,通过大语言模型调用接口生成攻方结构化结果、守方结构化结果和中立裁决结果;

66、解析中立裁决结果中的裁决类型、严重度和发生可能性,当有效偏离项未被反证证据覆盖时标记为开放风险,当有效偏离项已被反证证据覆盖时标记为关闭风险,当裁决类型缺失或者攻方结构化结果与守方结构化结果存在未闭合冲突时标记为复核风险;

67、根据严重度和发生可能性生成风险等级,从文本节点集合中提取来源文件名、来源页码和原文片段,将有效偏离项、风险等级、风险标记、证据文本和页码溯源信息写入合同审查结果,生成合同审查报告。

68、本发明的有益效果是:

69、(1)本发明通过修订索引构建模块和当前有效条款生成模块,对新增、替换、删除、局部修改和若干修订记录进行顺序处理,生成当前条款集合,使合规检查基于修订后的有效条款开展,避免已被替换、删除或者低优先级覆盖的旧条款继续参与比对,提高合同条款版本识别准确性。

70、(2)本发明通过字段偏离项生成模块,将标准合同条款文本和当前条款文本解析为义务字段组,对缺失字段、取值不一致字段和新增限制字段生成偏离项,使系统能够识别文本相似但主体、条件、数值、责任、程序发生实质变化的条款,提高合规偏离识别精度。

71、(3)本发明通过偏离反证检索模块和偏离闭合状态确定模块,以字段偏离项为对象检索修订记录、定义解释、限制条件、文件优先顺序和适用范围内容,将被反证支持的偏离项移入排除偏离项集合,将保留偏离项输入质量门控处理,降低合同审查误报率,生成带风险标记和页码溯源的合同审查结果。