基于大模型文档解析的智能审查方法与流程

本发明涉及文档智能处理，具体地说，涉及基于大模型文档解析的智能审查方法。

背景技术：

1、近年来，随着大型语言模型在自然语言处理领域的快速发展，利用大模型对政策文件、规章制度、合同条款等长文档进行自动化审查已成为一种重要的技术探索方向，现有的大模型文档审查流程通常先将pdf、word等格式的文档解析为按阅读顺序排列的文本块序列，再将这些文本块直接输入大模型进行语义理解与逻辑判断，然而，在实际文档中，大量条款编号在物理分页处被断开，前半部分出现在上一页的末尾，后半部分出现在下一页的开头，而现有文档解析工具在处理分页时往往直接将页面切割为独立的文本块，不会对跨页断裂的条款编号进行识别和还原，当这些断裂的编号碎片连同各自所在的文本块被分别送入大模型时，模型接收到的上下文是支离破碎的，前一文本块以“（一”结尾，后一文本块以“）”开头，大模型无法将其识别为一个完整的条款编号，导致在后续的条款引用准确性审查中，模型可能将“（一”误判为一个不完整的无效引用，或者忽略该条款编号的存在，从而产生漏报或误报，已有研究尝试通过规则匹配对断裂的编号进行后处理拼接，但往往缺乏对文档固有层级结构的利用，难以区分哪些断裂是真正的条款编号碎片、哪些仅是行文中的巧合断点，也无法在校验拼接结果是否符合文档层级逻辑时做出准确判断，因此，如何利用文档的结构层级信息，对物理分页导致的跨页条款编号碎片进行精准识别、合法性校验与正确还原，使大模型能够获得完整连续的条款语义上下文，成为提升长文档智能审查准确性的一个问题，为了解决这一技术问题，于是我们提供了基于大模型文档解析的智能审查方法。

技术实现思路

1、本发明的目的在于提供基于大模型文档解析的智能审查方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明目的之一在于，提供了基于大模型文档解析的智能审查方法，包括以下步骤：

3、s1、获取经文档解析后按阅读顺序排列的文本块序列，并提取文档的结构层级信息，所述结构层级信息包括各级标题的编号文本及其在所述文档中的页码位置；

4、s2、遍历所述文本块序列，对任一组在文档中物理分页的相邻前文本块与后文本块，若所述相邻前文本块的尾部包含至少一个条款编号层级分隔符且以条款编号层级分隔符或数字结尾，同时所述后文本块的头部以中文条款后缀词或数字开头，则提取所述尾部自最后一个完整编号起始符至末尾的字符串作为前碎片，提取所述头部自起始至第一个完整条款编号之外中断点的字符串作为后碎片，并将所述前碎片与后碎片标记为跨页条款编号碎片对；

5、s3、依据所述结构层级信息，确定所述相邻前文本块所在页码对应的最近上级条款完整编号，获取最近上级条款的层级路径；

6、s4、将所述前碎片与后碎片拼接，并与所述层级路径进行逐级比对，生成候选完整条款编号，若后碎片所代表的层级隶属于所述层级路径所示的子层级序列中，则将前碎片、后碎片依原分隔符拼接为完整条款编号，若后碎片层级与所述层级路径中的当前层级不构成子属关系，则回溯至上一级路径，重新组合生成符合层级结构的完整条款编号，若无法生成符合所述结构层级信息的唯一完整条款编号，则保持所述前文本块与后文本块的原分块状态，不进行拼接；

7、s5、将完整条款编号替换回对应的文本块，形成连贯文本审查单元，并与未变动的文本块共同输入至大语言模型，以执行条款引用准确性审查。

8、与现有技术相比，本发明的有益效果：

9、本发明通过获取文档解析后的文本块序列，并提取各级标题的编号文本及页码位置构建结构层级信息，为跨页碎片还原提供层级约束基础，遍历文本块序列，根据前文本块尾部层级分隔符及后文本块头部条款后缀词的特征，识别物理分页导致的跨页条款编号碎片并截取前后碎片，解决了现有解析工具无法区分真正断裂编号与行文巧合断点的问题，进而将碎片拼接后与层级路径逐级比对，当后碎片层级匹配时直接拼接为完整编号，不匹配则回溯至上一级路径重新组合，若无法生成唯一编号则保持原分块状态，从而确保还原的编号符合文档固有层级逻辑，最后将完整编号替换回对应文本块形成连贯文本审查单元，使大语言模型获得完整的条款语义上下文，有效避免了分页拆分导致的编号误判与漏报，提升了条款引用准确性审查的可靠性。

1.基于大模型文档解析的智能审查方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于大模型文档解析的智能审查方法，其特征在于：所述提取文档的结构层级信息，具体包括：

3.根据权利要求2所述的基于大模型文档解析的智能审查方法，其特征在于：对任一组在文档中物理分页的相邻前文本块与后文本块，检查前文本块尾部的最后若干个字符是否包含至少一个条款编号层级分隔符，所述条款编号层级分隔符包括圆点、顿号、反斜杠或空格，若包含，则继续检查前文本块尾部是否以所述条款编号层级分隔符或数字字符结尾，同时检查后文本块头部的首个字符是否为中文条款后缀词或数字字符，所述中文条款后缀词包括但不限于“条”、“款”、“项”以及“目”，若上述条件均满足，则判定该组相邻文本块存在跨页条款编号碎片。

4.根据权利要求3所述的基于大模型文档解析的智能审查方法，其特征在于：在前文本块尾部，从最后一个完整的条款编号起始符开始向前截取字符串直至末尾，所述条款编号起始符定义为数字字符或中文序数词的首字符，将截取的字符串记为前碎片，在后文本块头部，从首个字符开始向后扫描直至遇到第一个不属于当前条款编号组成部分的中断点，所述中断点为非数字、非中文序数词、非条款编号层级分隔符的字符，将从头部至中断点前的字符串记为后碎片，将前碎片与后碎片配对并标记为跨页条款编号碎片对。

5.根据权利要求4所述的基于大模型文档解析的智能审查方法，其特征在于：根据前文本块所在的页码位置，在层级树中查找页码之前出现的所有标题节点，从中选出距离当前页码最近且在文本块序列中位于前文本块之前的标题节点，将该标题节点的完整编号字符串作为最近上级条款完整编号，从该标题节点出发，沿着层级树向上追溯到根节点，收集沿途所有祖先标题节点的完整编号字符串，按照从根到叶的顺序组成层级路径列表。

6.根据权利要求5所述的基于大模型文档解析的智能审查方法，其特征在于：将前碎片与后碎片按照原分隔符直接拼接成一个临时字符串，将该临时字符串按照条款编号层级分隔符拆分成若干级编号片段，将所述层级路径列表中的每一级完整编号字符串也按相同分隔符拆分得到层级编号片段序列，从层级编号片段序列的第一级开始，与临时字符串拆分出的第一级编号片段进行比较，若两者完全一致则继续比较下一级，直到临时字符串的所有级编号片段都被匹配完毕，若在某一级发现临时字符串的编号片段与层级编号片段不一致，则记录该级为分歧点。

7.根据权利要求6所述的基于大模型文档解析的智能审查方法，其特征在于：所述若后碎片所代表的层级隶属于所述层级路径所示的子层级序列中，具体包括：

8.根据权利要求7所述的基于大模型文档解析的智能审查方法，其特征在于：当后碎片的第一级编号片段无法作为当前层级路径最后一级的子级时，将当前层级路径移除最后一级，得到缩短后的新层级路径，再次检查后碎片的第一级编号片段是否能作为新层级路径最后一级的子级，重复此回溯过程直到找到父级或层级路径只剩根节点，若找到父级，则以前碎片与后碎片拼接为基础，并在前碎片之前补全缺失的上级编号部分，形成符合新层级路径的完整条款编号，若回溯至根节点仍无法匹配，则判定无法生成唯一完整条款编号。

9.根据权利要求8所述的基于大模型文档解析的智能审查方法，其特征在于：在完成回溯比对后，若仍未产生可匹配层级路径的完整条款编号，则丢弃前碎片与后碎片的配对标记，不对前文本块和后文本块做任何合并操作。

10.根据权利要求9所述的基于大模型文档解析的智能审查方法，其特征在于：对于成功拼接的跨页条款编号碎片对，在前文本块中找到前碎片在原字符串中的起始位置和结束位置，将前碎片替换为拼接得到的完整条款编号，在后文本块中找到后碎片的起始位置和结束位置，将后碎片删除或替换为空字符串，将修改后的前文本块与修改后的后文本块按照原有顺序合并为一个新的文本块，该新文本块即为连贯文本审查单元，将所有生成的连贯文本审查单元与未发生跨页碎片拼接的原始文本块一起，按照它们在文档中的原始页码顺序重新排序，形成最终的文本块序列输入至大语言模型，由大语言模型基于上下文语义判断各条款引用是否准确。