一种法规文档标题层级自动识别方法及系统与流程

摘要: 本发明涉及自然语言处理与文档结构化,具体涉及一种基于置信度多维评分的针对法规、标准类结构化文档的标题层级自动识别方法及系统。背景技术:1、随着大语言模型(llm...
一种法规文档标题层级自动识别方法及系统与流程

本发明涉及自然语言处理与文档结构化,具体涉及一种基于置信度多维评分的针对法规、标准类结构化文档的标题层级自动识别方法及系统。

背景技术:

1、随着大语言模型(llm,large language model)和检索增强生成(rag,retrieval-augmented generation)技术的快速发展,企业级知识库建设对文档结构化处理的需求日益增长。法规、标准、规范类文档作为知识库的核心数据源,标题层级的准确性直接影响语义检索与问答系统的效果。

2、现有主流的pdf转markdown工具(如mineru、marker、pymupdf等)虽然在文本提取方面较为成熟,但在标题层级识别方面仍存在以下问题:

3、1.格式依赖性强:多数工具依赖原始pdf的字号、字重、缩进等视觉特征进行标题判断,但pdf转markdown过程中这些视觉信息往往丢失或被破坏;

4、2.法规文档格式多样性:法规文档同时存在”第x章”、三级阿拉伯数字编号、“一、”等多种编号方式,且经常出现”1总则”(无空格)、“(一)”等不规范格式,现有工具识别能力有限;

5、3.层级关系丢失:转换后的markdown文件常常丢失原有的多级嵌套结构,导致后续知识库分块时上下文中断;

6、误识别与漏识别:基于单一规则(如正则表达式)的方法查全率较低;基于机器学习的方法则需要大量标注数据,难以快速适配新领域。

7、综上所述,现有技术在应用于法规文档标题识别时存在以下关键缺陷:

8、多数pdf解析库依赖pdf视觉信息,转换后会失效,容易导致ocr或转换后无法识别;

9、纯正则匹配方法的单维度评分,易造成误识别,召回率低;

10、通用dla工具的中文法规格式覆盖不全,容易造成“第x条”等漏识别;

11、ragflow/llm方案依赖大模型api,不可离线使用,成本高且存在隐私风险;

12、单一标题检测缺乏层级修复机制,容易导致层级断裂。

13、因此,本领域技术人员提供了一种法规文档标题层级自动识别方法及系统,以解决上述背景技术中提出的问题。

技术实现思路

1、针对现有pdf文档标题识别技术在法规文档场景下的不足,本发明提供了一种法规文档标题层级自动识别方法及系统,旨在解决以下问题:

2、1.pdf视觉信息丢失后的标题识别:不依赖原始pdf字体特征,仅基于文本内容识别标题;

3、2.法规文档多格式兼容:覆盖”第x章”、三级阿拉伯数字编号、“一、”、“1总则”等11种编号模式;

4、3.多维度综合判断:避免单一规则导致的误识别和漏识别;

5、4.层级关系自动构建:将识别结果组织为可追溯的多级树形结构。

6、为实现以上目的,本发明通过以下技术方案予以实现:

7、一种法规文档标题层级自动识别方法,包括以下步骤:

8、步骤一:构建多种编号模式规则集,该编号模式规则集至少包括四级阿拉伯数字编号模式、三级阿拉伯数字编号模式、二级阿拉伯数字编号模式、汉字”第x章”模式、汉字”第x节”模式、汉字”第x篇”模式、汉字”第x条”模式、阿拉伯数字”第n条”模式、附录模式、通知类章节模式和数字章级模式,共计11种模式;

9、步骤二:对文档中每行文本依次进行各编号模式的模式匹配,对每行匹配的编号模式计算四个维度的置信度分量,所述四个维度包括编号格式匹配度、文本长度特征、上下文特征和源标记特征;

10、步骤三:根据预设权重对所述四个维度的置信度分量进行加权求和,得到该行文本的总置信度;

11、步骤四:将所述总置信度与预设的强标题阈值和候选标题阈值进行比较,将文本分类为强标题、候选标题或非标题;

12、步骤五:根据所识别标题的层级标识构建结构化标题树,并在检测到层级跳跃时自动补充中间层级的占位节点。

13、进一步地,所述步骤二中,计算以下4个维度的置信度分量:

14、c_total=w1×c_format+w2×c_length+w3×c_context+w4×c_marked

15、所述四个维度置信度分量的预设权重分别为:编号格式匹配度0.4、文本长度特征0.2、上下文特征0.2、源标记特征0.2。

16、进一步地,所述步骤二中,按基础分由高到低的顺序依次对每行进行模式匹配,一旦匹配成功即停止对该行后续模式的匹配。

17、进一步地,所述步骤四中,设置双重阈值,具体为:强标题阈值为0.80,候选标题阈值为0.60;总置信度大于等于0.80的行被识别为强标题;总置信度大于等于0.60且小于0.80的行被标记为候选标题。

18、进一步地,所述步骤五中的层级修复包括当检测到层级跳跃大于1时,自动补充缺失的中间层级占位节点。

19、进一步地,所述方法还包括步骤六的输出结构化结果,具体为:将识别结果以json格式输出,包含字段:-file_name:源文件名-total_lines:总行数-headings:强标题列表-potential_headings:候选标题列表-statistics:统计信息。

20、进一步地,所述方法不依赖pdf文件的字号、字重、缩进等视觉特征,仅基于转换后的纯文本内容进行标题识别。

21、进一步地,一种法规文档标题层级自动识别系统,包括:

22、模式匹配引擎模块,所述模式匹配引擎模块配置有11种编号模式规则集,用于对输入文本进行模式匹配;

23、置信度评估模块,与所述模式匹配引擎模块连接,用于计算四个维度的置信度分量并进行加权求和,得到总置信度;

24、阈值过滤模块,与所述置信度评估模块连接,用于根据双重阈值将文本分类为强标题、候选标题或非标题;

25、层级树构建与修复模块,与所述阈值过滤模块连接,用于构建结构化标题树并对层级跳跃进行自动修复;

26、结构化输出模块,与所述层级树构建与修复模块连接,用于输出json格式的识别结果。

27、本发明提供了一种法规文档标题层级自动识别方法及系统。具备以下有益效果:

28、1、本发明提供了一种法规文档标题层级自动识别方法及系统,不依赖pdf视觉信息,仅基于转换后的文本即可识别标题,适用于ocr转换、版式丢失等场景,并且构建11种编号模式覆盖中文法规文档的常见格式,使文档标题识别率明显提升。

29、2、本发明提供了一种法规文档标题层级自动识别方法及系统,采用多维度综合判断,避免单一规则的误识别,具有较强的适应性,且每个标题的识别均附带置信度分量和最终置信度,便于调试和人工复核。

30、3、本发明提供了一种法规文档标题层级自动识别方法及系统,该方法采用纯算法实现,无需调用外部大模型api,保护用户数据隐私,并且采用层级树自动修复技术,自动构建和修复标题层级树,减少后续处理的人工干预。