文档解析方法、装置、设备、介质及程序产品与流程
本技术涉及人工智能,尤其涉及一种文档解析方法、装置、设备、介质及程序产品。
背景技术:
1、随着企业数字化转型的持续深入,知识密集型场景下的智能检索与问答需求日益增长,知识rag系统已广泛应用于企业内部知识管理、智能客服、业务辅助等环节,成为释放数据价值的关键基础设施。知识rag系统的运行效果高度依赖于对海量多源异构业务文档的解析质量,而企业内部文档来源广泛、格式多样、版式复杂,如何实现对各类复杂文档的高质量解析以支撑上层智能应用,已成为本领域亟待关注的重要技术课题。
2、在相关技术中,根据文档后缀名进行格式识别与分类,随后调用对应的专用解析库(如针对docx调用python-docx,针对pdf调用pdfplumber,针对html调用html2txt等)提取文本内容,最后经简单后处理输出纯文本结果。该模式架构轻量、部署简便、处理速度快,在版式单一、以纯文本为主的标准化文档处理场景中被广泛采用。
3、如此,在执行上述方案的过程中,由于高度依赖文档原生结构化标签,对于扫描件pdf、加密文档或版式错乱的文档解析失败率较高因此,会导致难以满足复杂业务文档的解析需求。
技术实现思路
1、本技术提供一种文档解析方法、装置、设备、介质及程序产品,用于解析业务文档。
2、第一方面,本技术实施例提供了一种文档解析方法,该方法包括:
3、获取待解析的目标文档,目标文档包括至少一个扫描页面和至少一个文字页面。
4、获取每个扫描页面对应的识别框集合和每个文字页面对应的文档结构化信息;其中,每个识别框集合基于扫描页面的版式元信息确定,每个识别框集合包括至少两个识别框以及每个识别框在对应扫描页面中的位置信息。
5、基于每个扫描页面对应的识别框集合和每个文字页面对应的文档结构化信息,确定目标文档对应的基础文本信息集合和多模态元素集合,并基于基础文本信息集合和多模态元素集合,确定目标文档对应的真实上下文。
6、基于真实上下文和每个扫描页面对应的识别框集合,确定目标文档对应的元信息集合和元信息集合对应的关联标识id,并对元信息集合进行聚类,得到聚类元信息集合。
7、基于基础文本信息集合、版式元信息、每个识别框在对应扫描页面中的位置信息,聚类元信息集合、真实上下文以及关联id,确定目标文档的解析数据。
8、本技术提供的技术方案至少带来以下有益效果:通过针对混合文档中的扫描页面与文字页面分别获取识别框集合和文档结构化信息,并基于二者共同确定基础文本信息集合与多模态元素集合,进而确定真实上下文,能够兼顾扫描页面的版式视觉信息与文字页面的规则结构信息,避免单一模态解析造成的信息缺失和上下文误匹配;进一步基于真实上下文与识别框集合生成带关联id的元信息集合并进行聚类,使表格、图片、公式等零散多模态信息与基础文本、版式元信息、位置信息及真实上下文形成稳定关联和层级化聚合,有效解决多模态信息孤立、语义割裂及上下文假性关联问题;最终基于基础文本信息集合、版式元信息、位置信息、聚类元信息集合、真实上下文及关联id输出解析数据,为下游rag检索、知识图谱构建和人工审核提供结构完整、语义对齐、链路可追溯的高质量数据基础。
9、一种可能的实现方式,基于基础文本信息集合和多模态元素集合,确定目标文档对应的真实上下文,包括:
10、基于基础文本信息集合,对文档内所有文本段落,进行推理,生成文本向量。
11、基于多模态元素集合,对每一个多模态元素,进行推理,生成模态向量。
12、计算模态向量与所有文本段落向量的余弦相似度,并按相似度降序排序。
13、召回排序位于预设序列内的候选文本段落,作为候选上下文集合。
14、基于候选上下文集合和标准上下文,确定目标文档对应的真实上下文。
15、另一种可能的实现方式,基于候选上下文集合和标准上下文,确定目标文档对应的真实上下文,包括:
16、基于版式元信息,通过推理,生成版式元信息中多模态元素对应的标准上下文。
17、以标准上下文为基准,对候选上下文集合内所有段落进行多维度联合打分,多维度包括语义贴合度、逻辑关联度以及位置适配度。
18、基于语义贴合度、逻辑关联度以及位置适配度的加权结果得到全局加权匹配得分。
19、设定匹配阈值,筛选得分达标的段落作为真实上下文,并为多模态元素与真实上下文建立全局唯一绑定关系。
20、又一种可能的实现方式,上述基于真实上下文和每个扫描页面对应的识别框集合,确定目标文档对应的元信息集合和元信息集合对应的关联标识id,包括:
21、基于多模态元素中的表格、图片以及公式,以识别框集合中的识别框、位置信息以及真实上下文信息进行解析提取。
22、对表格解析提取,输出表头加行结构化范式,提取行列对应关系、表格业务含义和数据注解,生成结构化表格元信息。
23、对图片解析提取,结合图片内容与真实上下文,得到图片元信息。
24、对公式解析提取,识别公式字符、解析符号定义、推导逻辑和业务应用场景,生成公式释义元信息。
25、基于结构化表格元信息、图片元信息以及公式释义元信息确定目标文档对应的元信息集合。
26、元信息集合通过关联id与基础文本信息集合、版式元信息、标准上下文以及真实上下文绑定。
27、又一种可能的实现方式,上述对元信息集合进行聚类,得到聚类元信息集合,包括:
28、对元信息集合中的任意元信息,聚类为单样本簇,基于每个元信息的单样本簇整合为初始化簇集合,确定初始化簇集合的簇中心向量和初始化聚类层级。
29、遍历初始化簇集合中的所有簇对,计算簇间语义相似度,筛选满足预设相似度阈值的有效簇对并按相似度降序排序,选取相似度最高的簇对进行合并生成新簇。
30、根据相似度最高的簇的簇中心向量更新新簇的簇中心向量,删除相似度最高的簇并将新簇加入初始化簇集合,同时更新聚类层级。
31、重复聚类直至满足终止条件后得到聚类元信息集合;终止条件包括全局所有簇对的最大语义相似度低于预设阈值、聚类层级达到预设最大层级、或单次迭代无任何簇完成合并。
32、又一种可能的实现方式,上述获取待解析的目标文档之后,方法还包括:
33、基于目标文档的总字节数、图像内容总字节数以及可提取文字总字节数,分别确定图像内容占比和文字内容占比。
34、基于图像内容占比、文字内容占比和预设判定阈值,确定文件页面类型,其中图像内容占比大于第一预设阈值时确定为扫描页面,文字内容占比大于第二预设阈值时确定为文字页面。
35、第二方面,本技术实施例提供了本技术提供一种文档解析装置,包括:获取模块、确定模块、关联模块以及解析模块。
36、获取模块,用于获取待解析的目标文档,目标文档包括至少一个扫描页面和至少一个文字页面。
37、获取每个扫描页面对应的识别框集合和每个文字页面对应的文档结构化信息;其中,每个识别框集合基于扫描页面的版式元信息确定,每个识别框集合包括至少两个识别框以及每个识别框在对应扫描页面中的位置信息。
38、确定模块,用于基于每个扫描页面对应的识别框集合和每个文字页面对应的文档结构化信息,确定目标文档对应的基础文本信息集合和多模态元素集合,并基于基础文本信息集合和多模态元素集合,确定目标文档对应的真实上下文。
39、关联模块,用于基于真实上下文和每个扫描页面对应的识别框集合,确定目标文档对应的元信息集合和元信息集合对应的关联标识id,并对元信息集合进行聚类,得到聚类元信息集合。
40、解析模块,用于基于基础文本信息集合、版式元信息、每个识别框在对应扫描页面中的位置信息,聚类元信息集合、真实上下文以及关联id,确定目标文档的解析数据。
41、一种可能的实现方式,上述获取模块,具体用于:
42、基于目标文档的总字节数、图像内容总字节数以及可提取文字总字节数,分别确定图像内容占比和文字内容占比;
43、基于图像内容占比、文字内容占比和预设判定阈值,确定文件页面类型,其中图像内容占比大于第一预设阈值时确定为扫描页面,文字内容占比大于第二预设阈值时确定为文字页面。
44、另一种可能的实现方式,上述确定模块,具体用于:
45、基于基础文本信息集合,对文档内所有文本段落,进行推理,生成文本向量;
46、基于多模态元素集合,对每一个多模态元素,进行推理,生成模态向量;
47、计算模态向量与所有文本段落向量的余弦相似度,并按相似度降序排序;
48、召回排序位于预设序列内的候选文本段落,作为候选上下文集合;
49、基于候选上下文集合和标准上下文,确定目标文档对应的真实上下文。
50、另一种可能的实现方式,上述确定模块,具体用于:
51、基于版式元信息,通过推理,生成版式元信息中多模态元素对应的标准上下文;
52、以标准上下文为基准,对候选上下文集合内所有段落进行多维度联合打分,多维度包括语义贴合度、逻辑关联度以及位置适配度;
53、基于语义贴合度、逻辑关联度以及位置适配度的加权结果得到全局加权匹配得分;
54、设定匹配阈值,筛选得分达标的段落作为真实上下文,并为多模态元素与真实上下文建立全局唯一绑定关系。
55、又一种可能的实现方式,上述关联模块,具体用于:
56、基于多模态元素中的表格、图片以及公式,以识别框集合中的识别框、位置信息以及真实上下文信息进行解析提取;
57、对表格解析提取,输出表头加行结构化范式,提取行列对应关系、表格业务含义和数据注解,生成结构化表格元信息;
58、对图片解析提取,结合图片内容与真实上下文,得到图片元信息;
59、对公式解析提取,识别公式字符、解析符号定义、推导逻辑和业务应用场景,生成公式释义元信息;
60、基于结构化表格元信息、图片元信息以及公式释义元信息确定目标文档对应的元信息集合;
61、元信息集合通过关联id与基础文本信息集合、版式元信息、标准上下文以及真实上下文绑定。
62、又一种可能的实现方式,上述关联模块,具体用于:
63、对元信息集合中的任意元信息,聚类为单样本簇,基于每个元信息的单样本簇整合为初始化簇集合,确定初始化簇集合的簇中心向量和初始化聚类层级;
64、遍历初始化簇集合中的所有簇对,计算簇间语义相似度,筛选满足预设相似度阈值的有效簇对并按相似度降序排序,选取相似度最高的簇对进行合并生成新簇;
65、根据相似度最高的簇的簇中心向量更新新簇的簇中心向量,删除相似度最高的簇并将新簇加入初始化簇集合,同时更新聚类层级;
66、重复聚类直至满足终止条件后得到聚类元信息集合;终止条件包括全局所有簇对的最大语义相似度低于预设阈值、聚类层级达到预设最大层级、或单次迭代无任何簇完成合并。
67、第三方面,本技术提供一种电子设备,该电子设备包括:处理器和存储器;该存储器存储可在处理器上运行的程序或指令,上述程序或指令被该处理器执行时实现上述第一方面的方法。
68、第四方面,本技术提供一种可读存储介质,该可读存储介质上存储程序或指令,上述程序或指令被计算机执行时实现上述第一方面的方法。
69、第五方面,本技术提供一种计算机程序产品,该计算机程序产品被存储在存储介质中,当该计算机程序产品被计算机执行时以实现上述第一方面的方法。
70、第六方面,本技术实施例提供了一种芯片,该芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面的方法。
71、上述第二方面至第六方面的有益效果参考第一方面的对应描述,不再赘述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com