一种版面语义与位置关系联合驱动的文档切片合并方法及系统与流程
本发明涉及文档智能处理与检索增强生成,具体涉及一种版面语义与位置关系联合驱动的文档切片合并方法及系统。
背景技术:
1、在检索增强生成(retrieval-augmentedgeneration,rag)系统中,外部知识库的构建质量直接决定下游大语言模型问答与生成的准确性与可靠性。在文档入库预处理阶段,原始文档通常需要先被切分为若干文本切片,进而基于切片生成向量嵌入并构建向量索引、全文索引或混合检索索引。现有的文档切片方法主要包括基于固定字符数或token数的滑动窗口切分、基于标题层级或自然段落切分、基于markdown等语法结构的规则切分,以及基于文本语义相似度的动态聚类合并等。
2、在论文、技术规范、产品说明书、招股说明书、审计报告及专利文献等包含复杂版式的文档中,知识内容往往呈现非线性的图文混排特征。上述现有切片方法主要依据纯文本内容与一维文本流顺序进行切分,难以适应复杂版式文档的知识组织方式。在复杂技术文档中,数学公式通常与公式编号、上下文参数定义紧密绑定,图像与其图题、图内标注及正文引用紧密相关,数据表格与其表题、表注及跨页续表紧密相关。常规基于段落或固定token窗口的切分方式极易将公式本体与参数解释、图表主体与其说明标注拆分至不同切片中,导致检索阶段仅召回孤立的公式或图表,丢失关键解释上下文,进而引发大语言模型的理解偏差。
3、对于双栏排版、多栏排版或跨页延续的复杂页面,页面二维空间中的物理邻近并不等同于逻辑阅读顺序。常规文本提取与线性切片容易将左右不相关的分栏内容进行错误拼接,或者将本应连续的跨栏、跨页段落进行远距离割裂,破坏文本原有的逻辑连贯性。同时,现有的语义切片合并方法主要依赖连续文本块之间的嵌入向量相似度计算,而图表说明、公式释义等文本与邻近正文在纯文本语义层面的向量相似度可能较低,仅靠语义相似度容易被判定为不相关而孤立;纯语义合并也无法感知页面上的几何边界、包含关系与跨页延续特征,难以建立可靠的对象级聚合。
4、为弥补入库切片割裂带来的上下文缺失,现有系统通常在检索阶段被迫扩大topk召回数量或大幅增加上下文窗口。这种做法不仅显著增加了大语言模型的token消耗与计算开销,还会引入大量无关上下文噪声,降低答案引用的精确度,且无法从根本上解决知识对象被切散的问题。
5、现有技术中,已有方案涉及基于语义关联图的知识切片合并、将文档结构化为markdown后适配常规切片、ocr识别前的文档版面分析以及答案生成后的细粒度溯源等方向。然而,上述方案或者主要依据文本语义关系进行切片合并,未充分利用文档页面中的版面标签和空间位置关系;或者侧重于文档结构化或版面分析本身,未进一步将版面识别结果转化为rag知识库切片合并中的约束、评分和对象绑定关系;或者关注答案生成后的溯源定位,未解决文档入库阶段公式、图表、图题、表格续页等对象被切散的问题。
6、综上所述,现有切片方案的核心缺陷并非单纯切片长度不合适,而是缺少一种将文档版面识别结果、空间位置关系、阅读顺序、内容语义和特殊对象归属关系联合起来的切片合并机制。该缺陷直接影响rag系统的证据召回完整性、答案引用准确性和复杂文档问答质量。
技术实现思路
1、本发明的目的在于提供一种版面语义与位置关系联合驱动的文档切片合并方法及系统,以解决现有检索增强生成系统中文档切片方法未充分利用文档页面的版面标签、空间位置关系和阅读顺序,导致复杂版式文档中公式、图表、表格及其说明性内容被机械割裂、检索上下文不完整的技术问题;本发明在文档入库预处理阶段,将文档版面识别模型输出的版面标签、页面位置坐标、页码、阅读顺序、置信度以及文本内容统一建模为原子切片,并基于原子切片之间的语义关系、空间关系、版面归属关系、阅读顺序关系和特殊对象绑定关系构建原子切片关系图,通过联合合并得分确定切片合并策略,从而生成结构保持型检索切片,使同一版面知识对象在检索单元中保持结构完整。
2、为实现上述目的,本发明第一方面提供一种版面语义与位置关系联合驱动的文档切片合并方法,包括以下步骤:
3、s1,获取待处理文档的多个原子切片,其中,每个原子切片至少包括文本内容、版面标签、页面位置坐标、页码、阅读顺序和版面识别置信度;
4、s2,基于所述版面标签、页面位置坐标和阅读顺序,确定所述多个原子切片之间的空间关系、版面归属关系和阅读顺序连续关系;
5、s3,基于所述文本内容,确定所述多个原子切片之间的语义关联关系;
6、s4,根据所述空间关系、版面归属关系、阅读顺序连续关系、语义关联关系以及特殊对象绑定关系,计算候选原子切片之间的联合合并得分;
7、s5,当所述联合合并得分满足预设合并条件且合并后的token数未超过预设预算时,将对应的多个候选原子切片合并为面向检索增强生成的目标切片;
8、s6,当所述联合合并得分满足预设合并条件但合并后的token数超过预设预算时,生成主切片和附属切片,并保存所述主切片与附属切片之间的引用关系;
9、s7,输出所述目标切片以及所述目标切片对应的来源页码、页面位置坐标范围、版面标签集合、合并依据、对象归属关系和附属切片列表。
10、进一步的,所述步骤s1包括:
11、从待处理文档中抽取文本内容、字符坐标、行块信息、段落信息和基础结构信息;
12、调用版面识别模型识别文档页面中的版面区域,输出每一区域的版面标签、边界框坐标、页码、阅读顺序和版面识别置信度;
13、将文本抽取结果与版面识别结果对齐并标准化为原子切片,每个原子切片还包括区域标识和所属文档标识;
14、其中,所述版面标签包括标题、正文、列表、公式、公式说明、图像、图题、表格、表题、表注、页眉、页脚和脚注中的至少一种;对于表格、公式或图像区域,在对应原子切片中保存光学字符识别文本、结构化文本、latex表达、图片引用或对象标识。
15、进一步的,所述空间关系包括基于页面坐标、页码、边界框距离、上下左右邻接、包含关系、对齐关系和跨页延续关系计算得到的空间邻近程度;
16、所述版面归属关系包括标题归属于其下正文、图题归属于相邻图像或表格、公式说明归属于公式、表注归属于表格、以及脚注归属于页内引用对象。
17、进一步的,在所述步骤s4计算联合合并得分之前,所述方法还包括:
18、以各个原子切片作为节点,以语义关系、空间关系、版面归属关系、阅读顺序关系和特殊对象绑定关系作为边,构建原子切片关系图,其中,边具有类型、权重和方向;
19、所述步骤s4中根据所述原子切片关系图中的候选边计算候选原子切片之间的联合合并得分。
20、进一步的,候选原子切片与原子切片之间的联合合并得分按照如下公式计算:
21、
22、其中,为语义关系得分,为空间邻近得分,为版面标签兼容得分,为阅读顺序连续得分,为特殊对象绑定得分,为边界惩罚项,为token超限惩罚项;、、、、、、分别为预设权重或训练得到的权重。
23、进一步的,对公式、图像、表格、图题、表题、表注、脚注和跨页续表设置所述特殊对象绑定关系;
24、响应于正文原子切片包含对公式编号、图号或表号的引用,提高对应候选原子切片之间的特殊对象绑定得分,以在满足空间位置和版面标签规则时提高合并优先级。
25、进一步的,响应于候选原子切片包含公式区域、公式编号、参数解释段落以及对公式的正文引用,且公式区域与解释段落在空间上邻近、阅读顺序连续且解释段落中包含公式变量,提高对应的空间邻近得分、版面标签兼容得分、阅读顺序连续得分和特殊对象绑定得分,将公式、公式编号和解释段落合并为同一目标切片,或在token数超过预设预算时建立主切片与附属切片关系。
26、进一步的,响应于候选原子切片包含图像区域、位于图像下方的图题以及包含图号引用的正文段落,根据图像区域与图题的上下邻接关系、图题标签、图号匹配和正文引用关系建立归属关系,将图像对象、图题和正文引用段落合并为图对象组目标切片,或在命中正文引用段落时关联召回图像图题。
27、进一步的,所述方法还包括跨页表格处理:
28、根据表格区域的列结构相似度、页码连续性、上下边界位置、表题和续表标识,识别跨页表格的延续关系;
29、当跨页表格整体token数超过预设预算时,将第一页表题、主要列头和摘要内容作为主切片,将续表内容和表注作为附属切片并保存引用关系。
30、进一步的,所述方法还包括双栏排版处理:
31、在双栏排版文档中,通过阅读顺序重建结合栏结构和版面识别模型输出确定阅读顺序,仅当阅读顺序连续得分和版面标签兼容得分同时满足预设跨栏合并条件时,才允许执行跨栏合并。
32、进一步的,当候选原子切片包括图像、表格或公式区域时,以对象标识、图题、光学字符识别文本、结构化文本、latex表达或摘要文本中的至少一种作为主切片内容,并保留原始对象的来源页码和页面位置坐标。
33、进一步的,所述步骤s7输出所述目标切片之后,所述方法还包括:
34、将所述目标切片及其版面标签集合、对象类型、来源页码、页面位置坐标范围以及附属切片标识写入向量索引、全文检索索引、混合检索索引或重排序候选库,以供检索阶段根据对象类型进行过滤或加权。
35、进一步的,所述方法还包括检索阶段的上下文扩展:
36、在检索增强生成的查询阶段,当用户问题命中某一目标切片时,读取该目标切片中保存的附属切片列表,在token预算允许时,按需补充召回对应的公式说明、图题、表注或续表内容输入大语言模型。
37、本发明第二方面提供一种版面语义与位置关系联合驱动的文档切片合并系统,包括:
38、原子切片获取模块,用于获取待处理文档的多个原子切片,其中,每个原子切片至少包括文本内容、版面标签、页面位置坐标、页码、阅读顺序和版面识别置信度;
39、版面关系确定模块,用于基于所述版面标签、页面位置坐标和阅读顺序,确定所述多个原子切片之间的空间关系、版面归属关系和阅读顺序连续关系;
40、语义关系确定模块,用于基于所述文本内容,确定所述多个原子切片之间的语义关联关系;
41、联合合并得分计算模块,用于根据所述空间关系、所述版面归属关系、所述阅读顺序连续关系、所述语义关联关系以及特殊对象绑定关系,计算候选原子切片之间的联合合并得分;
42、合并处理模块,用于当所述联合合并得分满足预设合并条件且合并后的token数未超过预设预算时,将对应的多个候选原子切片合并为面向检索增强生成的目标切片;以及当所述联合合并得分满足预设合并条件但合并后的token数超过预设预算时,生成主切片和附属切片,并保存所述主切片与附属切片之间的引用关系;
43、输出模块,用于输出所述目标切片以及所述目标切片对应的来源页码、页面位置坐标范围、版面标签集合、合并依据、对象归属关系和附属切片列表。
44、进一步的,所述原子切片获取模块包括文本抽取或光学字符识别子模块和版面识别模型子模块;所述版面识别模型包括基于文档图像transformer的模型、layoutlm模型、光学字符识别版面分析模型、多模态大模型和规则版面分析器中的至少一种。
45、与现有技术相比,本发明具有以下显著的有益效果:
46、1.通过将版面标签、页面位置坐标、页码、阅读顺序和版面识别置信度统一建模为原子切片,并基于原子切片之间的语义关系、空间关系、版面归属关系、阅读顺序关系和特殊对象绑定关系计算联合合并得分,使同一版面知识对象在检索单元中保持结构完整,在预设 token 预算内将公式与参数解释、图像与图题及正文引用、表格与表题表注等具有强归属关系的知识对象聚合为结构保持型目标切片,避免了检索时仅召回公式而缺失参数含义、或仅召回图表而缺失图题说明的问题,提高了知识对象召回完整性和大语言模型下游问答的准确性。
47、2.通过结合版面识别模型输出的阅读流、栏结构与几何边界进行阅读顺序重建,并在联合合并得分中设置阅读顺序连续约束与跨栏准入条件,避免了双栏、多栏或图文混排文档中仅依据二维物理坐标就近拼接而导致的左右栏内容错误串联问题,确保了合并生成的目标切片在逻辑语义与阅读流向上的连贯性与正确性。
48、3.通过在联合合并得分中设置 token 超限惩罚项,并引入主从切片拆分机制,当高相关度的知识对象组合超出预设 token 预算时,将核心内容生成为主切片、将解释性或延续性内容生成为附属切片并保存两者间的引用归属关系,使检索增强生成系统在向量化入库时保持适宜的检索粒度,在查询阶段命中目标切片时根据大语言模型的剩余上下文预算按需动态召回附属切片,无需盲目扩大检索 topk 即可向模型提供完整上下文,降低了上下文冗余与噪声干扰,节约了计算资源与 token 预算。
49、4.通过在输出目标切片时完整封装其来源页码、页面位置坐标范围、版面标签集合、合并依据以及附属切片列表,使目标切片在入库阶段即具备细粒度的版面拓扑元数据,下游问答系统可直接利用该坐标范围实现精准的原文证据高亮定位与人工审阅,无需在生成答案后再调用大语言模型进行逐句比对;同时,版面标签与对象类型可同步写入索引,支持检索阶段按对象类型进行前置过滤或分级加权重排序。
50、5.通过将复杂的版面解析、关系图构建与约束合并全部置于文档入库预处理阶段完成,使在线查询检索阶段可以直接读取结构保持型切片,无需在每次查询时重复执行多模态版面分析,保证了在线检索的高吞吐与低延迟。
51、6.通过版面识别模型可采用基于文档图像 transformer 的模型、layoutlm 模型、光学字符识别版面分析模型、多模态大模型或规则版面分析器中的任意一种,使本方案的切片合并机制不依赖特定版面分析算法,具备较好的兼容性与工程适应性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com