一种TSP表格语义展平与预算降级方法和系统与流程
本技术涉及自然语言处理和知识库领域,尤其涉及一种将复杂表格转化为可检索语义记录的tsp协议方法和系统。
背景技术:
1、表格作为一种高效的数据组织与呈现形式,在各类文档中广泛应用。随着数字化进程的加速,从海量文档中自动化地抽取、理解并索引表格信息,成为自然语言处理与知识库构建领域的关键任务。
2、早期表格解析技术主要依赖于规则和模板,比如正则匹配、dom解析等方式,将整张表格转换为markdown或纯文本格式,然后进行文本检索。然而,现实世界中的表格结构复杂多变,常常包含多级表头、合并单元格(rowspan/colspan)、横向指标表、纵向记录表以及在同一物理边界内包含多个独立语义结构的逻辑子表。
3、对于这类复杂表格,传统的线性化转换方式会不可避免地丢失表头的层级路径信息。例如,当一个表格的列头为“地区”下的“东部”、“西部”,行头为“季度”下的“q1”、“q2”时,转换为纯文本后,数值“100”将与其表头路径“东部-q1”的关联关系断裂,导致用户在检索“东部第一季度营收”时无法精准命中目标数值。
4、在发展阶段,引入合并单元格展开、多级表头识别等规则化算法,适配更复杂的物理表格结构,近年来,大型语言模型展现出了强大的语义理解和结构分析能力。业界开始尝试直接利用大模型分析整个表格,并让其直接输出全量结构化的表格记录。然而,这种技术路径在实际应用中面临多重障碍:首先,处理包含数百甚至上千单元格的大表格将产生极高的token消耗,而且token价格在不断地调价,直接导致成本剧增;其次,大模型在处理长序列时容易产生“幻觉”,输出不存在的记录或错误的值,稳定性差;最后,模型输出的规模和格式不可控,难以直接集成到下游的确定性系统中。
5、综上所述,现有技术普遍存在以下不足或局限性:
6、1.结构信息丢失:传统的markdown或纯文本转换方法会丢失复杂表格的多级表头、合并单元格和逻辑段边界等关键语义结构。
7、2.模型处理成本高且不可控:直接让大模型处理全量表格并生成所有记录,存在成本高昂、输出幻觉和结果不可控等问题。
8、3.索引规模失控:复杂表格展平后可能产生海量的语义记录,若缺乏有效的预算控制机制,将导致下游知识库的索引膨胀和检索成本失控。
9、综上,现有技术无法同时满足语义完整性、执行稳定性、规模可控性三大需求,亟需一种协议先行、程序确定性展平、多级预算降级的表格语义化方案。
技术实现思路
1、本技术为解决现有技术中存在的技术问题,提供一种tsp表格语义展平与预算降级方法,包括以下步骤:
2、s1:将输入的表格解析为规则矩阵,并展开其中的合并单元格,以形成规则矩阵;
3、s2:对所述规则矩阵进行采样,驱动大模型基于采样样本生成描述表格结构语义的tsp协议;
4、s3:对所述tsp协议进行校验,校验不通过则反馈错误并重新生成协议;
5、s4:若校验通过,则将规则矩阵展平为语义记录;
6、s5:当语义记录数量超出预算阈值时,执行多粒度预算降级方法,控制最终的记录规模。
7、进一步地,s1中所述解析为规则矩阵包括:遍历表格的tr、td、th节点,依据rowspan、colspan展开合并单元格并填充矩阵,为每个矩阵单元标记是否为合并复制单元格,并记录行列位置与原始内容。
8、进一步地,s2中所述采样为优先采样表格头部、变化点、中部及尾部行,保留样本代表性;允许大模型在有限轮次内请求补充样本数据,最终输出包含逻辑分段、遍历方向、路径模板和空值规则的tsp协议。
9、进一步地,s3 中所述校验包括:
10、校验tsp协议中定义的逻辑分段表头下标是否越界;
11、校验路径模板中的rn、cn变量是否存在对应的表头;
12、在提供的样本数据上实际执行路径模板填充,验证协议的可行性。
13、进一步地,s4 中所述展平为按行主序或列主序遍历数据区,使用tsp协议中定义的路径模板为每个单元格生成语义路径,并结合单元格的值构建“路径-值”对形式的语义记录;其中,每条语义记录均附带逻辑分段标识segmentid、行号row、列号col和记录粒度granularity元信息。
14、进一步地,s5中所述多粒度预算降级方法包括:
15、以细胞级cell作为记录粒度;
16、当语义记录的数量n_cell超过细胞级预算b_cell时,触发第一层降级,将同一行的多个细胞级记录合并为行级row记录;
17、若合并后的行级记录数量n_row仍超过行级预算b_row,则触发第二层降级,按逻辑分段将多行聚合为行组级row_group记录。
18、进一步地,s5 还包括:降级后仍超出预算阈值则回退普通分块;或按重要列过滤后再降级、按逻辑分段分别配置预算上限,或按租户配额动态调整预算阈值.
19、进一步地,s1 还包括:在矩阵层保留原始dom路径,或将表格转换为二维网格json,或对表格图片执行ocr后再进行解析与合并单元格展开处理。
20、进一步地,s2 还包括:按列变化率或方差自适应采样,或采用预置协议模板降低大模型调用次数。
21、本技术还提供一种tsp表格语义展平与预算降级系统,用于实现所述的tsp表格语义展平与预算降级方法,包括:
22、矩阵化模块,用于将输入的表格解析为规则矩阵,并展开其中的合并单元格,以形成规则矩阵;
23、协议生成模块,用于对所述规则矩阵进行采样,驱动大模型基于采样样本生成描述表格结构语义的tsp协议;
24、协议校验模块,用于对所述tsp协议进行校验,校验不通过则反馈错误并重新生成协议;
25、语义展平模块,用于在校验通过时,将规则矩阵展平为语义记录;
26、预算控制模块,用于当语义记录数量超出预算阈值时,执行多粒度预算降级方法,控制最终的记录规模。
27、本技术公开的系统和方法中的各个单元或者模块,在实际应用中,本系统的各个单元或模块可以集成在一个控制单元内,也可以根据需要分布式部署。
28、由此可见,本技术首先通过程序化手段将视觉上复杂的html表格无损地转换为一个规则的、由离散坐标标识的矩阵,解决了合并单元格带来的结构歧义。随后,仅将表格的采样样本而非全量数据交由大模型处理,并要求其输出一个结构化的tsp协议而非具体数值,极大地降低了模型的计算成本和幻觉风险。之后,通过独立的程序化校验模块对协议进行变量、边界和实例填充的多维度验证,确保其可执行性。校验通过后,再依据协议进行确定性的语义记录展平,保证了结果的稳定和可靠。最后,引入的多粒度预算降级机制(cell→ row → row_group)能够动态控制最终生成的语义记录数量,避免索引膨胀。
29、本技术与现有技术相比,具有以下有益效果:
30、语义保真:通过协议先行与确定性展平,将复杂的表头结构转换为可检索的“路径-值”语义记录,彻底避免了传统方法的结构信息丢失问题。
31、成本可控:大模型仅需处理表格采样样本并输出轻量级的结构协议,大幅降低了token消耗和计算成本,同时减少了幻觉输出。
32、鲁棒性强:独立的协议校验与错误回馈机制,以及多粒度预算降级策略,保证了系统在处理各种规模、各种格式的表格时均能稳定运行,输出规模始终可控。
33、可追溯性:每条生成的语义记录均保留其在原矩阵中的坐标及所属逻辑分段等元信息,便于溯源和调试。
34、为了对本技术有更清楚全面的了解,下面结合附图,对本技术的具体实施方式进行详细描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com