非模板化表格智能识别入库方法及系统与流程

本发明涉及数据处理与大数据入库，具体涉及一种非模板化表格智能识别入库方法及系统。

背景技术：

1、数字化经营场景下各类业务数据普遍依托表格文件完成跨主体流转交换，企业日常经营、资质申报、专利归集等业务均会产出结构存在差异的表格文件，各类办公解析组件成为数据入库的常规支撑工具。元数据体系逐步用于标准化业务库表结构定义，动态数据表可依托预设字段规则自动完成物理表创建，大模型语义解析能力逐步应用于非结构化、半结构化表格内容识别工作，能够完成文本语义解读、内容分类等基础处理操作。各类数据导入程序逐步集成并行调度、异常标注、增量写入等辅助功能，用以适配批量表格文件的自动化处理需求，表格识别与数据库写入融合技术成为企业数据治理的重要研究方向。

2、当前常规表格导入程序在处理无统一规范的表格文件时，缺少完整的分层识别校验链路，难以连贯完成文件预处理、多表格自动拆分、库表全局匹配、字段人机协同校准、数据标准化转换、异常文件归档全流程处理。现有工具仅能独立执行单一处理环节，无法串联完成表格结构自动提取与元数据表全局匹配，缺少字段映射人工确认环节，数据转换环节缺少语义适配校验机制，入库操作缺少增量更新逻辑，数据异常后仅返回文字提示，无法生成标记单元格的原始错误文件，整体流程割裂，难以适配多样化表格文件一体化识别入库需求。

技术实现思路

1、为解决现有表格导入工具依赖固定模板、无法自动识别单sheet多表格、列名语义无法智能匹配、数据转换容错差、错误定位不闭环、数据源变更需手动修改代码部署的技术问题，本发明提供了一种非模板化表格智能识别入库方法及系统，依托大模型语义解析结合元数据约束搭建多阶段人机协同识别链路，通过全局表字段加权置信匹配、单元格级错误标注、动态数据表自动创建机制，实现任意格式表格无模板自动解析、语义化字段映射与标准化批量入库，提高异构表格文件的数据导入通用性、入库数据准确性与业务迭代响应效率。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供了一种非模板化表格智能识别入库方法。

4、一种非模板化表格智能识别入库方法，包括以下过程：

5、接收表格文件执行预处理得到处理后sheet数据集；

6、调用大模型解析所述处理后sheet数据集生成表格结构集合；

7、将所述表格结构集合与元数据表全局匹配得到表级映射结果；

8、对所述表级映射结果并行生成字段级映射结果并展示以供人工确认；

9、依据确认后的所述字段级映射结果分批调用大模型完成数据类型转换，经置信度校验后采用更新插入模式写入动态数据表；

10、对校验失败数据生成标注错误单元格的错误文件并归档。

11、在本发明第一方面的一种实现方式中，得到所述处理后sheet数据集的预处理操作，包括：

12、过滤隐藏工作表得到保留工作表，展开所述保留工作表内全部合并单元格，区分空行、标题行、数据行并提取单元格文本，整合输出所述处理后sheet数据集。

13、在本发明第一方面的一种实现方式中，生成所述表格结构集合时，对所述处理后sheet数据集中的多个工作表采用虚拟线程并行执行大模型调用；对大模型返回文本执行多级清洗重试机制；提取标准化表格结构汇总形成所述表格结构集合。

14、在本发明第一方面的一种实现方式中，生成所述表级映射结果配套的置信度通过四维度加权计算得到，四维度分别为表格标题语义相似度、列名匹配覆盖率、数据类型兼容评分、元数据描述对齐评分；依据业务阶段动态调整各维度权重得到所述置信度。

15、在本发明第一方面的一种实现方式中，生成所述字段级映射结果时，接收人工输入的补充提示文本注入大模型提示词；所述补充提示文本优先级高于大模型自主语义匹配逻辑；切换目标元数据表后重新生成所述字段级映射结果。

16、在本发明第一方面的一种实现方式中，所述大模型提示词采用三层分层架构，三层依次为固化规则的系统提示层、载入元数据信息的上下文提示层、承载所述补充提示文本的用户补充提示层；三层内容拼接后输入大模型完成映射计算。

17、在本发明第一方面的一种实现方式中，所述数据类型转换操作，包括：依据所述元数据表的字段定义将单元格文本转换为整数、小数、日期、布尔、文本五类标准格式；为每行转换结果附加所述置信度及低置信原因文本。

18、在本发明第一方面的一种实现方式中，所述更新插入模式执行逻辑，包括：读取所述元数据表配置的唯一键组合；查询所述动态数据表匹配记录；匹配成功执行更新操作，匹配失败执行插入操作；同步注入多租户标识至每条写入数据完成数据隔离；

19、生成所述错误文件的操作包括：创建异常单元格样式和错误说明样式两类单元格样式；定位校验失败数据对应单元格填充所述异常单元格样式；在行尾追加所述低置信原因文本；清除校验成功数据行后导出所述错误文件。

20、在本发明第一方面的一种实现方式中，还包括任务重置操作：接收重置指令；依据任务标识删除所述动态数据表内已写入数据；保留所述表级映射结果与所述字段级映射结果；重置任务状态后可再次执行数据入库全流程。

21、第二方面，本发明提供了一种非模板化表格智能识别入库系统。

22、一种非模板化表格智能识别入库系统，包括：

23、文件预处理单元，被配置为：接收表格文件执行预处理得到处理后 sheet 数据集；

24、表格解析单元，被配置为：调用大模型解析所述处理后 sheet 数据集生成表格结构集合；

25、全局表匹配单元，被配置为：将所述表格结构集合与元数据表全局匹配得到表级映射结果；

26、字段映射单元，被配置为：对所述表级映射结果并行生成字段级映射结果并展示以供人工确认；

27、数据入库单元，被配置为：依据确认后的所述字段级映射结果分批调用大模型完成数据类型转换，经置信度校验后采用更新插入模式写入动态数据表；

28、错误生成单元，被配置为：对校验失败数据生成标注错误单元格的错误文件并归档。

29、与现有技术相比，本发明的有益效果是：

30、本发明依次执行文件预处理、表格智能解析、全局表匹配、字段映射确认、数据转换入库、错误文件归档各处理环节，能够连贯完成多样化表格文件从原始读取到入库异常归档的完整处理链路，改善现有工具流程割裂的情况。预处理环节统一规整表格单元格内容，便于后续大模型提取完整表格结构，全局匹配模式可同步比对全部识别表格与元数据表，减少了局部匹配带来的适配偏差。字段映射结果向用户可视化展示并支持人工修正，能够缓和单纯机器语义匹配产生的适配偏差，分批大模型数据转换搭配置信校验，可筛除格式存在偏差的数据内容。更新插入模式配合动态数据表写入，能够适配增量数据导入场景，减少重复数据带来的存储冗余。针对校验失败内容生成带有单元格标注的错误文件，可直观呈现数据异常位置，降低了用户定位修改的操作成本。整套分层处理步骤相互配合，适配无固定模板的各类表格文件处理场景，拓宽表格入库程序的适用范围，同步优化数据导入过程中的校验、修正、归档相关操作体验。

31、本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。