基于人工智能的表格数据与文本内容双向转换方法与流程

摘要: 本发明涉及数据处理,具体涉及基于人工智能的表格数据与文本内容双向转换方法。背景技术:1、随着数据驱动业务流程在各类企事业单位的快速发展,日常工作中产生了大量以e...
基于人工智能的表格数据与文本内容双向转换方法与流程

本发明涉及数据处理,具体涉及基于人工智能的表格数据与文本内容双向转换方法。

背景技术:

1、随着数据驱动业务流程在各类企事业单位的快速发展,日常工作中产生了大量以excel表格存储的结构化数据与以日志、邮件、工单等形式存在的非结构化文本信息。业务场景往往要求二者之间进行高效、精准的双向转换,例如将excel表格中的客户配置参数批量生成sql脚本,或将客户反馈文档中的指令信息识别后自动回填至原始数据表格中。

2、然而,现有技术多集中于单向数据处理:即从excel导出为脚本或报告,或者手动从文本中提取信息更新表格。这类方案存在多个关键技术瓶颈:

3、文本回填困难:非结构化文本中的关键信息(如变更内容、目标字段、主键)难以被准确解析、定位并自动写入目标excel单元格,需大量人工干预;

4、数据质量差影响转换精度:原始excel数据常存在格式错乱、缺失值、不统一等问题,严重影响批量转换精度;

5、双向转换过程无状态追踪:现有工具缺乏将前向转换产生的上下文映射(如列→字段关系)同步用于反向回填,导致转换不一致或失配;

6、此外,在微服务系统日志分析、小型业务单元处理等“每次仅处理1~3行数据”的场景下,传统工具初始化成本高、响应慢、资源占用不合理,严重影响实用性。

7、尤其在日志型工单回填、敏捷运维环境中,准确从文本中定位要更改的目标字段并同步至excel表格的对应位置,成为当前数据处理自动化中的技术问题之一。

技术实现思路

1、本发明的目的是提供一种基于人工智能的表格数据与文本内容双向转换方法,以解决背景技术中不足。

2、为了实现上述目的,本发明提供如下技术方案:基于人工智能的表格数据与文本内容双向转换方法,包括:

3、接收用户配置的第一路径参数、第二路径参数、主键字段以及目标列配置;

4、根据所述第一路径参数读取目标excel表格,从起始行开始提取一个或多个指定目标列的数据,并将每一行有效数据按照字段名与字段值的对应关系组织为结构化对象,以构建结构化原始数据集合d1;

5、对所述结构化原始数据集合d1执行数据清洗操作,获得清洗后的数据集合d2;

6、接收并解析模板语句集合m,对每条模板语句按照预设占位符格式进行标识与分段处理,建立模板字段索引关系表;依据所述模板字段索引关系表,对所述数据集合d2中每一条结构化记录的字段值按照字段索引顺序依次替换所述模板语句中的对应占位符,生成目标文本内容t,并输出至所述第二路径参数对应的文本文件中;

7、读取所述第二路径参数对应的文本文件,对所述目标文本内容t中的每一条语句进行标准化预处理,并调用自然语言处理模型识别目标字段、目标值和目标标识;对识别结果执行实体对齐,按照预设字段映射规则,并依据语义位置距离或语义连接词,将同一句中的实体组合为结构化三元组,构建三元组集合e;

8、针对所述三元组集合e中的每一条记录,提取目标标识作为主键匹配值,并依据用户配置的主键字段在目标excel表格中匹配对应数据行;读取目标excel表格首行中的字段名信息,建立字段名与excel列索引的映射关系;根据匹配得到的行号和目标字段对应的列索引定位目标单元格位置,并将所述目标单元格位置与对应的目标值建立绑定关系,构建更新映射关系m';

9、基于所述更新映射关系m',将所述三元组集合e中的目标值填充至目标excel表格中对应的目标单元格,生成更新后的excel表格文件。

10、优选的,所述第一路径参数为excel文件路径,所述第二路径参数为文本文件路径,所述主键字段用于唯一标识excel表格中待匹配的数据行。

11、优选的,所述数据清洗操作包括格式标准化、缺失值补全及错误纠正。

12、优选的,依据用户提供的模板语句集合m,对清洗后的数据集合d2进行模板替换,包括:

13、接收并解析模板语句集合m,将每条模板语句按照预设占位符格式进行标识与分段处理,建立模板字段索引关系表;

14、遍历所述清洗后的数据集合d2,对每一条结构化记录中的字段值按照字段索引关系顺序依次替换所述模板语句中的对应占位符,生成中间替换结果;

15、对中间替换结果执行格式合法性校验与特殊字符转义处理;

16、将每一条替换完成的文本语句追加写入至第二路径参数所指向的目标文本文件中,完成目标文本内容t的构建与输出。

17、优选的,读取所述第二路径参数对应的文本文件,调用自然语言处理模型对文本内容t进行实体识别,包括:

18、按行读取第二路径参数所指定的文本文件,提取目标文本内容t的每一条语句,转换为自然语言处理模型可识别的标准文本输入格式;

19、基于命名实体识别模型构建语义标签字典,并加载已训练的序列标注模型对每条文本语句执行标注处理,识别出对应的目标字段、目标值与目标标识;

20、对标注结果执行实体对齐操作,按照预设字段映射规则将同一句中出现的多组实体组成结构化三元组,构建三元组集合e。

21、优选的,定位所述目标excel表格中的目标单元格位置,构建更新映射关系m',包括:

22、提取三元组集合e中每一条记录的目标标识,并依据用户配置的主键字段在目标excel表格中逐行匹配主键字段对应列的单元格内容;

23、当匹配成功时,记录匹配行号与对应三元组中目标字段的字段名称,形成字段名与excel列号的映射对;

24、基于匹配的行号与字段列号联合定位excel表格中需更新的目标单元格位置;

25、将每个目标单元格位置与对应的目标值建立绑定关系,构建更新映射关系m'。

26、优选的,基于匹配的行号与字段列号联合定位excel表格中需更新的目标单元格位置,包括:

27、在获得主键字段匹配成功的行号后,依据字段名与列索引映射关系,确定三元组中目标字段在目标excel表格中的对应字段列号;

28、将行号与字段列号进行坐标组合,形成用于唯一标识excel单元格位置的行列坐标对;

29、对行列坐标对执行有效性校验,判断其是否位于目标excel表格的有效数据区域内,排除表头行与空白列对应的坐标;

30、在校验通过后,将行列坐标对登记为可更新单元格标识,并作为后续写入目标值操作的唯一定位依据,从而完成目标单元格位置的确定。

31、优选的,基于所述更新映射关系m',将所述三元组集合e中的目标值填充至目标excel表格中对应的目标字段位置,包括:

32、依次遍历更新映射关系m′中每一条键值对,获取对应的行列坐标对与目标值;

33、调用电子表格读写组件按行列坐标定位目标excel表格中的目标单元格;

34、将目标值写入定位到的单元格,并对写入内容执行字符编码转换与数据类型适配;

35、在全部目标值写入完成后,执行保存操作,将修改后的表格数据写入为更新后的excel表格文件,支持原路径覆盖或另存为输出模式,由用户配置选项决定。

36、在上述技术方案中,本发明提供的技术效果和优点:

37、1、本发明提供的基于人工智能的表格数据与文本内容双向转换方法,通过构建结构化三元组、结合自然语言处理模型与字段映射逻辑,实现了非结构化文本语义向结构化excel单元格的精准映射与反向填充。该方法不仅解决了传统批量处理工具无法支持文本反向写入表格的技术瓶颈,还通过更新映射关系m′与单元格坐标定位机制,显著提高了数据定位准确率与批处理效率,避免了手工对照与数据错填等常见问题。

38、2、本发明具备双向语义驱动、自动匹配字段、动态数据类型适配、可视化配置操作等优势,在处理结构化与非结构化数据交互时展现出更高的智能性与灵活性。特别是在面对批量工单回填、日志数据修正、客户信息自动更新等场景中,本发明能够大幅减少人工干预成本,提升数据质量一致性与系统自动化水平,具备良好的工程推广价值。