一种支持多格式输出的高性能数据表转化方法与流程

摘要: 本发明涉及计算机数据处理,尤其涉及一种支持多格式输出的高性能数据表转化方法。背景技术:1、在游戏及各类软件项目的研发过程中,将策划人员使用excel维护的配置数...
一种支持多格式输出的高性能数据表转化方法与流程

本发明涉及计算机数据处理,尤其涉及一种支持多格式输出的高性能数据表转化方法。

背景技术:

1、在游戏及各类软件项目的研发过程中,将策划人员使用excel维护的配置数据转换为程序可高效读取的数据格式,是一个基础且关键的环节。然而,当前业界的转换方案普遍存在以下技术瓶颈:一是缺乏通用性,工具与特定项目格式强耦合,导致重复开发,方案难以复用演进;二是转换效率低,传统工具多采用全量处理模式,即使修改单个表格也需对所有文件重新解析,随着配置迭代愈发频繁,已成为持续集成流程的显著瓶颈;三是错误排查困难,现有工具报错信息不精确,难以快速定位到具体表格、行或列,多人协作时的文件冲突问题也难以妥善解决;四是配置管理混乱,导出规则调整往往需要修改代码,操作门槛高且易引入新错误;五是工具依赖命令行或特定脚本环境,对非开发人员不友好,限制了配置迭代的灵活性与效率。

技术实现思路

1、为了弥补以上不足,本发明提供了一种支持多格式输出的高性能数据表转化方法,旨在改善现有数据表转化工具通用性差、转换效率低、错误定位困难、配置管理不便及操作门槛高的问题。

2、为实现上述目的,本发明提供了如下技术方案:

3、第一方面,本发明提供了如下技术方案,一种支持多格式输出的高性能数据表转化方法,包括:

4、s1、通过可视化配置界面接收用户输入的模板配置信息,所述模板配置信息用于驱动数据校验与格式映射,将所述模板配置信息保存至本地配置文件中;

5、s2、根据所述本地配置文件中的源路径定位源数据文件,调用git版本管理接口获取所述源数据文件相对于基准版本的变更状态元数据,提取发生变更的目标文件;

6、s3、响应于所述可视化配置界面的数据转化指令,激活协程池,利用所述协程池对所述目标文件执行并行流式读取与解析,同步获取每个数据单元的行号及列号作为原始物理坐标信息;

7、s4、依据所述模板配置信息,对解析得到的数据实体同步执行数据校验与格式映射,校验未通过时基于所述原始物理坐标信息输出错误锚点,校验通过时依据所述模板配置信息进行格式映射并写入目标路径;

8、s5、响应于用户在所述可视化配置界面对模板的管理操作,更新所述本地配置文件中的对应模板配置信息,并在后续数据转化任务启动时加载更新后的模板配置信息;

9、s6、所述源数据文件的数据表结构按照预设格式规范定义。

10、进一步地,在s1中,所述模板配置信息包括源文件存储路径、目标文件存储路径、导出语种类型以及字段导出规则;所述字段导出规则包括字符串类型字段的处理规则、数组类型字段的分隔规则及浮点数类型字段的精度规则。

11、进一步地,在s2中,所述变更状态元数据包括文件路径信息和变更类型标识,所述变更类型标识用于指示所述源数据文件相对于所述基准版本的变更类型。

12、进一步地,在s4中,所述数据实体同步执行数据校验与格式映射的步骤包括:

13、依据所述模板配置信息中的字段导出规则,对所述数据实体执行数据类型合法性校验、表头结构完整性校验及数值精度校验,并根据校验结果执行相应的处理路径。

14、进一步地,所述数据类型合法性校验依据的字段类型包括布尔类型、整数类型、浮点类型、字符串类型、数组类型及字典类型。

15、进一步地,在s4中,所述基于所述原始物理坐标信息输出错误锚点的步骤包括:

16、当校验未通过时,捕获当前数据实体所携带的原始物理坐标信息,所述原始物理坐标信息包括所述数据单元所在的数据表标识、行位置及列位置,并基于所述原始物理坐标信息生成错误锚点。

17、进一步地,在s4中,所述格式映射具体包括:

18、依据所述模板配置信息中的导出语种类型及字段导出规则,对所述数据实体中的各字段执行类型转换,并将转换后的数据实体写入目标文件存储路径。

19、进一步地,在s5中,所述管理操作包括模板配置信息的新增操作、删除操作或参数变更操作。

20、进一步地,在s6中,所述预设格式规范为前三行依次为字段名行、字段属性行和预留行,自第四行起为数据集;所述字段属性行用于声明各列的数据类型,所述数据类型用于驱动所述数据校验与格式映射。

21、第二方面,本发明提供以下技术方案,一种支持多格式输出的高性能数据表转化系统,用于实现上述的一种支持多格式输出的高性能数据表转化方法,所述系统包括:

22、可视化配置模块,用于通过可视化配置界面接收用户输入的模板配置信息,所述模板配置信息用于驱动数据校验与格式映射,将所述模板配置信息保存至本地配置文件中;

23、差异检测模块,用于根据所述本地配置文件中的源路径定位源数据文件,调用git版本管理接口获取所述源数据文件相对于基准版本的变更状态元数据,提取发生变更的目标文件;

24、并发解析模块,用于响应于所述可视化配置界面的数据转化指令,激活协程池,利用所述协程池对所述目标文件执行并行流式读取与解析,同步获取每个数据单元的行号及列号作为原始物理坐标信息;

25、校验映射模块,用于依据所述模板配置信息,对解析得到的数据实体同步执行数据校验与格式映射,校验未通过时基于所述原始物理坐标信息输出错误锚点,校验通过时依据所述模板配置信息进行格式映射并写入目标路径;

26、模板管理模块,用于响应于用户在所述可视化配置界面对模板的管理操作,更新所述本地配置文件中的对应模板配置信息,并在后续数据转化任务启动时加载更新后的模板配置信息;

27、格式规范模块,用于所述源数据文件的数据表结构按照预设格式规范定义。

28、本发明具有如下有益效果:

29、1、本发明中,通过可视化配置界面接收模板配置信息并保存,结合预设格式规范定义源数据文件结构,使非专业人员无需编写代码即可完成配置,提升了工具的通用性与可扩展性。

30、2、本发明中,通过git接口获取变更状态将转化任务限定于变动文件,避免全量扫描的无效开销;激活协程池并行流式读取目标文件,使内存消耗与单行数据量相关而非文件总大小,避免了内存溢出风险,显著提升了数据处理吞吐量。

31、3、本发明中,通过同步执行数据校验与格式映射,避免传统双次遍历,降低了数据处理时延;解析时同步获取数据单元的物理坐标,在校验未通过时输出包含数据表标识、行位置及列位置的错误锚点,提升了错误定位的准确性与效率;模板配置的修改在后续任务中自动生效,无需人工干预,降低了手动编辑引入错误的风险,提升了工具的可维护性。

1.一种支持多格式输出的高性能数据表转化方法,其特征在于,包括:

2.根据权利要求1所述的一种支持多格式输出的高性能数据表转化方法,其特征在于,在s1中,所述模板配置信息包括源文件存储路径、目标文件存储路径、导出语种类型以及字段导出规则;所述字段导出规则包括字符串类型字段的处理规则、数组类型字段的分隔规则及浮点数类型字段的精度规则。

3.根据权利要求1所述的一种支持多格式输出的高性能数据表转化方法,其特征在于,在s2中,所述变更状态元数据包括文件路径信息和变更类型标识,所述变更类型标识用于指示所述源数据文件相对于所述基准版本的变更类型。

4.根据权利要求1所述的一种支持多格式输出的高性能数据表转化方法,其特征在于,在s4中,所述数据实体同步执行数据校验与格式映射的步骤包括:

5.根据权利要求4所述的一种支持多格式输出的高性能数据表转化方法,其特征在于,所述数据类型合法性校验依据的字段类型包括布尔类型、整数类型、浮点类型、字符串类型、数组类型及字典类型。

6.根据权利要求1所述的一种支持多格式输出的高性能数据表转化方法,其特征在于,在s4中,所述基于所述原始物理坐标信息输出错误锚点的步骤包括:

7.根据权利要求1所述的一种支持多格式输出的高性能数据表转化方法,其特征在于,在s4中,所述格式映射具体包括:

8.根据权利要求1所述的一种支持多格式输出的高性能数据表转化方法,其特征在于,在s5中,所述管理操作包括模板配置信息的新增操作、删除操作或参数变更操作。

9.根据权利要求1所述的一种支持多格式输出的高性能数据表转化方法,其特征在于,在s6中,所述预设格式规范为前三行依次为字段名行、字段属性行和预留行,自第四行起为数据集;所述字段属性行用于声明各列的数据类型,所述数据类型用于驱动所述数据校验与格式映射。

10.一种支持多格式输出的高性能数据表转化系统,其特征在于,用于权利要求1-9任一项所述的一种支持多格式输出的高性能数据表转化方法,所述系统包括: