基于多引擎级联与链式哈希的数据处理方法、装置与流程

摘要: 本技术涉及计算机数据处理,具体而言,涉及一种基于多引擎级联与链式哈希的数据处理方法、装置。背景技术:1、随着通信基础设施规模的不断扩大,运营商基站电费结算与能耗...
基于多引擎级联与链式哈希的数据处理方法、装置与流程

本技术涉及计算机数据处理,具体而言,涉及一种基于多引擎级联与链式哈希的数据处理方法、装置。

背景技术:

1、随着通信基础设施规模的不断扩大,运营商基站电费结算与能耗管理日益复杂。在日常运维中,相关部门需每日处理来自不同区域、不同运营商的电量数据报表。这些数据文件通常具有来源分散、格式异构、数据量大且结构不规范等特点。

2、现有的电量数据处理方案主要依赖单一解析引擎进行全量或基于文件修改时间的增量读取。具体而言,现有系统通常使用单一的通用电子表格解析库,每次处理时全量读取或仅依赖文件最后修改时间判断是否重新读取。然而,这种传统处理方式在应对真实复杂的业务场景时,即当遇到格式变异或编码异常时,单一引擎往往直接抛出异常或返回空数据,缺乏降级或容错机制。由于电量数据每日批量处理,一旦某个异构文件解析失败,不仅该文件数据丢失,往往会触发上游任务的连锁错误,导致整批同步任务中断,造成严重的业务中断和数据断点,从而最终致使整批电量数据同步任务彻底失败。

3、针对上述的问题,目前尚未提出有效的解决方案。

技术实现思路

1、本技术实施例提供了一种基于多引擎级联与链式哈希的数据处理方法、装置,以至少解决多源异构文件在增量同步过程中因缺乏内容感知与自适应解析机制导致的数据处理失败的技术问题。

2、根据本技术实施例的一个方面,提供了一种基于多引擎级联与链式哈希的数据处理方法,包括:启动多引擎级联机制对目标处理文件列表进行解析,得到目标数据集合,其中,多引擎级联机制用于按照预设优先级依次调用不同解析引擎解析目标处理文件列表中的文件,目标处理文件列表表征文件内容发生变化的文件集合;将目标数据集合中的每条数据记录写入业务数据主表,并为每条数据记录生成血缘标识,将血缘标识写入血缘数据表,其中,血缘标识用于唯一标识数据记录并关联该数据记录源文件位置以及解析处理节点;响应于目标数据集合的写入操作,生成当前处理批次的链式审计日志,并将链式审计日志加入至审计日志表中,其中,链式审计日志通过将当前处理批次涉及的血缘标识集合、操作内容与前序操作节点的哈希值进行链式关联得到。

3、可选地,在启动多引擎级联机制对目标处理文件列表进行解析之前,方法还包括:比对待处理文件列表中每个待处理文件的修改时间戳与该待处理文件在已处理记录中的修改时间戳;在修改时间戳未发生变化的情况下,跳过该待处理文件;在修改时间戳发生变化的情况下,对该待处理文件进行哈希计算,得到该待处理文件的文件哈希值;在检测到待处理文件的文件哈希值与该待处理文件在已处理记录中的文件哈希值不一致的情况下,将该待处理文件添加至目标处理文件列表。

4、可选地,启动多引擎级联机制对目标处理文件列表进行解析,得到目标数据集合,包括:初始化目标数据集合;遍历目标处理文件列表,对于目标处理文件列表中的每个目标处理文件,按照预设优先级,依次调用m个解析引擎进行解析,得到目标解析数据,并将目标解析数据添加至目标数据集合,其中,m为大于或等于1的正整数。

5、可选地,对于列表中的每个目标处理文件,按照预设的解析引擎级联顺序,依次调用m个解析引擎进行解析,得到目标解析数据,包括:调用第i个解析引擎解析当前目标处理文件,得到第i个数据行数,其中,i大于或等于1且i小于或等于m;在第i个数据行数大于或等于预设行数阈值的情况下,判定第i个解析引擎解析成功,将第i个解析引擎解析得到的数据作为目标解析数据,并终止调用解析引擎解析当前目标处理文件;在第i个数据行数小于预设行数阈值或第i个数据行数为预设的默认异常值的情况下,判定第i个解析引擎解析异常,执行切换解析引擎操作或生成解析异常日志操作。

6、可选地,执行切换解析引擎或生成解析异常日志操作,包括:在i小于m的情况下,使用第i+1个解析引擎对当前目标处理文件进行解析;在i等于m的情况下,判定当前目标处理文件解析失败,并生成解析异常日志。

7、可选地,为每条数据记录生成血缘标识,包括:获取与每条数据记录相关的多维标识信息,其中,多维标识信息至少包括数据记录所属的源文件标识、数据记录在源文件中的行号标识、数据记录所使用的解析引擎标识、数据记录的处理时间戳、以及数据记录执行处理操作的节点标识;将多维标识信息按照预设格式进行拼接,生成血缘标识。

8、可选地,响应于目标数据集合的写入操作,生成当前处理批次的链式审计日志,包括:基于当前处理批次确定当前操作节点,并获取当前操作节点的操作类型、操作参数、处理结果以及处理时间;从审计日志表中获取当前操作节点对应的前序操作节点的节点哈希值,并将该节点哈希值作为当前操作节点的父节点哈希;将当前操作节点的操作类型、操作参数、处理结果、处理时间以及父节点哈希进行序列化,生成当前操作节点的内容数据,其中,序列化用于将多维操作状态映射为标准的字符串序列;对内容数据进行哈希运算,生成当前操作节点的节点哈希值;基于操作类型、操作参数、处理结果、处理时间、父节点哈希以及节点哈希值,形成链式审计日志。

9、可选地,在形成链式审计日志之后,方法还包括:提取当前操作节点的节点哈希值,并将节点哈希值与当前处理批次涉及的所有血缘标识进行关联存储。

10、可选地,在生成当前处理批次的链式审计日志之后,方法还包括:确定当前处理批次中每条数据记录的哈希值,并基于每条数据记录的哈希值构建默克尔树,其中,默克尔树通过将相邻的数据记录的哈希值拼接并进行哈希运算后,自底向上逐层生成父节点哈希,直至产生根节点哈希值;获取默克尔树的根节点哈希值,并将根节点哈希值作为当前处理批次的批次完整性指纹存储至数据库中。

11、可选地,在将链式审计日志加入至审计日志表中之后,方法还包括:接收包括站址编码的查询请求,根据站址编码,在血缘数据表中查找与站址编码关联的目标血缘标识集合,其中,目标血缘标识集合表征与站址编码相关的所有数据记录的血缘标识;基于目标血缘标识集合,从血缘数据表中提取对应的血缘明细字段,其中,血缘明细字段至少包括源文件标识、行号标识、解析引擎标识、处理时间戳以及节点标识;基于血缘明细字段中的节点标识,在审计日志表中检索对应的批次审计记录;将血缘明细字段与批次审计记录进行关联,并按照处理时间戳进行升序排列,生成站址编码的目标溯源轨迹。

12、可选地,在将链式审计日志加入至审计日志表中之后,方法还包括:接收包括目标血缘标识的溯源请求,并获取与目标血缘标识关联的目标操作节点标识;以目标操作节点标识为查询条件,在审计日志表中查找对应的初始审计记录,并将初始审计记录中的父节点哈希值作为当前查询哈希值;以当前查询哈希值为查询条件,在审计日志表中查找对应的目标审计记录,并将目标审计记录中的父节点哈希值更新为新的查询哈希值;基于新的查询哈希值,继续执行以新的查询哈希值为查询条件查找目标审计记录的操作,直至查找到父节点哈希值为空的目标审计记录;将查找到的初始审计记录以及所有目标审计记录按处理时间顺序排列,生成目标溯源轨迹。

13、可选地,方法还包括:按照处理时间升序遍历审计日志表中的所有链式记录,对每条链式记录重新计算节点哈希值,得到重算节点哈希值;将重算节点哈希值与审计日志表中存储的节点哈希值进行比对,在比对结果不一致的情况下,生成链断裂告警并标记异常节点信息;在比对结果一致的情况下,生成审计链完整的确认信息。

14、根据本技术实施例的另一方面,还提供了一种基于多引擎级联与链式哈希的数据处理装置,包括:第一处理单元,用于启动多引擎级联机制对目标处理文件列表进行解析,得到目标数据集合,其中,多引擎级联机制用于按照预设优先级依次调用不同解析引擎解析目标处理文件列表中的文件,目标处理文件列表表征文件内容发生变化的文件集合;第二处理单元,用于将目标数据集合中的每条数据记录写入业务数据主表,并为每条数据记录生成血缘标识,将血缘标识写入血缘数据表,其中,血缘标识用于唯一标识数据记录并关联该数据记录源文件位置以及解析处理节点;第三处理单元,用于响应于目标数据集合的写入操作,生成当前处理批次的链式审计日志,并将链式审计日志加入至审计日志表中,其中,链式审计日志通过将当前处理批次涉及的血缘标识集合、操作内容与前序操作节点的哈希值进行链式关联得到。

15、根据本技术实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,在计算机程序运行时,使得计算机可读存储介质所在设备执行上述的基于多引擎级联与链式哈希的数据处理方法。

16、根据本技术实施例的另一方面,还提供了一种电子设备,包括一个或多个处理器和存储器,存储器用于存储一个或多个程序,其中,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器执行上述的基于多引擎级联与链式哈希的数据处理方法。

17、根据本技术实施例的另一方面,还提供了一种计算机程序产品,包括计算机程序或指令,计算机程序或指令在被处理器执行时实现上述的基于多引擎级联与链式哈希的数据处理方法。

18、在本技术实施例中,采用多引擎级联解析与链式哈希审计相结合的方式,通过按照预设优先级依次调用不同解析引擎以自适应兼容异构文件格式,并基于文件内容的实质变化检测生成目标处理文件列表进行增量同步,同时为每条数据记录生成关联源文件位置的血缘标识及包含前序节点哈希的链式审计日志,达到了有助于异构文件解析成功率、准确识别增量数据并建立数据全生命周期不可篡改追溯链条的目的,从而实现了数据处理的高兼容性、高准确性及全链路可信溯源的技术效果,进而解决了多源异构文件在增量同步过程中因缺乏内容感知与自适应解析机制导致的数据处理失败的技术问题。