一种基于一致性校验的企业订单数据加工链路异常检测方法、装置、设备及存储介质与流程

本发明涉及计算机，特别涉及一种基于一致性校验的企业订单数据加工链路异常检测方法、装置、设备及存储介质。

背景技术：

1、目前，一批企业订单数据经过清洗、关联、拆分和汇总后，上下游记录的数量、主键和数据粒度都可能变化。现有合计校验能发现少算、多算，却发现不了“来源a少30、来源b多30”；整行哈希能识别一行是否变化，但拆分、汇总前后的行结构本来就不同，无法直接比较。

2、以一条常见的企业订单数据加工链为例，原始企业订单数据先做格式清洗，再关联其他表补充字段，随后按规则过滤、拆分或新增记录，最后汇总并写入目标表。走完这些步骤后，一条输入可能变成多条明细，多条明细也可能只剩一条汇总记录，已经没有统一主键可以直接关联。

3、实际排查时，通常先看任务有没有报错，再比较头尾两端的记录数和数值合计。发现差异后，从最后一张表向前编写结构化查询语句逐层核对。链路短时还能处理，表和加工步骤一多，排查脚本就会越来越长，并且在总量没有变化而来源写错时，这些脚本不会主动报警。

4、目前主要有以下几种做法：

5、1、把相邻两张表展开到相同粒度，再按业务主键逐行比较。

6、2、在链路起点和终点比较记录数、数值合计或整表摘要。

7、3、查看任务日志，确认每个任务是否正常开始和结束。

8、4、查看数据血缘，确认目标字段经过了哪些表和加工任务。

9、但是，上述做法存在以下问题：

10、问题一：发现结果不一致，但不知道从哪一步开始错。

11、问题二：合计值相同，企业订单数据来源写错也能通过。

12、问题三：企业订单数据粒度变化后，普通摘要不能继续比较。

13、问题四：主、备数据库分片校验不能直接套到加工链。

14、由上可见，如何在企业订单数据加工链路异常检测过程中提高对企业订单数据加工链路进行异常检测的效率是目前亟待解决的问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于一致性校验的企业订单数据加工链路异常检测方法、装置、设备及存储介质，能够在基于一致性校验的企业订单数据加工链路异常检测过程中提高对企业订单数据加工链路进行异常检测的效率。其具体方案如下：

2、第一方面，本技术提供了一种基于一致性校验的企业订单数据加工链路异常检测方法，包括：

3、基于企业订单数据加工任务构建包括若干数据加工节点的企业订单数据加工链路，并利用所述数据加工节点从源数据库中读取待处理数据记录；所述待处理数据记录包括来源编号以及对应的可累计数值；

4、利用预设校验标识生成工具，生成与所述待处理数据记录对应的可累加的数据来源校验标识；所述数据来源校验标识包括数值校验信息和来源校验信息；

5、当各所述数据加工节点执行数据处理操作时，获取所述数据加工节点中实际参与处理的实际输入数据记录，并对所述实际输入数据记录对应的所述数据来源校验标识进行累计计算，生成对应的输入校验结果；

6、当所述数据加工节点执行数据输出操作时，将输出确认结果写入目标数据库，并基于得到的数据库回读确认结果确定实际输出数据记录，并对所述实际输出数据记录的数据来源校验标识进行累计计算，生成输出校验结果；

7、基于所述输入校验结果与所述输出校验结果对各所述数据加工节点进行节点内部一致性校验与交接一致性校验，并在首次检测到校验失败时确定对应的异常数据加工节点，以对所述企业订单数据加工链路中的异常数据加工节点进行异常恢复。

8、可选的，所述利用预设校验标识生成工具，生成与所述待处理数据记录对应的可累加的数据来源校验标识，包括：

9、对所述来源编号执行预设编码规则对应的确定性映射处理，得到来源映射值；

10、将所述来源映射值与所述可累计数值进行关联计算，得到来源校验信息，并基于所述可累计数值生成数值校验信息；

11、利用预设校验标识生成工具将所述数值校验信息与所述来源校验信息进行组合，得到预设长度的数据来源校验标识，并将所述数据来源校验标识与对应的待处理数据记录进行关联存储；

12、其中，所述数值校验信息用于反映所述可累计数值变化，所述来源校验信息用于反映所述来源编号与所述可累计数值之间的对应关系。

13、可选的，所述当各所述数据加工节点执行数据处理操作时，获取所述数据加工节点中实际参与处理的实际输入数据记录，并对所述实际输入数据记录对应的所述数据来源校验标识进行累计计算，生成对应的输入校验结果，包括：

14、当所述数据加工节点中的数据拆分节点执行数据拆分操作时，获取拆分得到的各子数据记录，并基于各所述子数据记录对应的来源编号和可累计数值重新生成对应的数据来源校验标识，以基于重新生成的各所述数据来源校验标识进行累计，得到拆分后校验结果；

15、当所述数据加工节点中的数据汇总节点执行数据汇总操作时，确定参与汇总操作的各汇总数据记录，并对各所述汇总数据记录分别重新生成对应的数据来源校验标识，以基于重新生成的各数据来源校验标识进行累计，得到各所述汇总数据记录对应的汇总校验结果；所述输入校验结果包括所述拆分后校验结果与所述汇总校验结果。

16、可选的，所述当各所述数据加工节点执行数据处理操作时，获取所述数据加工节点中实际参与处理的实际输入数据记录，并对所述实际输入数据记录对应的所述数据来源校验标识进行累计计算，生成对应的输入校验结果，包括：

17、当所述数据加工节点中的数据增加节点执行数据增加操作时，获取新增数据记录，并对各所述新增数据记录分别对应的数据来源校验标识进行累计，得到新增校验结果；

18、当所述数据加工节点中的数据删减节点执行数据删减操作时，获取被过滤数据记录，并对所述被过滤数据记录对应的数据来源校验标识进行累计，得到过滤校验结果；所述输入校验结果包括所述新增校验结果与所述过滤校验结果。

19、可选的，所述基于所述输入校验结果与所述输出校验结果对各所述数据加工节点进行节点内部一致性校验与交接一致性校验之前，还包括：

20、确定与所述企业订单数据加工任务对应的批次标识和计算版本；

21、其中，所述批次标识用于限定参与一致性校验的数据范围；所述计算版本用于限定来源编号编码规则、可累计数值转换规则、来源校验信息生成规则以及数据来源校验标识计算规则；当所述批次标识和所述计算版本均相同时，对应的所述数据来源校验标识用于执行节点内部一致性校验和交接一致性校验。

22、可选的，所述基于所述输入校验结果与所述输出校验结果对各所述数据加工节点进行节点内部一致性校验与交接一致性校验，包括：

23、基于所述批次标识、所述数据加工节点的节点编号、所述输入校验结果、所述输出校验结果、当前计算版本以及输出确认方式确定各所述数据加工节点分别对应的节点校验记录；

24、基于所述节点校验记录对所述数据加工节点执行节点内部一致性校验，得到节点内部一致性校验结果；所述节点内部一致性校验为判断所述数据加工节点对应的所述输入校验结果与新增校验结果之和是否等于所述输出校验结果与过滤校验结果之和；

25、基于所述节点校验记录、相邻的各所述数据加工节点分别对应的所述输出校验结果和所述输入校验结果对相邻的各所述数据加工节点进行交接一致性校验，得到交接一致性校验结果；所述交接一致性校验结果为判断前一数据加工节点的输出校验结果是否等于后一数据加工节点的输入校验结果。

26、可选的，所述在首次检测到校验失败时确定对应的异常数据加工节点，以对所述企业订单数据加工链路中的异常数据加工节点进行异常恢复，包括：

27、当首次检测到节点内部一致性校验失败或交接一致性校验失败时，将对应的数据加工节点的节点位置，或相邻数据加工节点之间的交接位置确定为异常定位结果；

28、基于所述异常定位结果获取对应的所述数据加工节点的节点数据，并对所述企业订单数据加工链路中的所述异常数据加工节点对应的所述节点数据执行对应的数据处理操作，以完成异常恢复；所述节点数据包括数据处理日志、数据传递记录以及原始订单数据。

29、第二方面，本技术提供了一种基于一致性校验的企业订单数据加工链路异常检测装置，包括：

30、数据记录读取模块，用于基于企业订单数据加工任务构建包括若干数据加工节点的企业订单数据加工链路，并利用所述数据加工节点从源数据库中读取待处理数据记录；所述待处理数据记录包括来源编号以及对应的可累计数值；

31、数据来源校验标识生成模块，用于利用预设校验标识生成工具，生成与所述待处理数据记录对应的可累加的数据来源校验标识；所述数据来源校验标识包括数值校验信息和来源校验信息；

32、输入校验结果生成模块，用于当各所述数据加工节点执行数据处理操作时，获取所述数据加工节点中实际参与处理的实际输入数据记录，并对所述实际输入数据记录对应的所述数据来源校验标识进行累计计算，生成对应的输入校验结果；

33、输出校验结果生成模块，用于当所述数据加工节点执行数据输出操作时，将输出确认结果写入目标数据库，并基于得到的数据库回读确认结果确定实际输出数据记录，并对所述实际输出数据记录的数据来源校验标识进行累计计算，生成输出校验结果；

34、节点恢复模块，用于基于所述输入校验结果与所述输出校验结果对各所述数据加工节点进行节点内部一致性校验与交接一致性校验，并在首次检测到校验失败时确定对应的异常数据加工节点，以对所述企业订单数据加工链路中的异常数据加工节点进行异常恢复。

35、第三方面，本技术提供了一种电子设备，包括：

36、存储器，用于保存计算机程序；

37、处理器，用于执行所述计算机程序，以实现前述的基于一致性校验的企业订单数据加工链路异常检测方法。

38、第四方面，本技术提供了一种计算机可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述的基于一致性校验的企业订单数据加工链路异常检测方法。

39、由上可见，本技术在进行基于一致性校验的企业订单数据加工链路异常检测之前，需要先将来源编号和数值绑定在同一校验值中。本发明在各加工节点生成固定长度的来源校验状态。该状态由来源编号和该来源承担的符号数值共同计算，并在拆分、汇总过程中按照统一规则传递。系统分别检查节点内部的来源贡献是否守恒以及相邻节点之间的输出和输入是否一致，再按加工顺序确定首个失配节点或交接边界。

40、由此可见，本技术首先需要针对实际读取位置累计输入校验状态，并按实际命中规则同步累计新增或过滤校验状态，避免了单纯“总额是否相等”的判断盲区。这样一来，在企业订单数据加工链路异常检测的过程中提高了异常发现的准确性和定位效率，显著缩小了排查范围，进而提升了用户的体验感。