基于批次隔离的数据处理方法、装置、电子设备、介质及产品与流程

摘要: 本技术涉及数据处理,具体涉及一种基于批次隔离的数据处理方法、装置、电子设备、可读存储介质及计算机程序产品。背景技术:1、随着互联网金融和电子商务的快速发展,大型...
基于批次隔离的数据处理方法、装置、电子设备、介质及产品与流程

本技术涉及数据处理,具体涉及一种基于批次隔离的数据处理方法、装置、电子设备、可读存储介质及计算机程序产品。

背景技术:

1、随着互联网金融和电子商务的快速发展,大型电商平台及金融科技公司通常在多银行、第三方支付机构及投融资平台开立大量资金账户,每日产生海量资金流水数据,需对这些流水进行精准分类标记以支撑现金流分析、财务报表生成及资金入账等核心业务。在现有的数据处理方法中,系统每日定时触发批处理任务,从各金融机构下载账单文件并解析入库,随后与内部业务系统的全量历史数据进行关联匹配,最后通过硬编码的java udf规则执行标签分配以生成打标报表。然而,由于每次执行均需扫描全量历史数据进行关联比对,导致单个批次的打标任务处理时长达到数小时量级,无法满足业务对数据产出时效的需求。

技术实现思路

1、鉴于上述问题,本技术提供一种基于批次隔离的数据处理方法、装置、电子设备、可读存储介质及计算机程序产品,能够解决因全量数据扫描导致打标任务处理效率低、数据产出时效差的问题。

2、第一方面,本技术提供了一种基于批次隔离的数据处理方法,包括:

3、响应于任务触发事件,生成目标批次号;

4、创建与所述目标批次号对应的目标任务实例;其中,所述目标任务实例包括组件流程配置数据;

5、将所述目标任务实例提交给离线执行引擎;

6、在所述离线执行引擎中,根据所述组件流程配置数据调用数据处理组件对所述目标批次号对应的增量分区数据进行数据处理,得到数据处理结果。

7、在上述技术方案中,该方法能够通过响应于任务触发事件生成目标批次号,将各次处理任务与对应时间范围的数据建立一一对应关系,使不同触发来源的任务统一纳入批次化管理,从而为按批次隔离处理数据奠定基础;通过创建携带组件流程配置数据的目标任务实例,使任务无需修改代码即可按预先配置的组件流程执行,从而提高流程编排灵活性和组件复用性;通过将目标任务实例提交至离线执行引擎,使任务处理与在线业务解耦,支持多批次任务并行调度,从而为增量并发处理和离在线混合编排提供执行基础;通过仅调用数据处理组件处理目标批次号对应的增量分区数据,使各批次数据物理隔离、互不干扰,避免全量扫描,从而实现增量并发处理,提高数据处理效率。

8、在一些实施方式中,所述响应于任务触发事件,生成目标批次号,包括:

9、当任务触发事件为定时调度触发事件时,按小时粒度生成第一预设格式的目标批次号;

10、当任务触发事件为在线业务操作触发事件时,按秒粒度生成第二预设格式的目标批次号;

11、当任务触发事件为异常数据重刷触发事件时,按秒粒度生成第三预设格式的目标批次号。

12、在上述技术方案中,该方法能够针对定时调度触发、在线业务操作触发、异常数据重刷触发三种任务触发事件,分别按小时粒度和秒粒度生成不同预设格式的目标批次号,使不同触发场景的任务均能获得与触发场景相适配粒度的目标批次号,既满足定时任务按小时批量处理的高效需求,又满足在线操作与异常重刷任务按秒定位的实时性需求,同时便于区分不同触发场景的任务来源。

13、在一些实施方式中,所述目标任务实例仅访问所述目标批次号对应的增量分区数据;

14、所述增量分区数据存储于所述离线执行引擎的离线数仓;

15、所述离线数仓存储有以批次号为分区字段的分区数据,不同批次号对应的分区数据在物理存储上相互隔离;

16、所述目标任务实例的执行状态受任务状态机管控,所述执行状态包括待执行状态、执行中状态、挂起状态、解挂状态、取消状态、完成状态和失败状态。

17、在上述技术方案中,该方法能够使目标任务实例仅访问目标批次号对应的增量分区数据,并以批次号为分区字段、物理存储相互隔离的方式存储于离线数仓,使各批次任务在并行执行时互不访问、互不干扰,从而避免全量扫描;同时,通过任务状态机对执行状态进行统一管控,还能够支持执行状态的灵活转换与异常控制,从而提高任务执行的可控性和并行处理的安全性。

18、在一些实施方式中,所述在所述离线执行引擎中,根据所述组件流程配置数据调用数据处理组件对所述目标批次号对应的增量分区数据进行数据处理,得到数据处理结果,包括:

19、获取所述目标批次号对应的同步时间范围;

20、根据所述同步时间范围在离线数仓中筛选与所述目标批次号对应的增量分区数据;

21、根据所述组件流程配置数据和所述任务触发事件对应的任务类型,获取目标组件列表和目标组件顺序;其中,所述组件流程配置数据通过配置化编排定义;

22、在所述离线执行引擎中,根据所述目标组件列表、所述目标组件顺序、所述目标批次号和所述同步时间范围,调用相应的数据处理组件对所述增量分区数据进行数据处理,得到数据处理结果;所述数据处理组件之间通过所述目标批次号传递数据;

23、其中,当所述任务触发事件为定时调度触发事件时,所述同步时间范围基于预设前推时间段和所述目标批次号的时间戳确定;

24、当所述任务触发事件为在线业务操作触发事件时,所述同步时间范围基于所述在线业务操作触发事件所关联的业务时间确定。

25、在上述技术方案中,该方法能够根据同步时间范围在离线数仓中筛选与目标批次号对应的增量分区数据,并依据配置化编排定义的目标组件列表和目标组件顺序调用相应的数据处理组件,由组件间通过目标批次号传递数据,实现处理流程的配置化灵活编排与组件复用;同时,针对定时调度和在线业务操作两类触发事件,分别基于预设前推时间段与关联业务时间确定同步时间范围,能够使数据同步范围与任务触发场景相匹配,从而提高数据同步的准确性和流程编排的灵活性。

26、在一些实施方式中,当任务触发事件为定时调度触发事件时,所述任务类型为正常打标任务;

27、当任务触发事件为在线业务操作触发事件,且所述在线业务操作触发事件为打标规则变更事件时,所述任务类型为规则变更刷数任务;

28、当任务触发事件为在线业务操作触发事件,且所述在线业务操作触发事件为人工认领事件时,所述任务类型为人工认领处理任务;

29、当任务触发事件为在线业务操作触发事件,且所述在线业务操作触发事件为异常数据标记事件时,或者当任务触发事件为异常数据重刷触发事件时,所述任务类型为异常重刷任务;

30、当所述任务类型为正常打标任务时,所述目标组件列表包括数据同步组件、数据关联组件、标签匹配组件和数据质检组件,所述目标组件顺序为数据同步组件、数据关联组件、标签匹配组件和数据质检组件;

31、当所述任务类型为规则变更刷数任务时,所述目标组件列表包括数据同步组件、数据关联组件和标签匹配组件,所述目标组件顺序为数据同步组件、数据关联组件、标签匹配组件;

32、当所述任务类型为所述人工认领处理任务或者所述异常重刷任务时,所述目标组件列表包括数据关联组件和标签匹配组件,所述目标组件顺序为数据关联组件、标签匹配组件。

33、在上述技术方案中,该方法能够将不同触发事件映射为对应的任务类型,并为各任务类型配置相应的目标组件列表和目标组件顺序,使得不同任务类型均能获得适配的组件组合,既保证正常打标任务的完整处理,又避免规则变更刷数、人工认领处理、异常重刷等任务执行不必要的组件,从而减少无效处理,提高组件复用率和任务处理效率。

34、在一些实施方式中,所述在所述离线执行引擎中,根据所述目标组件列表、所述目标组件顺序、所述目标批次号和所述同步时间范围,调用相应的数据处理组件对所述增量分区数据进行数据处理,得到数据处理结果,包括:

35、当所述任务类型为正常打标任务时,以所述目标批次号、所述同步时间范围为输入,调用所述离线执行引擎中的所述数据同步组件进行基于在线配置库的业务规则配置同步处理,得到与所述目标批次号对应的目标配置数据表;其中,所述目标配置数据表包括与所述目标批次号对应的关联配置规则、标签配置规则和质检配置规则;

36、以所述目标批次号、所述目标配置数据表为输入,调用所述离线执行引擎中的所述数据关联组件,对所述增量分区数据和目标内部业务数据进行基于所述关联配置规则和多层级优先匹配策略的关联匹配处理,得到与所述目标批次号对应的目标数据关联结果表;其中,所述多层级优先匹配策略包括先基于交易流水号进行精确匹配,再基于账号、备注、类型字段中的至少一种进行模糊匹配,最后根据金额、日期、账号进行规则匹配;所述目标内部业务数据是根据所述同步时间范围预先从内部业务系统抽取的;

37、以所述目标批次号、所述标签配置规则为输入,调用所述离线执行引擎中的所述标签匹配组件,进行基于动态udf的标签分配处理,得到打标结果,并按所述目标批次号将所述打标结果写入所述目标数据关联结果表,得到与所述目标批次号对应的目标打标结果表;其中,所述动态udf是基于所述标签配置规则动态生成的;

38、以所述目标批次号、所述质检配置规则为输入,调用所述离线执行引擎中的所述数据质检组件对所述目标打标结果表进行质量检查,得到与所述目标批次号对应的目标质量检查结果;其中,所述目标质量检查结果包括目标质检结果表和目标异常数据表;

39、其中,数据处理结果包括所述目标配置数据表、所述目标数据关联结果表、所述目标打标结果表、所述目标质量检查结果中的一种或者多种。

40、在上述技术方案中,该方法能够依次调用数据同步组件、数据关联组件、标签匹配组件和数据质检组件,形成从配置同步、关联匹配、标签分配到质量检查的完整打标链路;进一步地,数据关联组件能够采用多层级优先匹配策略提高关联匹配成功率,标签匹配组件能够通过基于标签配置规则动态生成的动态udf实现标签逻辑的灵活扩展,数据质检组件能够对打标结果进行质量检查,从而提升打标全流程的处理准确性和输出数据的可靠性。

41、在一些实施方式中,所述在所述离线执行引擎中,根据所述组件流程配置数据调用数据处理组件对所述目标批次号对应的增量分区数据进行数据处理,得到数据处理结果之后,所述方法还包括:

42、根据所述数据处理结果判断是否存在异常;

43、如果是,根据所述数据处理结果获取目标异常数据表;

44、对所述目标异常数据表进行异常识别,得到异常类型;所述异常类型包括渠道账单异常、业务数据晚到、关联匹配失败和质检规则配置不通过;

45、根据所述异常类型创建异常重刷任务;

46、根据所述异常重刷任务生成重刷批次号;

47、通过在线触发器触发异常数据重刷触发事件,并根据所述组件流程配置数据和所述异常数据重刷触发事件对应的任务类型,获取重刷组件列表和重刷组件顺序;

48、根据所述重刷组件列表、所述重刷组件顺序、所述重刷批次号,复用所述数据关联组件和所述标签匹配组件进行数据处理,得到重刷结果。

49、在上述技术方案中,该方法能够实现异常数据的自动识别、定向重刷和自动补偿,从而避免全量重跑,提高异常处理的效率和准确性。

50、在一些实施方式中,所述在所述离线执行引擎中,根据所述组件流程配置数据调用数据处理组件对所述目标批次号对应的增量分区数据进行数据处理,得到数据处理结果之后,所述方法还包括:

51、根据所述数据处理结果获取目标质检结果表和目标打标结果表;

52、根据所述目标质检结果表从所述目标打标结果表中提取通过质量检查的打标结果,作为待合并数据;

53、根据刷数写入与正常写入的差异处理规则、时间戳优先原则和标签优先级原则,将所述待合并数据写入最终指标表;

54、其中,所述最终指标表用于合并存储多个批次号对应的通过质量检查的打标结果。

55、在上述技术方案中,该方法能够使多批次打标结果在合并过程中遵循统一的时序控制规则,从而避免相互覆盖或冲突,进而保证最终指标表中数据的一致性和准确性。

56、在一些实施方式中,在所述根据刷数写入与正常写入的差异处理规则、时间戳优先原则和标签优先级原则,将所述待合并数据写入最终指标表之后,所述方法还包括:

57、按照预设定时时间触发覆盖率统计任务;

58、根据所述覆盖率统计任务,以所述最终指标表中的打标结果为统计对象,分别按全局维度、业务场景维度和账户维度统计多维精打覆盖率;其中,所述多维精打覆盖率包括全局精打覆盖率、业务场景精打覆盖率和账户精打覆盖率;

59、当所述全局精打覆盖率、所述业务场景精打覆盖率或者所述账户精打覆盖率低于预设覆盖率阈值时,根据所述多维精打覆盖率和所述预设覆盖率阈值获取归因分析场景;

60、根据所述归因分析场景获取待分析数据;其中,所述待分析数据包括待分析资金流水表、待分析内部业务数据、待分析数据关联结果表和待分析打标结果表;

61、对所述待分析数据进行分层归因分析,得到归因分析报告;

62、将所述归因分析报告推送至在线业务系统。

63、在上述技术方案中,该方法能够实现对打标效果的全面监控和低覆盖率原因的准确定位,从而为打标流程优化提供数据支撑。

64、在一些实施方式中,所述对所述待分析数据进行分层归因分析,得到归因分析报告,包括:

65、对所述待分析资金流水表进行账单拉取与解析完整性分析,得到第一层分析结果;

66、对所述待分析内部业务数据进行数据同步与完整情况分析,得到第二层分析结果;

67、对所述待分析数据关联结果表中关联规则配置与匹配逻辑的正确性进行分析,得到第三层分析结果;

68、对所述待分析打标结果表的标签配置规则与udf执行情况进行分析,得到第四层分析结果;

69、根据所述第一层分析结果、所述第二层分析结果、所述第三层分析结果和所述第四层分析结果,生成归因分析报告。

70、在上述技术方案中,该方法能够从数据源、关联、打标各环节逐层定位覆盖率低的原因,提高归因分析的全面性和定位准确性。

71、第二方面,本技术提供了一种基于批次隔离的数据处理装置,包括:

72、生成单元,用于响应于任务触发事件,生成目标批次号;

73、创建单元,用于创建与所述目标批次号对应的目标任务实例;其中,所述目标任务实例包括组件流程配置数据;

74、提交单元,用于将所述目标任务实例提交给离线执行引擎;

75、处理单元,用于在所述离线执行引擎中,根据所述组件流程配置数据调用数据处理组件对所述目标批次号对应的增量分区数据进行数据处理,得到数据处理结果。

76、在上述技术方案中,该装置能够通过响应于任务触发事件生成目标批次号,将各次处理任务与对应时间范围的数据建立一一对应关系,使不同触发来源的任务统一纳入批次化管理,从而为按批次隔离处理数据奠定基础;通过创建携带组件流程配置数据的目标任务实例,使任务无需修改代码即可按预先配置的组件流程执行,从而提高流程编排灵活性和组件复用性;通过将目标任务实例提交至离线执行引擎,使任务处理与在线业务解耦,支持多批次任务并行调度,从而为增量并发处理和离在线混合编排提供执行基础;通过仅调用数据处理组件处理目标批次号对应的增量分区数据,使各批次数据物理隔离、互不干扰,避免全量扫描,从而实现增量并发处理,提高数据处理效率。

77、第三方面,本技术提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器用于存储计算机程序,所述处理器运行所述计算机程序以使所述电子设备执行第一方面中任一项所述的基于批次隔离的数据处理方法。

78、第四方面,本技术提供了一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器运行时,执行第一方面中任一项所述的基于批次隔离的数据处理方法。

79、第五方面,本技术提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被处理器运行时,执行第一方面中任一项所述的基于批次隔离的数据处理方法。

80、本技术的有益效果为:通过组件化架构和配置化编排的方式,能够在无需修改代码的情况下即可调整处理流程,实现业务场景的快速接入,降低接入成本;同时,通过批次隔离与增量并发处理,使多批次任务并行执行且互不干扰,还能够避免全量扫描,从而提升数据处理效率;其次,通过基于标签配置规则动态生成的动态udf,还能够实现标签匹配逻辑的灵活扩展,从而支持打标账户的快速扩展,提升打标覆盖率;再次,通过响应于在线业务操作触发事件自动生成批次号并调度离线执行,还能够实现业务操作自动触发数据刷新,从而提高自动化程度,降低运维成本;然后,通过数据质检组件对打标结果进行质量检查,还能够确保输出数据的准确性和完整性,并通过覆盖率统计与归因分析定位低覆盖率原因,持续提升打标覆盖率;再后,通过多层级优先匹配策略,还能够提高复杂业务场景下关联匹配的成功率;最后,通过组件复用与配置化编排,还能够实现处理逻辑的复用与灵活组合,从而增强系统扩展性。