数据处理方法及装置、设备、存储介质与流程

摘要: 本技术实施例涉及数据处理领域,涉及但不限于一种数据处理方法及装置、设备、存储介质。背景技术:1、随着高斯dws(datawarehouseservice,数据仓...
数据处理方法及装置、设备、存储介质与流程

本技术实施例涉及数据处理领域,涉及但不限于一种数据处理方法及装置、设备、存储介质。

背景技术:

1、随着高斯dws(data warehouse service,数据仓)数仓在大数据业务场景中的广泛落地,海量业务数据的同步、转换与批量处理需求日益频繁。在传统的数据处理实现方案中,数据加工、字段映射、表数据同步及任务调度大多采用固化代码开发、固定流程编排的实现方式,整体数据处理流程固化、通用性差,难以适配大数据场景下多样化、动态变化的业务处理需求。

技术实现思路

1、有鉴于此,本技术实施例提供的数据处理方法及装置、设备、存储介质,能够实现灵活、通用性强且可靠的数据处理过程。

2、本技术实施例提供的数据处理方法及装置、设备、存储介质是这样实现的:

3、本技术实施例的一方面,提供一种数据处理方法,所述方法包括:

4、确定目标数据仓对应的多个数据处理规则,所述数据处理规则包括源数据表、目标数据表,以及所述源数据表与所述目标数据表之间的映射关系;

5、根据所述多个数据处理规则确定至少一个待处理任务;

6、通过编排所述至少一个待处理任务确定任务处理策略;

7、在满足预设的任务处理条件的情况下,基于所述任务处理策略限定的任务执行顺序依次执行各所述待处理任务;

8、其中,各所述待处理任务的执行过程包括:

9、在所述目标数据仓对应的数据表中获取所述待处理任务对应的源数据表;

10、根据所述待处理任务对应的数据处理规则以及所述源数据表的内容,确定所述源数据表对应的目标数据表。

11、在一种可能的实现方式中,所述确定目标数据仓对应的多个数据处理规则,包括:

12、显示包括所述目标数据仓对应多类数据表的规则配置页面;

13、响应于用户在所述数据仓服务对应的多类数据表中确定具有映射关系的源数据表和目标数据表,根据所述具有映射关系的源数据表和目标数据表确定对应的数据处理规则。

14、在一种可能的实现方式中,所述根据所述具有映射关系的源数据表和目标数据表确定对应的数据处理规则,包括:

15、识别所述具有映射关系的源数据表和目标数据表中的字段内容;

16、匹配所述源数据表中的源数据字段和所述目标数据表中的目标数据字段的映射关系,得到对应的数据处理规则。

17、在一种可能的实现方式中,所述根据所述多个数据处理规则确定至少一个待处理任务,包括:

18、显示包括所述多个数据处理规则的任务定义页面;

19、响应于用户选中至少一个数据处理规则,根据用户选中的所述数据处理规则确定对应的待处理任务。

20、在一种可能的实现方式中,所述根据用户选中的所述数据处理规则确定对应的待处理任务,包括:

21、获取所述待处理任务对应的任务执行规则;

22、根据所述任务执行规则和用户选中的所述数据处理规则确定待处理任务。

23、在一种可能的实现方式中,所述通过编排所述至少一个待处理任务确定任务处理策略,包括:

24、显示包括至少一个所述待处理任务的任务编排画布;响应于用户基于所述任务编排画布对至少一个所述待处理任务进行任务编排,确定以各所述待处理任务为节点的有向无环图得到任务处理策略。

25、在一种可能的实现方式中,所述方法还包括:

26、在任务执行过程中,实时显示各所述待处理任务的任务处理结果。

27、本技术实施例的另一方面,还提供一种数据处理装置,所述装置包括:

28、规则确定模块,用于确定目标数据仓对应的多个数据处理规则,所述数据处理规则包括源数据表、目标数据表,以及所述源数据表与所述目标数据表之间的映射关系;

29、任务集成模块,用于根据所述多个数据处理规则确定至少一个待处理任务;

30、任务编排模块,用于通过编排所述至少一个待处理任务确定任务处理策略;

31、任务处理模块,用于在满足预设的任务处理条件的情况下,基于所述任务处理策略限定的任务执行顺序依次执行各所述待处理任务;

32、其中,各所述待处理任务的执行过程包括:

33、在所述目标数据仓对应的数据表中获取所述待处理任务对应的源数据表;

34、根据所述待处理任务对应的数据处理规则以及所述源数据表的内容,确定所述源数据表对应的目标数据表。

35、在一种可能的实现方式中,所述规则确定模块,进一步用于:

36、显示包括所述目标数据仓对应多类数据表的规则配置页面;

37、响应于用户在所述数据仓服务对应的多类数据表中确定具有映射关系的源数据表和目标数据表,根据所述具有映射关系的源数据表和目标数据表确定对应的数据处理规则。

38、在一种可能的实现方式中,所述规则确定模块,进一步用于:

39、识别所述具有映射关系的源数据表和目标数据表中的字段内容;

40、匹配所述源数据表中的源数据字段和所述目标数据表中的目标数据字段的映射关系,得到对应的数据处理规则。

41、在一种可能的实现方式中,所述任务集成模块,进一步用于:

42、显示包括所述多个数据处理规则的任务定义页面;

43、响应于用户选中至少一个数据处理规则,根据用户选中的所述数据处理规则确定对应的待处理任务。

44、在一种可能的实现方式中,所述任务集成模块,进一步用于:

45、获取所述待处理任务对应的任务执行规则;

46、根据所述任务执行规则和用户选中的所述数据处理规则确定待处理任务。

47、在一种可能的实现方式中,所述任务编排模块,进一步用于:

48、显示包括至少一个所述待处理任务的任务编排画布;响应于用户基于所述任务编排画布对至少一个所述待处理任务进行任务编排,确定以各所述待处理任务为节点的有向无环图得到任务处理策略。

49、在一种可能的实现方式中,所述装置还包括:

50、结果显示模块,用于在任务执行过程中,实时显示各所述待处理任务的任务处理结果。

51、本技术实施例提供的电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现本技术实施例所述的方法。

52、本技术实施例提供的计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现本技术实施例提供的方法。

53、本技术实施例所提供的数据处理方法及装置、设备、存储介质,确定目标数据仓对应的多个数据处理规则,根据多个数据处理规则确定至少一个待处理任务。通过编排至少一个待处理任务确定任务处理策略。在满足预设的任务处理条件的情况下,基于任务处理策略限定的任务执行顺序依次执行各待处理任务。其中,各待处理任务的执行过程包括在目标数据仓对应的数据表中获取待处理任务对应的源数据表,根据待处理任务对应的数据处理规则以及源数据表的内容,确定源数据表对应的目标数据表。本技术可以通过确定数据处理规则的方式个性化进行任务封装,并通过编排任务顺序的方式保证任务调度支持复杂业务流,避免任务阻塞和重复执行。