数据处理方法、装置、电子设备和存储介质与流程

摘要: 本技术涉及计算机领域,具体涉及一种数据处理方法、装置、电子设备和存储介质。背景技术:1、现有技术中,在分布式环境下执行连接(join)操作时,常见的做法是通过s...
数据处理方法、装置、电子设备和存储介质与流程

本技术涉及计算机领域,具体涉及一种数据处理方法、装置、电子设备和存储介质。

背景技术:

1、现有技术中,在分布式环境下执行连接(join)操作时,常见的做法是通过shuffle将具有相同键的数据分发到相同的节点上,以便进行匹配和连接。其中,shuffle指的是在执行某些逻辑操作(如join、group by、sort等)时,分布式系统为了将具有相同键(key)的数据集中到同一个计算节点进行处理,而进行的数据重新分配过程。

2、然而,在shuffle过程中,需要将数据根据join键重新分配到不同的节点,这导致了大量的网络传输。并且在网络传输的过程中,原始数据中的重复冗余信息也会被一同处理,造成运算负担的增加。

技术实现思路

1、本技术实施例提供一种数据处理方法、装置、电子设备和存储介质,可以改善现有技术中增加运算负担的问题。

2、本技术实施例提供一种数据处理方法,所述方法包括:获取结构化查询语句的逻辑计划,所述逻辑计划通过树形结构反映所述结构化查询语句的逻辑操作步骤;基于所述逻辑计划的树形结构,识别出目标子计划,其中,所述目标子计划包括聚合节点和连接节点,且所述连接节点是所述聚合节点的下级节点,所述聚合节点用于执行部分聚合操作和最终聚合操作;若所述连接节点的子节点并非聚合节点,且所述目标子计划满足预设聚合条件,将所述部分聚合操作从所述聚合节点下推到所述连接节点之前,以便在执行连接操作前对所述连接节点连接的数据表执行所述部分聚合操作。

3、本技术实施例提供一种数据处理装置,所述装置包括:

4、逻辑计划获取单元,用于获取结构化查询语句的逻辑计划,所述逻辑计划通过树形结构反映所述结构化查询语句的逻辑操作步骤;

5、子计划识别单元,用于基于所述逻辑计划的树形结构,识别出目标子计划,其中,所述目标子计划包括聚合节点和连接节点,且所述连接节点是所述聚合节点的下级节点,所述聚合节点用于执行部分聚合操作和最终聚合操作;

6、操作下推单元,用于若所述连接节点的子节点并非聚合节点,且所述目标子计划满足预设聚合条件,将所述部分聚合操作从所述聚合节点下推到所述连接节点之前,以便在执行连接操作前对所述连接节点连接的数据表执行所述部分聚合操作。

7、在一种实施方式中,所述预设聚合条件包括所述聚合节点的类型;相应的,操作下推单元,具体用于:若所述连接节点的子节点并非聚合节点,所述聚合节点的类型为负责对数据进行分组且不包括聚合函数,则将所述部分聚合操作从所述聚合节点下推到所述连接节点之前。

8、在一种实施方式中,预设聚合条件还包括广播操作状态;相应的,操作下推单元,具体用于:

9、若所述连接节点的子节点并非聚合节点,且所述聚合节点的类型为负责对数据进行分组且不包括聚合函数,则基于所述连接节点连接的数据表的数据状态,确定所述广播操作状态,所述广播操作状态包括适宜广播和不适宜广播;

10、若所述广播操作状态为不适宜广播,将所述部分聚合操作从所述聚合节点下推到所述连接节点之前。

11、在一种实施方式中,操作下推单元,包括:

12、节点生成子单元,用于基于所述聚合节点的部分聚合操作,生成部分聚合节点;

13、节点插入子单元,用于将所述部分聚合节点插入到所述连接节点与所述连接节点的子节点之间;

14、操作移除子单元,用于移除所述聚合节点的部分聚合操作。

15、在一种实施方式中,所述装置还包括:

16、数据表获取单元,用于当所述广播操作状态为适宜广播时,获取适宜广播的数据表;

17、数据发送单元,用于将所述适宜广播的数据表的数据发送到分布式系统中参与计算的工作节点。

18、在一种实施方式中,操作下推单元,还包括:

19、表数据量获取子单元,用于获取所述连接节点连接的数据表的数据量;

20、数据量比对子单元,用于将所述数据表的数据量与数据量阈值进行比对;

21、适宜广播确定子单元,用于当存在数据量小于所述数据量阈值的目标数据表时,判定所述目标数据表为适宜广播的数据表。

22、在一种实施方式中,适宜广播确定子单元,包括:

23、分布状态次子单元,用于当存在数据量小于所述数据量阈值的目标数据表时,确定所述目标数据表的数据分布状态;

24、广播判定次子单元,用于当所述数据分布状态为数据分布均匀时,判定所述目标数据表为适宜广播的数据表。

25、在一种实施方式中,子计划识别单元,包括:

26、结构遍历子单元,用于对所述逻辑计划的树形结构进行遍历,得到多个聚合节点;

27、节点类型获取子单元,用于对于每个所述聚合节点,获取所述聚合节点的下级节点的节点类型;

28、子计划确定子单元,用于当存在一聚合节点,所述聚合节点的下级节点的节点类型为连接类型时,将所述聚合节点至所述连接类型的下级节点确定为所述目标子计划。

29、在一种实施方式中,所述装置还包括:

30、数据量获取单元,用于获取所述连接节点连接的部分聚合结果的数据量,其中,所述部分聚合结果为所述连接节点连接的数据表经部分聚合操作后得到的处理结果;

31、比对单元,用于将所述部分聚合结果的数据量与所述数据量阈值进行比对;

32、广播单元,用于若所述部分聚合结果的数据量小于所述数据量阈值,则将数据量小于所述数据量阈值的所述部分聚合结果的数据发送到分布式系统中参与计算的工作节点。

33、本技术实施例还提供一种电子设备,包括处理器和存储器,所述存储器存储有多条指令;所述处理器从所述存储器中加载指令,以执行本技术实施例所提供的任一种数据处理方法中的步骤。

34、本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本技术实施例所提供的任一种数据处理方法中的步骤。

35、本技术实施例还提供一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现本技术实施例所提供的任一种数据处理方法中的步骤。

36、本技术实施例提供的数据处理方法中,获取结构化查询语句的逻辑计划。基于逻辑计划的树形结构,识别出目标子计划。目标子计划为包括聚合节点和连接节点,且连接节点是聚合节点的下级节点的子计划。在连接节点的子节点并非聚合节点,且上述的目标子计划满足预设聚合条件的情况下,将部分聚合操作从聚合节点下推到连接节点之前,以便在执行连接操作前,对连接节点所连接的数据表执行部分聚合操作。

37、本技术实施例中,可以获取结构化查询语句的逻辑计划,并且基于逻辑计划的树形结构,识别出包括聚合节点和连接节点,且连接节点是聚合节点的下级节点的目标子计划。若目标子计划的连接节点的子节点并非聚合节点,且目标子计划满足预设聚合条件,便可以将部分聚合操作下推到连接节点之前,从而实现:先对数据表执行部分聚合操作,得到部分聚合结果;然后对部分聚合结果进行连接操作;再进行最终聚合操作。在连接操作前,先对数据包执行部分聚合操作,可以显著减少连接节点的处理数据量,从而可以避免重复冗余信息被处理,减少运算负担。