数据调度方法和数据调度装置与流程

摘要: 本公开涉及存储器,更具体地讲,涉及一种数据调度方法和数据调度装置。背景技术:1、apachespark是一个分布式计算框架,广泛应用于大规模静态数据集、连续数据...
数据调度方法和数据调度装置与流程

本公开涉及存储器,更具体地讲,涉及一种数据调度方法和数据调度装置。

背景技术:

1、apache spark是一个分布式计算框架,广泛应用于大规模静态数据集、连续数据流、构建和训练大规模机器学习模型以及处理图结构数据等场景。spark将数据缓存在内存中,避免频繁的磁盘i/o,尤其适用于迭代计算(例如机器学习算法)。

2、近内存处理(processing near memory,pnm)是一种将内存和逻辑芯片集成到先进集成电路封装中的技术,它利用内存进行数据计算,从而减少处理器(例如cpu)和内存之间的数据移动。cmm-dc(cxl (compute express link) memory module-dram compute,cxl存储器模块-dram计算)技术通过将处理单元放置在更靠近内存的位置,减少了cpu和内存之间的数据移动,显著提高数据加载速度以及ai模型容量。

技术实现思路

1、本公开提供一种数据调度方法和数据调度装置,适用于apache spark应用,其通过识别dag(directed acyclic graph,有向无环图)依赖关系和动态调度数据有效地解决内存不足的问题。

2、根据本公开的实施例的第一方面,提供一种数据调度方法,所述数据调度方法包括:基于作业的有向无环图,获取每个弹性分布式数据集(resilient distributeddataset,rdd)数据块的依赖信息,其中,每个rdd数据块的依赖信息反映其他rdd数据块与该rdd数据块之间的依赖关系;基于确定的每个rdd数据块的依赖信息,确定每个rdd数据块的优先级;响应于用于缓存rdd数据块的内存的占用空间达到第一预设阈值,按照优先级从低到高的顺序将至少一个rdd数据块迁移到cmm-dc设备。

3、可选地,所述数据调度方法还包括:基于作业的有向无环图,确定每个阶段是否具有前置依赖项,其中,针对每个阶段,当该阶段包含的各个rdd数据块与所有在先阶段包含的rdd数据块均不存在依赖关系时,确定该阶段不具有前置依赖项;针对不具有前置依赖项的阶段,响应于该阶段的执行时间满足预设时间需求,将该阶段卸载到cmm-dc设备执行。

4、可选地,针对每个阶段,当该阶段的执行时间与该阶段包含的各个rdd数据块传输到处理器所需的时间之和,小于或等于所有在先阶段的执行时间之和时,确定该阶段的执行时间满足预设时间需求。

5、可选地,所述依赖信息包括依赖计数和依赖距离,其中,对于每个rdd数据块,通过以下方式计算依赖计数:确定与该rdd数据块存在依赖关系的其他rdd数据块的数量,作为该rdd数据块的依赖计数,并且,其中,对于每个rdd数据块,通过以下方式计算依赖距离:确定与该rdd数据块存在依赖关系的其他rdd数据块所属的阶段与该rdd数据块所属的阶段的id(identity)差值;将确定的id差值中的最小值确定为该rdd数据块的依赖距离。

6、可选地,基于确定的每个rdd数据块的依赖信息,确定每个rdd数据块的优先级,包括:确定每个rdd数据块的依赖计数的归一化值,并确定每个rdd数据块的依赖距离的归一化值;将每个rdd数据块的依赖距离的归一化值与依赖计数的归一化值的差值,确定为每个rdd数据块的优先级。

7、可选地,确定每个rdd数据块的依赖计数的归一化值的步骤包括:计算该rdd数据块的依赖计数与各个rdd数据块的依赖计数中的最小值的差值,作为第一差值;计算各个rdd数据块的依赖计数中的最大值与最小值的差值,作为第二差值;将第一差值与第二差值的比值确定为该rdd数据块的依赖计数的归一化值。

8、可选地,确定每个rdd数据块的依赖距离的归一化值的步骤包括:计算该rdd数据块的依赖距离与各个rdd数据块的依赖距离中的最小值的差值,作为第三差值;计算各个rdd数据块的依赖距离中的最大值与最小值的差值,作为第四差值;将第三差值与第四差值的比值确定为该rdd数据块的依赖距离的归一化值。

9、可选地,依赖距离的归一化值与依赖计数的归一化值的差值越大,相应的rdd数据块的优先级越低,依赖距离的归一化值与依赖计数的归一化值的差值越小,相应的rdd数据块的优先级越高。

10、可选地,所述数据调度方法还包括:响应于用于缓存rdd数据块的内存的占用空间达到第二预设阈值,按照优先级从高到低的顺序预取迁移到cmm-dc设备中的rdd数据块。

11、可选地,所述数据调度方法还包括:将每个rdd数据块的依赖信息、优先级以及作业的每个阶段的执行时间存储到rdd统计表中。

12、根据本公开的实施例的第二方面,提供一种数据调度装置,所述数据调度装置包括:有向无环图分析器,被配置为:基于作业的有向无环图,获取每个rdd数据块的依赖信息,其中,每个rdd数据块的依赖信息反映其他rdd数据块与该rdd数据块之间的依赖关系;优先级管理器,被配置为:基于确定的每个rdd数据块的依赖信息,确定每个rdd数据块的优先级;块管理器主节点,被配置为:响应于用于缓存rdd数据块的内存的占用空间达到第一预设阈值,按照优先级从低到高的顺序将至少一个rdd数据块迁移到cmm-dc设备。

13、可选地,所述数据调度装置还包括:有向无环图调度器;其中,所述有向无环图分析器还被配置为:基于作业的有向无环图,确定每个阶段是否具有前置依赖项,其中,针对每个阶段,当该阶段包含的各个rdd数据块与所有在先阶段包含的rdd数据块均不存在依赖关系时,确定所述该阶段不具有前置依赖项;所述有向无环图调度器被配置为:针对不具有前置依赖项的阶段,响应于该阶段的执行时间满足预设时间需求,将该阶段卸载到cmm-dc设备执行。

14、可选地,所述有向无环图调度器被配置为:针对每个阶段,当该阶段的执行时间与该阶段包含的各个rdd数据块传输到处理器所需的时间之和,小于或等于所有在先阶段的执行时间之和时,确定该阶段的执行时间满足预设时间需求。

15、可选地,所述依赖信息包括依赖计数和依赖距离,其中,所述有向无环图分析器被配置为:对于每个rdd数据块,通过以下方式计算依赖计数:确定与该rdd数据块存在依赖关系的其他rdd数据块的数量,作为该rdd数据块的依赖计数,并且,对于每个rdd数据块,通过以下方式计算依赖距离:确定与该rdd数据块存在依赖关系的其他rdd数据块所属的阶段与该rdd数据块所属的阶段的id差值;将确定的id差值中的最小值确定为该rdd数据块的依赖距离。

16、可选地,所述有向无环图分析器还被配置为:确定每个rdd数据块的依赖计数的归一化值,并确定每个rdd数据块的依赖距离的归一化值;将每个rdd数据块的依赖距离的归一化值与依赖计数的归一化值的差值,确定为每个rdd数据块的优先级。

17、可选地,所述有向无环图分析器被配置为:针对每个rdd数据块,计算该rdd数据块的依赖计数与各个rdd数据块的依赖计数中的最小值的差值,作为第一差值;计算各个rdd数据块的依赖计数中的最大值与最小值的差值,作为第二差值;将第一差值与第二差值的比值确定为该rdd数据块的依赖计数的归一化值。

18、可选地,所述有向无环图分析器被配置为:针对每个rdd数据块,计算该rdd数据块的依赖距离与各个rdd数据块的依赖距离中的最小值的差值,作为第三差值;计算各个rdd数据块的依赖距离中的最大值与最小值的差值,作为第四差值;将第三差值与第四差值的比值确定为该rdd数据块的依赖距离的归一化值。

19、可选地,依赖距离的归一化值与依赖计数的归一化值的差值越大,相应的rdd数据块的优先级越低,依赖距离的归一化值与依赖计数的归一化值的差值越小,相应的rdd数据块的优先级越高。

20、可选地,所述块管理器主节点还被配置为:响应于用于缓存rdd数据块的内存的占用空间达到第二预设阈值,按照优先级从高到低的顺序预取迁移到cmm-dc设备中的rdd数据块。

21、可选地,所述数据调度装置还包括:rdd统计表,其中,每个rdd数据块的依赖信息、优先级以及作业的每个阶段的执行时间被存储到所述rdd统计表中。

22、根据本公开的实施例的第三方面,提供一种存储有计算机程序的计算机可读存储介质,当所述计算机程序被处理器执行时,实现如上所述的数据调度方法。

23、根据本公开的实施例的第四方面,提供一种计算装置,所述计算装置包括:至少一个处理器;至少一个存储器,存储有计算机程序,当所述计算机程序被所述至少一个处理器执行时,实现如上所述的数据调度方法。

24、根据本公开的实施例的第五方面,提供一种主机,所述主机包括:处理器,以及存储器,存储有计算机程序,当所述计算机程序被所述处理器运行时,实现如上所述的数据调度方法。

25、根据本公开的实施例的第六方面,提供一种应用了存储装置的系统,所述系统包括:主处理器;存储器;以及存储装置,其中,所述主处理器被配置为执行如上所述的数据调度方法。

26、根据本公开的实施例的第七方面,提供一种主机存储系统,所述主机存储系统包括:主机;以及存储装置,其中,所述主机被配置为执行如上所述的数据调度方法。

27、根据本公开的实施例的第八方面,提供一种数据中心系统,所述数据中心系统包括:多个应用服务器;以及多个存储服务器,其中,每个存储服务器包括存储装置,其中,所述多个应用服务器中的每个应用服务器被配置为执行如上所述的数据调度方法。

28、根据本公开的实施例的数据调度方法和数据调度方法,一方面可以将高频访问的rdd保留在内存中,提高系统访问性能;一方面通过优化的rdd驱逐算法,有效降低rdd在内存和cmm-dc设备之间的迁移频率,从而抑制性能抖动,提高系统性能的稳定性。