一种基于分布式存储的显卡资源调度方法和装置与流程

摘要: 本发明涉及分布式存储与显卡资源调度,尤其涉及一种基于分布式存储的显卡资源调度方法和装置。背景技术:1、随着人工智能训练、高性能计算及数据密集型业务的发展,显卡集...
一种基于分布式存储的显卡资源调度方法和装置与流程

本发明涉及分布式存储与显卡资源调度,尤其涉及一种基于分布式存储的显卡资源调度方法和装置。

背景技术:

1、随着人工智能训练、高性能计算及数据密集型业务的发展,显卡集群逐渐与分布式存储系统协同部署,以降低数据传输等待并提高显卡资源利用率。现有技术已开展存储、网络及显卡资源联合调度研究,例如cn118152131a公开了一种gpu集群及数据预处理方法,通过分布式存储管理系统确定数据所在训练节点并进行任务调度;cn116361006a公开了面向存算分离的算网资源协同调度方法,根据存储中心、算力中心及网络传输质量选择调度方案;cn119473595a进一步采用cnn-lstm预测gpu未来负载和资源需求,并依据监控结果动态调整调度策略。上述技术表明,数据位置感知、存算网络联合选择及gpu负载预测均已成为现有调度手段。

2、但是,在分布式存储场景中,同一数据对象通常存在多个数据副本,不同副本的数据路径还可能共同经过相同物理链路,多个逻辑副本和逻辑路径并不对应多份独立物理供给能力。现有调度方式主要按照存储节点、算力节点、网络质量或gpu负载分别评价资源状态,实际业务中容易将共享存储节点或共享链路的供给能力重复计入不同候选方案,使逻辑上可执行的调度方案在任务运行时出现存储供给竞争、链路拥塞及显卡等待;同时,任务执行后的供给下降难以同步作用于共享同一物理资源的其他副本和数据路径,影响后续调度结果的可靠性。

3、因此,如何提供一种基于分布式存储的显卡资源调度方法和装置是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于分布式存储的显卡资源调度方法和装置,本发明充分利用了分布式存储、深度学习及显卡资源协同调度技术,通过改进型tqnet评估副本—路径—显卡组合的供给能力,并结合资源链构建、同源容量约束、联合原子预占及供给偏差回写,实现存储、链路与显卡资源的协同调度,具备资源匹配准确、调度冲突少、资源利用率高和任务执行稳定的优点。

2、根据本发明实施例的一种基于分布式存储的显卡资源调度方法,包括如下步骤:

3、步骤一:获取分布式存储资源、显卡资源及显卡任务数据依赖,根据数据副本归属和数据路径共享关系配置资源标识,构建存算状态序列;

4、步骤二:将存算状态序列输入改进型tqnet,通过存储查询、副本竞争门控、链路竞争门控及任务需求反向查询,生成副本—路径—显卡组合的供给能力;

5、步骤三:根据显卡任务数据依赖和供给能力构建任务—副本—路径—显卡的资源链,并筛除不满足任务需求的资源链;

6、步骤四:依据资源标识归集各资源链对同一存储节点及共享链路的资源占用,并基于归集结果执行同源容量约束,生成候选链;

7、步骤五:根据供给能力和显卡资源状态确定目标链,并对目标链对应的存储资源、链路资源及显卡资源执行联合原子预占;

8、步骤六:依据目标链完成数据供给及显卡任务分发,生成实际供给状态;

9、步骤七:根据实际供给状态与供给能力确定供给偏差,并将供给偏差回写至对应资源标识,更新存算状态序列。

10、可选的,所述步骤一具体包括:

11、获取数据对象与数据副本的映射关系、数据副本所在存储节点、数据路径、显卡资源状态及显卡任务数据依赖,将版本一致且处于可访问状态的数据副本确定为有效数据副本;

12、将位于同一存储节点的有效数据副本写入相同存储资源标识,将共同经过同一容量受限物理链路的数据路径写入相同链路资源标识,一条数据路径经过多个共享链路时记录全部对应链路资源标识;

13、根据显卡任务数据依赖建立显卡任务、有效数据副本、数据路径及显卡节点之间的对应关系,并按照统一调度时钟排列分布式存储资源、链路资源及显卡资源的连续运行状态,生成存算状态序列。

14、可选的,所述步骤二具体包括:

15、构建改进型tqnet,所述改进型tqnet包括状态编码层、存储查询层、副本竞争门控层、链路竞争门控层、任务需求反向查询层及供给输出层;

16、所述状态编码层按照存储资源标识、链路资源标识及显卡节点对存算状态序列进行分组,对各组连续运行状态执行线性投影,并将线性投影结果分别与资源类型编码及采样时序编码相加,生成存算时序特征;存储查询层根据存储资源标识生成存储供给特征;

17、副本竞争门控层将存储供给特征分配至相同存储资源标识下的有效数据副本,生成副本供给特征;

18、链路竞争门控层根据共享链路上的并发数据路径生成副本—路径供给特征;

19、任务需求反向查询层根据显卡任务数据需求和预计数据消费时刻生成任务条件供给特征;

20、所述供给输出层将任务条件供给特征与显卡资源状态进行拼接,经线性映射和softplus激活生成预测供给量,根据副本竞争门控权重与对应存储节点剩余供给量的乘积确定可分配存储供给量,将数据路径经过的各共享链路剩余传输容量中的最小值确定为路径可用传输量,根据候选显卡剩余数据接收能力确定显卡可接收数据量,并将预测供给量、可分配存储供给量、路径可用传输量及显卡可接收数据量中的最小值确定为供给能力。

21、可选的,所述存储查询层针对每个存储资源标识建立存储查询向量,以存储查询向量作为查询,以相同存储资源标识下有效数据副本对应的存算时序特征作为键和值执行时间维度注意力计算,生成对应存储资源标识唯一的存储供给特征;

22、所述副本竞争门控层将各有效数据副本对应显卡任务的数据需求、请求顺序及当前已分配数据量进行拼接,经全连接映射和sigmoid激活生成竞争强度,对相同存储资源标识下各有效数据副本的竞争强度执行softmax归一化,生成副本竞争门控权重,并将存储供给特征与对应副本竞争门控权重相乘,生成副本供给特征;

23、所述链路竞争门控层按照链路资源标识划分链路竞争组,将预计传输时间区间重叠的数据路径确定为并发数据路径,将并发数据路径的数据需求与共享链路剩余传输容量进行拼接,经全连接映射和sigmoid激活生成链路竞争门控值;一条数据路径对应多个链路资源标识时,比较各链路竞争门控值,将最小链路竞争门控值与对应副本供给特征相乘,生成副本—路径供给特征;

24、所述任务需求反向查询层根据显卡任务数据需求、预计数据消费时刻及候选显卡任务执行进度生成任务查询向量,以任务查询向量作为查询,以对应显卡任务的各副本—路径供给特征作为键和值执行交叉注意力计算,生成任务条件供给特征。

25、可选的,所述步骤三具体包括:

26、根据显卡任务数据依赖获取有效数据副本,并确定各有效数据副本对应的数据路径及各数据路径到达的显卡节点;

27、将显卡任务、有效数据副本、数据路径和显卡节点按照数据供给顺序连接,构建任务—副本—路径—显卡资源链,并在资源链中写入对应存储资源标识、链路资源标识及供给能力;

28、分别比较供给能力与显卡任务数据需求、候选显卡剩余显存与显存需求、候选显卡剩余计算资源与计算资源需求,并确定有效数据副本状态及数据路径可达状态;

29、删除供给能力低于显卡任务数据需求、候选显卡剩余显存低于显存需求、候选显卡剩余计算资源低于计算资源需求、有效数据副本处于失效状态或数据路径处于不可达状态的资源链。

30、可选的,所述步骤四具体包括:

31、依据资源标识建立资源占用表,记录各存储资源标识和链路资源标识对应的当前可用容量、已提交占用量及临时预占量;

32、依据存储资源标识归集各资源链对同一存储节点的资源占用,将资源链的存储资源占用量、对应已提交占用量及临时预占量相加,当相加结果大于当前可用容量时删除该资源链;

33、依据链路资源标识归集各资源链对共享链路的资源占用,将资源链的链路资源占用量、对应已提交占用量及临时预占量相加,当任一相加结果大于对应当前可用容量时删除该资源链,将剩余的资源链确定为候选链。

34、可选的,所述步骤五具体包括:

35、将供给能力减去显卡任务数据需求得到供给余量,按照供给余量由大至小排列候选链;供给余量相同时,按照候选显卡剩余资源比例由大至小排列;候选显卡剩余资源比例相同时,按照候选链对应各资源标识剩余容量比例中的最小值由大至小排列;前述排序结果仍相同时,按照预计任务完成时间由短至长排列,将排序首位候选链确定为待提交目标链;

36、为存储资源、链路资源及显卡资源配置资源版本号,新增正式占用记录、释放正式占用记录或更新容量状态时,将对应资源版本号增加1;

37、为待提交目标链生成调度事务标识,在对应存储资源、链路资源及显卡资源中写入携带相同调度事务标识的临时预占记录,并记录临时预占时的资源版本号;

38、全部临时预占记录写入后,将各资源当前剩余容量与待提交目标链对应资源需求进行比较,并将当前资源版本号与临时预占时记录的资源版本号进行比较;全部资源当前剩余容量均不低于对应资源需求且资源版本号均相同时,将全部临时预占记录转换为正式占用记录,并将待提交目标链确定为目标链;

39、任一资源当前剩余容量低于对应资源需求或任一资源版本号不相同时,根据调度事务标识删除全部临时预占记录,并将排序下一候选链确定为新的待提交目标链,重新执行联合原子预占。

40、可选的,所述步骤六具体包括:

41、根据目标链确定目标数据副本、目标数据路径及目标显卡,并将调度事务标识写入显卡任务执行记录;

42、目标数据副本至目标显卡具备gpu direct storage访问条件时,通过gpu directstorage沿目标数据路径传输数据;不具备gpu direct storage访问条件时,按照目标数据路径执行数据读取、链路传输及显卡接收;

43、目标显卡已接收数据量达到显卡任务启动数据量时执行显卡任务;

44、将目标数据路径中各共享链路实际传输量的最小值确定为目标数据路径实际传输量,再将目标数据副本所在存储节点实际输出量、目标数据路径实际传输量及目标显卡实际接收量中的最小值确定为实际供给量,按照采样时刻排列实际供给量,生成实际供给状态。

45、可选的,所述步骤七具体包括:

46、将相同调度窗口的供给能力减去实际供给量,得到供给偏差;

47、供给偏差大于零且目标数据副本所在存储节点实际输出量低于供给能力时,将对应存储资源标识确定为供给偏差对应的资源标识;

48、供给偏差大于零且所述实际输出量不低于供给能力时,按照数据传输方向依次比较各共享链路实际传输量与供给能力,将实际传输量低于供给能力的首个共享链路对应链路资源标识确定为供给偏差对应的资源标识;

49、供给偏差对应存储资源标识时,将实际输出量写入对应存储资源标识及其全部有效数据副本状态;供给偏差对应链路资源标识时,将实际传输量写入对应链路资源标识及其全部数据路径状态;

50、将更新后的存储资源状态和链路资源状态写入存算状态序列,并将更新后的存算状态序列作为下一调度周期改进型tqnet的输入,生成下一调度周期的供给能力。

51、根据本发明实施例的一种基于分布式存储的显卡资源调度装置,包括如下模块:

52、存算状态构建模块,获取分布式存储资源、显卡资源及显卡任务数据依赖,根据数据副本归属和数据路径共享关系配置资源标识,构建存算状态序列;

53、供给能力生成模块,将存算状态序列输入改进型tqnet,通过存储查询、副本竞争门控、链路竞争门控及任务需求反向查询,生成副本—路径—显卡组合的供给能力;

54、资源链构建模块,根据显卡任务数据依赖和供给能力构建任务—副本—路径—显卡的资源链,并筛除不满足任务需求的资源链;

55、同源约束模块,依据资源标识归集各资源链对同一存储节点及共享链路的资源占用,并基于归集结果执行同源容量约束,生成候选链;

56、联合预占模块,根据供给能力和显卡资源状态确定目标链,并对目标链对应的存储资源、链路资源及显卡资源执行联合原子预占;

57、任务分发模块,依据目标链完成数据供给及显卡任务分发,生成实际供给状态;

58、状态更新模块,根据实际供给状态与供给能力确定供给偏差,并将供给偏差回写至对应资源标识,更新存算状态序列。

59、本发明的有益效果是:

60、本发明通过为同一存储节点的数据副本及共享容量受限物理链路配置资源标识,并将该共享关系连续引入改进型tqnet的存储查询、副本竞争门控和链路竞争门控过程,使副本—路径—显卡组合的供给能力按照实际共享物理资源进行计算,避免多个逻辑副本或逻辑路径被重复计入为多份独立供给能力;进一步通过任务—副本—路径—显卡资源链及同源容量约束,将存储节点、共享链路和显卡之间的实际供给关系作为完整调度对象进行筛选,解决传统调度中候选方案逻辑可行但执行阶段因共享存储竞争、链路拥塞而无法持续供给的问题,从而减少显卡等待和无效资源分配,提高数据供给与显卡执行之间的匹配程度。

61、本发明进一步对目标链对应的存储资源、链路资源及显卡资源执行联合原子预占,通过调度事务标识、资源版本号、容量复核及失败全量回滚,使通过同源容量约束的资源链在实际提交阶段保持存储、传输和计算资源的一致可用状态;任务执行后,根据实际供给状态定位供给偏差对应的存储资源标识或链路资源标识,并同步更新共享该资源的全部有效数据副本或数据路径,使一次物理资源性能变化能够直接影响后续所有相关候选方案。由此形成面向真实物理供给能力的闭环显卡资源调度机制,对分布式存储环境下的数据密集型gpu任务具有更高的调度可靠性和持续运行价值。