计算任务处理方法、装置、设备及存储介质与流程
本申请实施例涉及人工智能,尤其涉及一种计算任务处理方法、装置、设备及存储介质。
背景技术:
1、目前,在执行ai(artificialintelligence,人工智能)大模型训练时需要使用异构卡,异构卡是指由不同类型处理器组成的计算系统。随着ai大模型的日益发展,异构卡的使用量也日益增加,使得异构算力资源的成本支出大幅度增加,高昂的成本下,业务在使用异构卡的过程中,对于异构卡的计算性能波动的容忍性愈低,业务对于异构卡的计算性能需求标准较高。异构卡计算性能的波动会阻断计算流程,使异构卡的计算出现停滞,影响模型训练的效能。
2、异构卡计算性能的波动集中在异构卡和cpu执行通信交互的阶段,出现计算性能波动的时刻是异构卡和跨numa下的cpu核心执行通信,如何消除该阶段异构卡计算性能的波动,保证异构计算的稳定运行,是亟需解决的问题。
技术实现思路
1、本申请实施例提供一种计算任务处理方法、装置、设备及存储介质,可以消除异构卡和cpu核心执行通信交互过程中计算性能波动的问题,有效地避免了因计算性能波动阻断计算流程,保证异构计算的稳定运行。
2、第一方面,本申请实施例提供一种计算任务处理方法,包括:
3、接收模型训练平台发起的计算任务的请求;
4、根据所述计算任务的请求,从资源池中确定目标资源节点;
5、根据所述目标资源节点中空闲的异构卡,生成用于执行所述计算任务的异构算力容器;
6、在所述异构算力容器内执行等比亲和绑核操作,所述等比亲和绑核操作用于使得所述异构算力容器内的每个异构卡只与绑定在同一非统一内存访问numa节点下的中央处理器cpu核心进行交互;
7、使用完成等比亲和绑核操作的异构算力容器执行所述计算任务。
8、第二方面,本申请实施例提供一种计算任务处理装置,包括:
9、接收模块,用于接收模型训练平台发起的计算任务的请求;
10、处理模块,用于:
11、根据所述计算任务的请求,从资源池中确定目标资源节点;
12、根据所述目标资源节点中空闲的异构卡,生成用于执行所述计算任务的异构算力容器;
13、在所述异构算力容器内执行等比亲和绑核操作,所述等比亲和绑核操作用于使得所述异构算力容器内的每个异构卡只与绑定在同一非统一内存访问numa节点下的中央处理器cpu核心进行交互;
14、使用完成等比亲和绑核操作的异构算力容器执行所述计算任务。
15、在一实施例中,所述计算任务的请求携带所述计算任务所需的单机的异构卡数量k,所述处理模块用于:
16、根据所述计算任务所需的单机的异构卡数量k,将所述资源池中满足预设条件的资源节点确定为所述目标资源节点,所述k为正整数。
17、在一实施例中,所述处理模块用于:
18、从所述目标资源节点中确定出空闲的异构卡;
19、从所述空闲的异构卡中选择所述k个异构卡,并将所述k个异构卡挂载到一异构算力容器中,得到用于执行所述计算任务的异构算力容器。
20、在一实施例中,所述处理模块用于:
21、确定所述目标资源节点上同numa节点下空闲的cpu核心数量和空闲的cpu核心;
22、将所述numa节点下的cpu核心按照所述numa节点下挂载的异构卡数量n进行均分切片,每个异构卡对应多个cpu核心,所述n为正整数;
23、针对所述异构算力容器中的每个异构卡,根据每个异构卡对应的n个cpu核心和所述空闲的cpu核心,将所述异构卡与同numa节点下的cpu核心进行绑定;
24、在所述异构算力容器内执行亲和绑核操作。
25、在一实施例中,所述处理模块具体用于:
26、依次读取运行在所述异构算力容器中的每个异构卡上的进程信息;
27、将每个异构卡上的进程循环地绑定到分配给所述异构卡的同numa节点下的cpu核心上。
28、在一实施例中,所述处理模块具体用于:
29、将每个异构卡上的进程循环地绑定到分配给所述异构卡的n个cpu核心上。
30、在一实施例中,所述处理模块具体用于:
31、从所述空闲的cpu核心中选择n个cpu核心分配给所述异构卡。
32、在一实施例中,所述处理模块具体用于:
33、使用所述异构算力容器与进行相同训练任务的异构算力容器并行执行所述计算任务。
34、第三方面,本申请实施例提供一种计算机设备,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,以执行第一方面或第二方面的方法。
35、第四方面,本申请实施例提供一种计算机可读存储介质,包括指令,当其在计算机程序上运行时,使得所述计算机执行如第一方面的方法。
36、第五方面,本申请实施例提供一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使得所述计算机执行如第一方面的方法。
37、综上,在本申请实施例中,通过接收模型训练平台发起的计算任务的请求,根据计算任务的请求,从资源池中确定目标资源节点,根据目标资源节点中空闲的异构卡,生成用于执行计算任务的异构算力容器,接着在异构算力容器内执行等比亲和绑核操作,等比亲和绑核操作用于使得异构算力容器内的每个异构卡只与绑定在同一numa节点下的cpu核心进行交互,使用完成等比亲和绑核操作的异构算力容器执行计算任务。通过上述等比亲和绑核后,异构卡只会和同numa下的cpu核心交互,避免跨numa间的波动,例如cpu0下的异构卡只会和cpu0交互,cpu0下的异构卡不会和cpu1交互,不会出现绕行cpu的问题,因此消除了异构卡和cpu核心执行通信交互过程中计算性能波动的问题,有效地避免了因计算性能波动阻断计算流程,保证异构计算的稳定运行,消除了异构卡的计算出现停滞的成本,降低了异常问题的产生量,缩减了异构算力的运维人力投入成本。
1.一种计算任务处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述计算任务的请求携带所述计算任务所需的单机的异构卡数量,所述根据所述计算任务的请求,从资源池中确定目标资源节点,包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述空闲的异构卡生成用于执行所述计算任务的异构算力容器,包括:
4.根据权利要求1所述的方法,其特征在于,所述在所述异构算力容器内执行等比亲和绑核操作,包括:
5.根据权利要求4所述的方法,其特征在于,所述在所述异构算力容器内执行亲和绑核操作,包括:
6.根据权利要求5所述的方法,其特征在于,所述将每个异构卡上的进程循环地绑定到分配给所述异构卡的同numa节点下的cpu核心上,包括:
7.根据权利要求4所述的方法,其特征在于,所述根据每个异构卡对应的n个cpu逻辑核和所述空闲的cpu核心,将所述异构卡与同numa节点下的cpu核心进行绑定,包括:
8.根据权利要求1所述的方法,其特征在于,所述使用完成等比亲和绑核操作的异构算力容器执行所述计算任务,包括:
9.一种计算任务处理装置,其特征在于,包括:
10.一种计算机设备,其特征在于,包括:
11.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行如权利要求1至8中任一项所述的方法。
12.一种包含指令的计算机程序产品,其特征在于,当所述指令在计算机上运行时,使得所述计算机执行权利要求1至8中任一项所述方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com