处理器共享方法及电子设备与流程
本申请涉及计算机,尤其涉及一种处理器共享方法及电子设备。
背景技术:
1、随着人工智能技术的规模化落地,大模型训练、推理及科学计算等场景对处理器算力的需求呈指数级增长,处理器已成为人工智能基础设施的核心算力资源。
2、为提升处理器利用率,相关技术中提出了处理器共享方案。即以多实例处理器为代表,通过将单张处理器物理划分为多个独立实例,每个实例拥有专属的流式多处理器、l2缓存、显存控制器及独立执行资源,实现硬件级的资源隔离。
3、然而,上述方案中每个任务仍独立维护各自的独立执行资源,任务切换时需频繁执行独立执行资源的保存与恢复操作,导致切换开销大;同时,多个任务的计算内核无法在流式处理器上真正并发执行,仅能串行排队,造成流式处理器资源闲置,流式处理器整体利用率偏低。
技术实现思路
1、本申请提供了一种处理器共享方法及电子设备,以至少解决相关技术中执行资源切换开销大、多个任务的计算内核无法并发执行的问题。
2、本申请提供了一种处理器共享方法,包括:
3、在至少一个业务容器调度至目标处理器的情况下,为各业务容器配置目标通信目录,目标通信目录与目标处理器绑定的目标管控进程的通信目录相同,至少一个业务容器是根据用户提交的至少一个计算任务创建的;
4、响应于各业务容器内客户端进程基于目标通信目录发起的连接请求,通过目标管控进程确定是否存在目标处理器对应的目标服务进程;
5、在确定存在目标服务进程的情况下,建立各业务容器内客户端进程与目标服务进程通信连接,以使目标服务进程获取各客户端进程发送的计算任务;
6、通过目标服务进程将各计算任务对应的执行资源进行合并,得到共享执行资源,并将共享执行资源发送至目标处理器,以使目标处理器基于共享执行资源对至少一个业务容器进行并发调度。
7、本申请还提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行计算机程序时实现上述任一种处理器共享方法的步骤。
8、通过本申请,由于在至少一个业务容器调度至目标处理器的情况下为各业务容器配置与目标管控进程相同的目标通信目录,响应于客户端进程基于该目标通信目录发起的连接请求,通过目标管控进程建立客户端进程与目标服务进程之间的通信连接,并由目标服务进程将各计算任务对应的执行资源进行合并后发送至目标处理器,实现多进程执行资源的合并与计算内核的细粒度并发调度,显著降低任务切换开销,提升流式多处理器的利用率和处理器整体的计算效率。
1.一种处理器共享方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述通过所述目标管控进程确定是否存在所述目标处理器对应的目标服务进程之后,所述方法包括:
3.根据权利要求1所述的方法,其特征在于,所述在至少一个业务容器调度至目标处理器的情况下,为各业务容器配置目标通信目录包括:
4.根据权利要求3所述的方法,其特征在于,所述根据用户输入的模式需求,确定所述目标处理器为目标模式之后,所述方法包括:
5.根据权利要求1所述的方法,其特征在于,所述在至少一个业务容器调度至目标处理器的情况下,为各业务容器配置目标通信目录之前,所述方法包括:
6.根据权利要求5所述的方法,其特征在于,所述为至少一个管控进程配置处理器指定信息之后,所述方法包括:
7.根据权利要求1所述的方法,其特征在于,所述将所述共享执行资源发送至所述目标处理器,以使所述目标处理器基于所述共享执行资源对所述至少一个业务容器进行并发调度包括:
8.根据权利要求1所述的方法,其特征在于,所述为各业务容器配置目标通信目录包括:
9.根据权利要求1所述的方法,其特征在于,所述建立所述各业务容器内客户端进程与所述目标服务进程通信连接包括:
10.根据权利要求9所述的方法,其特征在于,所述通信方式包括命名管道和共享内存,所述命名管道用于建立各客户端进程与所述目标服务进程之间的初始连接及传递控制信号,所述共享内存用于在所述客户端进程与所述目标服务进程之间传输各计算任务对应的数据。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
13.根据权利要求12所述的方法,其特征在于,所述通过所述各业务容器内的显存隔离劫持库限制所述各业务容器的显存使用量小于或等于预设配额包括:
14.根据权利要求1所述的方法,其特征在于,所述为各业务容器配置目标通信目录包括:
15.一种电子设备,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com