系统、管理平台、程序以及调度方法与流程
本发明涉及系统、管理平台、程序以及调度方法。
背景技术:
1、在专利文献1中记载了一种信息处理装置,该信息处理装置具备:管理部,管理能够在模型的分散学习中应用的工作器;以及参数服务器部,向管理部所管理的工作器发布任务,收集工作器学习得到的梯度数据,从而更新模型。
2、现有技术文献
3、专利文献
4、专利文献1:国际公开第2021/220616号
技术实现思路
1、发明所要解决的技术问题
2、在一般的有教师学习的分散学习方法中,存在有数据并行(data parallel)(有时记载为dp)和模型并行(model parallel)(有时记载为mp)。在模型并行中存在有流水线并行(pipeline parallel)(有时记载为pp)和张量并行(tensor parallel)(有时记载为tp)。例如,在通过多个gpu(graphics processing unit:图形处理单元)执行分散学习的情况下,在数据并行中,将数据集分割为gpu的个数,并分配给各gpu,各gpu分别具有模型的副本,分别单独地学习被分配的数据集。然后,例如,在误差反向传播之后,通过在gpu间共享模型的梯度来取得同步。在流水线并行中,根据gpu的个数以层组对模型进行分割,并将层组分配给各gpu而执行学习。在张量并行中,将张量分割为gpu的个数,并分配给各gpu,各gpu处理被分配的张量。
3、在dp、pp、tp中存在有通信量与存储器效率之间的折衷。通常,按照tp、pp、dp的顺序,需要更多的通信量。即,在dp、pp、tp中,tp需要最多的通信量。另外,通常按照dp、pp、tp的顺序,需要更多的总存储量。即,在tp、pp、dp中,在整个分散学习执行平台中dp需要最多的总存储量。在很好地应用它们的同时三维地分割学习任务的做法是3d并行化学习。为了决定该3d并行化的策略,以往,以已知能够在学习中应用的gpu资源为前提,事先提供或者进行探索。
4、用于解决技术问题的方案
5、在本实施方式所涉及的系统中,通过根据状况动态地变更dp、pp、tp,有助于有效地应用学习资源。作为具体例,本实施方式所涉及的系统具备:分散平台,具有控制ran(radio area network:无线局域网)的ran控制功能和进行ai(artificial intelligence:人工智能)处理的ai处理功能;以及管理平台,管理多个分散平台,该系统基于多个分散平台的度量来决定多个分散平台中的使用dp的dp组、使用pp的pp组以及使用tp的tp组。
6、作为ai处理的种类,列举有与ran控制相关联的ai处理(有时记载为ran控制ai处理)和与ran控制不关联的ai处理(有时记载为非ran控制ai处理)。
7、作为ran控制ai处理的例子,列举有ric(ran intelligent controller:无线接入网智能控制器)。ric是使用ai进行ran的无线资源的最佳化、ran运用的自动化的技术。ric包括non-rtric(non-real time ric:非实时ric)和near-rt ric(near-real time ric:近实时ric)。non-rt ric有时也被称为centralized ric。non-rt ric位于进行ran的管理、编排的smo(service management and orchestration:服务管理与编排)的内部。non-rt ric进行与ran的控制相关的策略的生成、通知、信息向near-rt ric的发送。例如,non-rt ric通过执行使用了从ran收集的数据的机器学习来生成与ran控制相关的学习完成模型,并向near-rt ric发送。near-rt ric有时也被称为distributed ric。near-rt ric与non-rtric相比,位于ran节点(ru(radio unit:射频单元)、du(distributed unit:分布单元)、cu(central unit:集中单元))的附近,进行ran节点的控制、资源的控制等。与non-rt ric相比,near-rt ric执行实时性较高的处理。near-rt ric例如执行使用了从non-rt ric获取的学习完成模型的与ran的控制相关联的推理处理。ran控制ai处理并不限于ric。
8、非ran控制ai处理可以相当于所谓的mec(multi-access edge computing:多接入边缘计算)应用。作为非ran控制ai处理的例子,列举有判定所输入的拍摄图像的拍摄范围内的状况的监视ai执行处理、输出针对所输入的基于用户的询问的回答的回答ai执行处理等,但是并不限于此。
9、在3d并行化学习中,通过将该分割策略最佳化,能够以速度为主要目的来进行最佳的学习。另一方面,以往以已知在学习中使用的实例为前提,一旦开始基于该策略的学习,则无法释放该学习实例,不适合如进行由管理平台和多个分散平台构成的ran的控制的系统那样分散且供需动态地变化的基础设施中的使用。在本实施方式所涉及的系统中,例如,导入了调度器,该调度器可以将学习任务以轮次(或者层)级别分割为作业,并能够调度到计算资源中。通过在学习中动态地对分散平台分配作业,能够实现应用了分散平台的空资源的低成本的学习。
10、根据本发明的一个实施方式,提供了一种系统。所述系统可以具备多个分散平台,该多个分散平台对一个学习任务执行分散学习。所述系统可以具备管理平台,该管理平台管理所述多个分散平台。所述多个分散平台的每一个可以具有度量发送部,该度量发送部将所述分散平台的度量发送到所述调度器。多个分散平台的每一个可以具有执行部,该执行部执行所述一个学习任务的一部分。所述管理平台可以具有分散学习决定部,该分散学习决定部基于所述多个分散平台的所述度量来决定所述多个分散平台中的、使用数据并行的dp组、使用流水线并行的pp组以及使用张量并行的tp组。所述管理平台可以具有调度部,该调度部以如下方式进行调度:使所述dp组通过数据并行执行所述一个学习任务的一部分,使所述pp组通过流水线并行执行所述一个学习任务的一部分,使所述tp组通过张量并行执行所述一个学习任务的一部分。
11、在所述系统中,所述执行部可以包括多个执行主体,所述度量发送部可以将所述多个执行主体各自的度量发送到所述管理平台,所述分类部可以基于所述多个分散平台的所述多个执行主体各自的度量,将所述多个分散平台的所述多个执行主体分类为所述dp组、所述pp组以及所述tp组。所述多个执行主体可以包括多个gpu实例和多个gpu,所述度量发送部可以将所述多个gpu的度量和所述多个gpu实例的度量发送到所述管理平台。
12、在所述任一系统中,所述度量可以表示所述执行主体彼此的通信状况,所述分类部可以将所述多个执行主体中的、相互的通信状况的良好程度大于预先确定的第一程度的多个执行主体包含在所述tp组中,将相互的通信状况的良好程度小于所述第一程度且大于比所述第一程度小的第二程度的多个执行主体包含在所述pp组中,将相互的通信状况的良好程度小于所述第二程度的多个执行主体包含在所述dp组中。所述度量还可以表示所述执行主体的计算资源的应用状况,所述分类部可以基于所述执行主体彼此的通信状况和所述执行主体的计算资源的应用状况,将所述多个执行主体分类为所述dp组、所述pp组以及所述tp组。
13、在所述任一系统中,所述度量发送部可以按所述一个学习任务的每个轮次,将所述分散平台的所述执行部的度量发送到所述管理平台,所述分类部可以按所述一个学习任务的每个轮次,基于所述多个分散平台的所述度量,将所述多个分散平台的所述执行部分类为所述dp组、所述pp组以及所述tp组,所述调度部可以以如下方式进行调度:按所述一个学习任务的每个轮次,使所述dp组通过数据并行执行所述一个学习任务的一部分,使所述pp组通过流水线并行执行所述一个学习任务的一部分,使所述tp组通过张量并行执行所述一个学习任务的一部分。
14、在所述任一系统中,所述执行部可以使用所述分散平台的计算资源来执行控制ran的ran控制功能以及所述一个学习任务的一部分。所述执行部可以在所述分散平台的计算资源中存在未被所述ran控制功能应用的部分的情况下,使用该部分来执行所述一个学习任务的一部分。
15、根据本发明的一个实施方式,提供一种管理平台。所述管理平台可以具备度量获取部,该度量获取部从对一个学习任务执行分散学习的多个分散平台分别获取所述分散平台的度量。所述管理平台可以具备分类部,该分类部基于所述多个分散平台的所述度量,将所述多个分散平台的执行部分类为使用数据并行的dp组、使用流水线并行的pp组、以及使用张量并行的tp组。所述管理平台可以具备调度部,该调度部以如下方式进行调度:使所述dp组通过数据并行执行所述一个学习任务的一部分,使所述pp组通过流水线并行执行所述一个学习任务的一部分,使所述tp组通过张量并行执行所述一个学习任务的一部分。
16、根据本发明的一个实施方式,提供一种程序,用于使计算机执行以下步骤:获取步骤,从对一个学习任务执行分散学习的多个分散平台分别获取所述分散平台的度量;分类步骤,基于所述多个分散平台的所述度量,将所述多个分散平台的执行部分类为使用数据并行的dp组、使用流水线并行的pp组、以及使用张量并行的tp组;以及调度步骤,以如下方式进行调度:使所述dp组通过数据并行执行所述一个学习任务的一部分,使所述pp组通过流水线并行执行所述一个学习任务的一部分,使所述tp组通过张量并行执行所述一个学习任务的一部分。
17、根据本发明的一个实施方式,提供了一种调度方法,该调度方法由计算机来执行。所述调度方法可以包括获取步骤,从对一个学习任务执行分散学习的多个分散平台分别获取所述分散平台的度量。所述调度方法可以包括分类步骤,基于所述多个分散平台的所述度量,将所述多个分散平台的执行部分类为使用数据并行的dp组、使用流水线并行的pp组以及使用张量并行的tp组。所述调度方法可以包括调度步骤,该调度步骤以如下方式进行调度:使所述dp组通过数据并行执行所述一个学习任务的一部分,所述pp组通过流水线并行执行所述一个学习任务的一部分,所述tp组通过张量并行执行所述一个学习任务的一部分。
18、此外,上述发明的概要并非列举了本发明的所有必要特征。另外,这些特征组的子组合也能够成为发明。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com