深度学习加速器参数确定方法、装置及电子设备与流程

摘要: 本申请属于计算机领域,具体涉及一种深度学习加速器参数确定方法、装置及电子设备。背景技术:1、随着深度神经网络(deepneuralnetwork,dnn)在各类...
深度学习加速器参数确定方法、装置及电子设备与流程

本申请属于计算机领域,具体涉及一种深度学习加速器参数确定方法、装置及电子设备。

背景技术:

1、随着深度神经网络(deep neural network,dnn)在各类应用中的广泛普及,对其在硬件上的高效映射成为研究热点。随着深度学习的快速发展,深度学习加速器的设计变得尤为重要。架构探索平台旨在通过优化算法在庞大的设计空间中搜索最佳的架构配置,以满足优化目标。

2、相关技术中,架构探索平台主要采用遗传算法(genetic algorithm,ga)进行设计空间搜索,以找到最优的参数配置策略。然而,深度学习加速器的设计空间庞大,且优化目标复杂,采用传统的遗传算法容易陷入局部最优解,而且搜索效率低。

技术实现思路

1、本申请实施例的目的是提供一种深度学习加速器参数确定方法、装置及电子设备,能够提升的深度学习加速器配置参数的准确性,以及能够更快速地确定出最优参数。

2、第一方面,本申请实施例提供了一种深度学习加速器参数确定方法,包括:

3、基于深度学习加速器的设计空间,确定待处理参数配置策略集合,待处理参数配置策略集合中包括深度学习加速器的多个参数配置策略;

4、将待处理参数配置策略集合划分为多个子参数配置策略集合;

5、分别对每个子参数配置策略集合进行遗传操作,得到每个子参数配置策略集合的子代参数配置策略集合和子代参数配置策略集合中每个参数配置策略的适应度值;

6、对所有子代参数配置策略集合进行合并,得到新的参数配置策略集合;

7、根据新的参数配置策略集合和新的参数配置策略集合中每个参数配置策略的适应度值,确定与深度学习加速器匹配的最优参数配置策略。

8、第二方面,本申请实施例提供了一种深度学习加速器参数确定装置,包括:

9、集合确定模块,用于基于深度学习加速器的设计空间,确定待处理参数配置策略集合,所述参数配置策略集合中包括所述深度学习加速器的多个参数配置策略;

10、划分模块,用于将所述待处理参数配置策略集合划分为多个子参数配置策略集合;

11、处理模块,用于分别对每个所述子参数配置策略集合进行遗传操作,得到每个所述子参数配置策略集合的子代参数配置策略集合和所述子代参数配置策略集合中每个参数配置策略的适应度值;

12、合并模块,用于对所有所述子代参数配置策略集合进行合并,得到新的参数配置策略集合;

13、寻优模块,用于根据所述新的参数配置策略集合和新的参数配置策略集合中每个参数配置策略的适应度值,确定与所述深度学习加速器匹配的最优参数配置策略。

14、第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

15、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

16、第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

17、第六方面,本申请实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

18、在本申请实施例中,基于深度学习加速器的设计空间,确定待处理参数配置策略集合,参数配置策略集合中包括深度学习加速器的多个参数配置策略;将待处理参数配置策略集合划分为多个子参数配置策略集合;分别对每个子参数配置策略集合进行遗传操作,得到每个子参数配置策略集合的子代参数配置策略集合和子代参数配置策略集合中每个参数配置策略的适应度值;对所有子代参数配置策略集合进行合并,得到新的参数配置策略集合;根据新的参数配置策略集合和新的参数配置策略集合中每个参数配置策略的适应度值,确定与深度学习加速器匹配的最优参数配置策略。根据本实施例,采用多子参数配置策略集合并行处理的策略,能够快速找打最优参数配置策略,而且通过并行处理,能够分散搜索过程中的局部最优,从而提升最终得到的最优参数配置策略的准确性。

1.一种深度学习加速器参数确定方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述分别对每个所述子参数配置策略集合进行遗传操作,得到每个所述子参数配置策略集合的子代参数配置策略集合和所述子代参数配置策略集合中每个参数配置策略的适应度值,包括:

3.根据权利要求2所述的方法,其特征在于,所述参数配置策略包括架构参数序列和架构参数内存分配,所述架构参数序列包括多个按照预设顺序排列的架构参数,所述架构参数内存分配用于指示所述架构参数序列中的每个架构参数在各个操作类型下所处的内存层级;

4.根据权利要求3所述的方法,其特征在于,所述架构参数序列中的多个架构参数对应至少一个硬件维度,所述基于所述父代参数配置策略对的交叉点位置,对所述父代参数配置策略对进行交叉操作,得到新的参数配置策略之后,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述架构参数序列中的多个架构参数对应至少一个硬件维度,所述基于所述父代参数配置策略对的交叉点位置,对所述父代参数配置策略对进行交叉操作,得到新的参数配置策略之后,所述方法还包括:

6.根据权利要求3所述的方法,其特征在于,所述架构参数序列中的多个架构参数对应至少一个硬件维度,所述基于所述父代参数配置策略对的交叉点位置,对所述父代参数配置策略对进行交叉操作,得到新的参数配置策略之后,所述方法还包括:

7.根据权利要求1-6任意一项所述的方法,其特征在于,所述根据所述新的参数配置策略集合,确定与所述深度学习加速器匹配的最优参数配置策略,包括:

8.根据权利要求7所述的方法,其特征在于,所述根据所述新的参数配置策略集合中每个参数配置策略的适应度值,确定候选参数配置策略集合,包括:

9.根据权利要求7所述的方法,其特征在于,所述根据所述新的参数配置策略集合中每个参数配置策略的适应度值,确定候选参数配置策略集合之后,所述方法还包括:

10.根据权利要求9所述的方法,其特征在于,所述将所述新的参数配置策略集合作为待处理参数配置策略集合,返回执行所述将所述待处理参数配置策略集合划分为多个子参数配置策略集合的步骤之前,所述方法还包括:

11.根据权利要求10所述的方法,其特征在于,所述将所述新的参数配置策略集合作为待处理参数配置策略集合,返回执行所述将所述待处理参数配置策略集合划分为多个子参数配置策略集合的步骤之后,所述方法还包括:

12.根据权利要求2-6任意一项所述的方法,其特征在于,所述确定所述子代参数配置策略集合中每个参数配置策略的适应度值,包括:

13.根据权利要求1-6任意一项所述方法,其特征在于,所述将所述待处理参数配置策略集合划分为多个子参数配置策略集合之后,所述方法还包括:

14.根据权利要求1-6任意一项所述的方法,其特征在于,所述基于深度学习加速器的设计空间,确定待处理参数配置策略集合之前,所述方法还包括:

15.一种深度学习加速器参数确定装置,其特征在于,包括:

16.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-14任一项所述的深度学习加速器参数确定方法的步骤。