神经网络推理方法、装置、设备、存储介质及程序产品与流程

摘要: 本公开属于计算机,尤其涉及一种神经网络推理方法、装置、设备、存储介质及程序产品。背景技术:1、为了降低模型加载、推理延迟、以及在资源受限设备上的极高的部署成本,...
神经网络推理方法、装置、设备、存储介质及程序产品与流程

本公开属于计算机,尤其涉及一种神经网络推理方法、装置、设备、存储介质及程序产品。

背景技术:

1、为了降低模型加载、推理延迟、以及在资源受限设备上的极高的部署成本,现有技术通过预计算所有可能的运算结果,进而用高效的内存访问操作替代耗时的算术指令。然而在利用查找表实现近似匹配,以替代模型中算子的实际运算时,常会对所有激活值无差别强制近似匹配,即使与查找表内的表项差异较大仍强制替换,导致推理结果不准确。

技术实现思路

1、本公开实施例提供一种神经网络推理方法、装置、设备、存储介质及程序产品,能够准确进行神经网络的模型推理。

2、第一方面,本公开实施例提供一种神经网络推理方法,方法包括以下步骤:

3、针对神经网络模型中每个算子对应的每个算子块,根据算子块对算子块的至少一个激活值样本进行运算,得到各激活值样本的预计算值;

4、根据各激活值样本的预计算值和各激活值样本构建查找表;

5、将待处理数据输入神经网络模型进行推理,得到各算子块对应的当前激活值;

6、针对每个算子块,计算算子块对应的当前激活值与查找表中的聚类质心之间的相似度;

7、针对每个算子块对应的当前激活值,在相似度大于预设阈值的情况下,根据查找表确定当前激活值的运算结果;在相似度小于等于预设阈值的情况下,根据算子块对当前激活值进行运算,得到当前激活值的运算结果;

8、基于各当前激活值的运算结果,得到神经网络模型的推理输出。

9、在一个可以实现的实施方式中,在针对神经网络模型中算子对应的每个算子块,根据算子块对算子块的至少一个激活值样本进行运算,得到各激活值样本的预计算值之前,方法还包括:

10、针对神经网络模型中的每个算子,在算子的输入特征的空间维度上对算子的输入特征进行分块和排序,得到算子对应的多个第一输入特征;

11、基于各第一输入特征和与各第一输入特征对应的权重,建立各算子分别对应的多个中间算子块;

12、针对每个中间算子块,在中间算子块的第一输入特征的通道维度上对中间算子块的第一输入特征进行分块和排序,得到中间算子块对应的多个第二输入特征;

13、针对神经网络模型中的每个算子,基于算子对应的第二输入特征和算子的第二输入特征对应的权重,建立算子对应的多个算子块。

14、在一个可以实现的实施方式中,根据各激活值样本的预计算值和各激活值样本构建查找表,包括:

15、将激活值样本的精度和数值范围进行压缩;

16、针对每个压缩后的激活值样本,建立压缩后的激活值样本与压缩后的激活值样本的预计算值之间的映射关系;

17、对映射关系进行聚类,得到多个聚类质心;

18、基于多个聚类质心构建查找表。

19、在一个可以实现的实施方式中,在基于多个聚类质心构建查找表之后,方法还包括:

20、在存储介质上建立查找表的存储空间;

21、以存储介质的缓存行容量为存储单位,按照神经网络模型的推理访问顺序将查找表中的各聚类质心存入存储空间内。

22、在一个可以实现的实施方式中,在针对每个算子块对应的当前激活值,在相似度大于预设阈值的情况下,根据查找表确定当前激活值的运算结果之前,方法还包括:

23、针对每个算子块,计算算子块对应的激活值样本与查找表中的聚类质心之间的相似度;

24、对各激活值样本对应的相似度进行排序,并根据排序结果和预设数量占比从多个激活值样本中筛选出至少一个第一激活值样本,并根据查找表确定第一激活值样本的运算结果;

25、根据算子块对第二激活值样本进行运算,得到第二激活值样本的运算结果;其中,第二激活值样本是多个激活值样本中除了第一激活值样本之外的激活值样本;

26、根据第一激活值样本的运算结果和第二激活值样本的运算结果,对预设数量占比进行迭代更新,直至神经网络模型收敛;

27、根据修正后的预设数量占比确定相似度的预设阈值。

28、在一个可以实现的实施方式中,根据修正后的预设数量占比确定相似度的预设阈值,包括:

29、针对每个算子,根据算子的激活值样本和查找表中的聚类质心之间的平均相似度,将算子划分为多个层级;

30、根据平均相似度的大小,依次为各层级中的算子设置查找比例,查找比例用于表示算子中第一激活样本和第二激活样本的比例;

31、根据第一激活值样本的运算结果和第二激活值样本的运算结果,对查找比例进行迭代更新,直至神经网络模型收敛;

32、根据修正后的查找比例、修正后的预设数量占比确定相似度的预设阈值。

33、在一个可以实现的实施方式中,针对每个算子块,计算算子块对应的激活值样本与查找表中的聚类质心之间的相似度,包括:

34、针对每个算子块,基于算子块对应的激活值样本的矩阵确定激活样本向量;

35、计算每个激活样本向量和查找表中各聚类质心之间的欧氏距离;

36、向各欧氏距离添加噪声,并对各添加噪声后的欧氏距离进行归一化,得到每个激活值样本与查找表中的聚类质心之间的相似度。

37、在一个可以实现的实施方式中,针对每个算子块对应的当前激活值,在相似度大于预设阈值的情况下,根据查找表确定当前激活值的运算结果;在相似度小于等于预设阈值的情况下,根据算子块对当前激活值进行运算,得到当前激活值的运算结果,包括:

38、针对每个算子块对应的当前激活值,在相似度大于预设阈值的情况下,生成当前激活值的第一索引掩码;在相似度小于等于预设阈值的情况下,生成当前激活值的第二索引掩码;

39、响应于第一索引掩码,基于查找表确定当前激活值的运算结果;

40、响应于第二索引掩码,基于算子块对当前激活值进行运算,得到当前激活值的运算结果。

41、第二方面,本公开实施例提供了一种神经网络推理装置,装置包括:

42、预计算模块,用于针对神经网络模型中算子对应的每个算子块,根据算子块对算子块的至少一个激活值样本进行运算,得到各激活值样本的预计算值;

43、查找表构建模块,用于根据各激活值样本的预计算值和各激活值样本构建查找表;

44、激活值获取模块,用于将待处理数据输入神经网络模型进行推理,得到各算子块对应的当前激活值;

45、相似度计算模块,用于针对每个算子块,计算算子块对应的当前激活值与查找表中的聚类质心之间的相似度;

46、激活值计算模块,用于针对每个算子块对应的当前激活值,在相似度大于预设阈值的情况下,根据查找表确定当前激活值的运算结果;在相似度小于等于预设阈值的情况下,根据算子块对当前激活值进行运算,得到当前激活值的运算结果;

47、输出模块,用于基于各当前激活值的运算结果,得到神经网络模型的推理输出。

48、第三方面,本公开实施例提供了一种神经网络推理设备,设备包括:处理器,以及存储有计算机程序指令的存储器;处理器读取并执行计算机程序指令,以实现上述实施例中的任意一种神经网络推理方法。

49、第四方面,本公开实施例提供了一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现上述实施例中的任意一种神经网络推理方法。

50、第五方面,本公开实施例提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述实施例中的任意一种神经网络推理方法。

51、本公开实施例的神经网络推理方法、装置、设备、存储介质及程序产品,能够准确进行神经网络的模型推理。本公开利用训练阶段的激活值样本实现神经网络模型的预计算,并基于此建立查找表;在推理阶段,根据相似度的预设阈值,仅对与查找表聚类质心高度相似的激活值进行查表近似,而对于相似度较低的激活值,依然回退至算子块进行精确计算,既充分利用查找表实现了快速计算,又避免了硬查找,确保了模型在复杂输入下的准确性。