抵消模拟加速器的漂移系数中的变化的漂移正则化的制作方法

技术特征：
1.一种训练人工神经网络的方法，包括：随机初始化多个权重，所述多个权重中的每个权重对应于人工神经网络的突触；将至少一个输入阵列输入到所述人工神经网络；通过所述人工神经网络基于所述至少一个输入阵列和所述多个权重来确定至少一个输出阵列；比较所述至少一个输出阵列与真值数据以确定第一损失；通过将漂移正则化添加到所述第一损失来确定第二损失，所述漂移正则化与所述至少一个输出阵列的方差正相关；以及通过反向传播基于所述第二损失更新所述多个权重。2.根据权利要求1所述的方法，其中，所述人工神经网络包括相变存储器元件的交叉阵列。3.根据权利要求1所述的方法，其中，所述人工神经网络包括多个层。4.根据权利要求1所述的方法，其中，所述第一损失是交叉熵损失。5.根据权利要求1所述的方法，其中，确定所述第一损失包括正则化。6.根据权利要求1所述的方法，包括：通过反向传播进一步更新所述多个权重直到获得目标准确度。7.一种系统，包括：人工神经网络，其包括相变存储器元件的交叉阵列；计算节点，其包括具有随其体现的程序指令的计算机可读存储介质，所述程序指令能够由所述计算节点的处理器执行以使所述处理器执行包括以下步骤的方法：随机初始化多个权重，所述多个权重中的每个权重对应于所述人工神经网络的突触；将至少一个输入阵列输入到所述人工神经网络；基于所述至少一个输入阵列和所述多个权重从所述人工神经网络获得至少一个输出阵列；比较所述至少一个输出阵列与真值数据以确定第一损失；通过将漂移正则化添加到所述第一损失来确定第二损失，所述漂移正则化与所述至少一个输出阵列的方差正相关；以及通过反向传播基于所述第二损失更新所述多个权重。8.根据权利要求7所述的系统，其中，所述人工神经网络包括相变存储器元件的交叉阵列。9.根据权利要求7所述的系统，其中，所述人工神经网络包括多个层。10.根据权利要求7所述的系统，其中，所述第一损失是交叉熵损失。11.根据权利要求7所述的系统，其中，确定所述第一损失包括正则化。12.根据权利要求7所述的系统，所述方法还包括：通过反向传播进一步更新所述多个权重直到获得目标准确度。13.一种用于训练人工神经网络的计算机程序产品，所述计算机程序产品包括具有随其体现的程序指令的计算机可读存储介质，所述程序指令能够由处理器执行以使所述处理器执行包括以下步骤的方法：随机初始化多个权重，所述多个权重中的每个权重对应于所述人工神经网络的突触；
将至少一个输入阵列输入到所述人工神经网络；基于所述至少一个输入阵列和所述多个权重从所述人工神经网络获得至少一个输出阵列；比较所述至少一个输出阵列与真值数据以确定第一损失；通过将漂移正则化添加到所述第一损失来确定第二损失，所述漂移正则化与所述至少一个输出阵列的方差正相关；以及通过反向传播基于所述第二损失更新所述多个权重。14.根据权利要求13所述的计算机程序产品，其中，所述人工神经网络包括相变存储器元件的交叉阵列。15.根据权利要求13所述的计算机程序产品，其中，所述人工神经网络包括多个层。16.根据权利要求13所述的计算机程序产品，其中，所述第一损失是交叉熵损失。17.根据权利要求13所述的计算机程序产品，其中，确定所述第一损失包括正则化。18.根据权利要求13所述的计算机程序产品，所述方法还包括：通过反向传播进一步更新所述多个权重直到获得目标准确度。19.一种用于与包括各个层的深度神经网络(dnn)一起使用的方法，所述层中的每个层具有多个突触和神经元，其中所述突触与相应权重相关联，所述相应权重与相应连接神经元对相关联，所述方法包括：(a)随机初始化所述权重；(b)将至少一个输入信号阵列输入到所述层中的第一层中，所述信号对应于要被分析的数据，其中所述权重用于通过所述dnn计算所述信号的前向传播；(c)在所述信号阵列已经通过所述dnn传播之后，将来自所述dnn的输出与真值标签进行比较以计算初始损失；(d)将附加损失项添加到所述初始损失，从而形成总损失，使得不同输入信号阵列的输出分布的变化导致总损失增加；(e)鉴于总损失计算输出误差；(f)通过所述dnn反向传播以针对每个层获得对应的误差信号，其中所述权重被用来计算所述误差信号；(g)计算所述误差信号与所述输入信号阵列之间的外积以创建权重更新矩阵，所述权重更新矩阵然后被添加到所述权重以形成经更新的权重；以及(h)使用在(g)中计算的所述经更新的权重重复步骤(b)-(g)，直到获得满意的准确度水平。

技术总结
提供了漂移正则化以抵消模拟神经网络中的漂移系数的变化。示出了训练人工神经网络的方法。随机初始化多个权重。该多个权重中的每一个对应于人工神经网络的突触。至少一个输入阵列被输入到人工神经网络。由人工神经网络基于至少一个输入阵列和多个权重来确定至少一个输出阵列。将至少一个输出阵列与真值数据进行比较以确定第一损失。通过将漂移正则化添加到第一损失来确定第二损失。漂移正则化与至少一个输出阵列的方差正相关。通过反向传播基于第二损失来更新多个权重。第二损失来更新多个权重。第二损失来更新多个权重。


技术研发人员：蔡欣妤 S.卡里亚帕
受保护的技术使用者：国际商业机器公司
技术研发日：2021.06.04
技术公布日：2023/2/3