一种提高计算机系统稳定性的计算机系统

1.本发明涉及计算机技术领域，具体是指一种提高计算机系统稳定性的计算机系统。


背景技术：

2.人工神经网络(以下称为“神经网络”)包括一类机器学习模型，该模型包括一组连接的神经元，也可以称为节点或感知器。神经网络可以组织成一个或多个层。包含多个层的神经网络可以称为“深度”网络。神经网络中的每个神经元都可以包含一个激活函数。给定一组输入，激活函数可以定义神经元的输出。神经网络的输入可以通过激活函数通过神经元层向前传播，以计算神经网络的输出。在基于梯度的优化技术中，
3.模型稳定性是训练和部署神经网络的关键问题。虽然神经网络在许多应用中表现出优于其他类型模型的性能，但训练神经网络偶尔会导致模型发散为高度退化的解决方案。这种发散通常需要重新训练网络并丢弃当前模型，从而浪费计算资源、工程工作和时间。已有文献中已经记录了梯度消失或爆炸等问题，其中神经网络似乎陷入困境，无法提高其预测性能。


技术实现要素：

4.本发明要解决的技术问题是解决上述问题，提供一种提高神经网络稳定性的同时提高计算机系统稳定性的计算机系统。
5.为解决上述技术问题，本发明提供的技术方案为：一种提高计算机系统稳定性的计算机系统，包括一个或多个处理器，和存储指令的一个或多个非暂时性计算机可读介质，当由一个或多个处理器执行时，该指令使计算系统执行操作以训练包括多个神经元的神经网络，该操作包括至少一次或多次训练迭代之一和对于多个神经元中的一个或多个神经元中的每一个通过计算系统获得目标函数相对于神经元的梯度，所述目标函数评估神经网络的性能；所述计算系统确定与神经元相关联的相应激活函数相关联的预激活值，所述激活函数包括修正线性单元，并且激活函数包括垂死不对称更新区域原点左侧和原点右侧的标准更新区域；所述计算系统基于与相应激活函数相关联的预激活值和目标函数相对于神经元的梯度来确定梯度更新，和当预激活值在垂死的非对称更新区域内时：包括当梯度更新的方向使神经元向原点移动时，计算系统根据梯度更新应用第一更新方案更新神经元，当梯度更新的方向使神经元远离原点时，计算系统根据梯度更新应用第二种不同的更新方案来更新神经元；所述第一更新方案增加梯度更新的幅度或者应用第二种不同的更新方案降低梯度更新的幅度。
6.进一步地，所述第一更新方案包括将梯度更新乘以第一标量值；和第二种不同的更新方案包括将梯度更新乘以小于第一标量值的第二标量值。
7.进一步地，所述第一标量值包括正标量值；和第二标量值包括零。
8.进一步地，所述第一个标量值包含1。
9.进一步地，所述第一个标量值包括一个小于1的正值。
10.本发明具有如下优点：本发明可以解决使用在其功能上不对称的激活函数来减轻训练数据中的异常的潜在有害影响或允许神经网络从潜在的容量减少状态，无法通过标准激活恢复，使神经网络或其他机器学习模型能够潜在地从模型崩溃的实例中完全恢复，基于每个神经元的当前状态来更新神经网络的神经元。
具体实施方式
11.下面对本发明做进一步的详细说明。
12.一种提高计算机系统稳定性的计算机系统，包括一个或多个处理器，和存储指令的一个或多个非暂时性计算机可读介质，当由一个或多个处理器执行时，该指令使计算系统执行操作以训练包括多个神经元的神经网络，该操作包括至少一次或多次训练迭代之一和对于多个神经元中的一个或多个神经元中的每一个通过计算系统获得目标函数相对于神经元的梯度，所述目标函数评估神经网络的性能；所述计算系统确定与神经元相关联的相应激活函数相关联的预激活值，所述激活函数包括修正线性单元，并且激活函数包括垂死不对称更新区域原点左侧和原点右侧的标准更新区域；所述计算系统基于与相应激活函数相关联的预激活值和目标函数相对于神经元的梯度来确定梯度更新，和当预激活值在垂死的非对称更新区域内时：包括当梯度更新的方向使神经元向原点移动时，计算系统根据梯度更新应用第一更新方案更新神经元，当梯度更新的方向使神经元远离原点时，计算系统根据梯度更新应用第二种不同的更新方案来更新神经元；所述第一更新方案增加梯度更新的幅度或者应用第二种不同的更新方案降低梯度更新的幅度。
13.进一步地，所述第一更新方案包括将梯度更新乘以第一标量值；和第二种不同的更新方案包括将梯度更新乘以小于第一标量值的第二标量值。
14.进一步地，所述第一标量值包括正标量值；和第二标量值包括零。
15.进一步地，所述第一个标量值包含1。
16.进一步地，所述第一个标量值包括一个小于1的正值。
17.本发明在具体实施时，本发明在基于训练数据训练模型期间，可以根据不同的更新方案更新每个神经元(例如，其权重、偏差或其他参数修改)。如，如果神经元当前在标准更新区域内，则可以根据标准技术更新神经元。然而，如果神经元当前位于激活函数的非对称更新区域内，则可以根据为神经元确定的梯度更新方向应用两种或更多种不同的更新方案；
18.本发明的激活函数的非对称更新可以实现更具表现力或鲁棒性的模型；对于典型的更新方案，某些神经元可能会“死亡”或“卡住”，处于对网络功能或性能没有贡献的状态，这会导致网络容量降低，从而降低表达能力，通过使神经元避免在无用的状态中变得“死”或“卡住”，可以使网络能够继续以全容量、表现力和鲁棒性运行。
19.以上对本发明及其实施方式进行了描述，这种描述没有限制性，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。


技术特征：
1.一种提高计算机系统稳定性的计算机系统，其特征在于：包括一个或多个处理器，和存储指令的一个或多个非暂时性计算机可读介质，当由一个或多个处理器执行时，该指令使计算系统执行操作以训练包括多个神经元的神经网络，该操作包括至少一次或多次训练迭代之一和对于多个神经元中的一个或多个神经元中的每一个通过计算系统获得目标函数相对于神经元的梯度，所述目标函数评估神经网络的性能；所述计算系统确定与神经元相关联的相应激活函数相关联的预激活值，所述激活函数包括修正线性单元，并且激活函数包括垂死不对称更新区域原点左侧和原点右侧的标准更新区域；所述计算系统基于与相应激活函数相关联的预激活值和目标函数相对于神经元的梯度来确定梯度更新，和当预激活值在垂死的非对称更新区域内时：包括当梯度更新的方向使神经元向原点移动时，计算系统根据梯度更新应用第一更新方案更新神经元，当梯度更新的方向使神经元远离原点时，计算系统根据梯度更新应用第二种不同的更新方案来更新神经元；所述第一更新方案增加梯度更新的幅度或者应用第二种不同的更新方案降低梯度更新的幅度。2.根据权利要求1所述的一种提高计算机系统稳定性的计算机系统，其特征在于：所述第一更新方案包括将梯度更新乘以第一标量值；和第二种不同的更新方案包括将梯度更新乘以小于第一标量值的第二标量值。3.根据权利要求2所述的一种提高计算机系统稳定性的计算机系统，其特征在于：所述第一标量值包括正标量值；和第二标量值包括零。4.根据权利要求1所述的一种提高计算机系统稳定性的计算机系统，其特征在于：所述第一个标量值包含1。5.根据权利要求1所述的一种提高计算机系统稳定性的计算机系统，其特征在于：所述第一个标量值包括一个小于1的正值。

技术总结
本发明涉及一种提高计算机系统稳定性的计算机系统，一个或多个处理器执行时，该指令使计算系统执行操作以训练包括多个神经元的神经网络，该操作包括至少一次或多次训练迭代之一和对于多个神经元中的一个或多个神经元中的每一个通过计算系统获得目标函数相对于神经元的梯度，所述目标函数评估神经网络的性能；所述计算系统确定与神经元相关联的相应激活函数相关联的预激活值，所述激活函数包括修正线性单元，并且激活函数包括垂死不对称更新区域原点左侧和原点右侧的标准更新区域；所述计算系统基于与相应激活函数相关联的预激活值和目标函数相对于神经元的梯度来确定梯度更新。本发明的优点：提高神经网络系统的稳定性。性。


技术研发人员：汤德怀
受保护的技术使用者：白城师范学院
技术研发日：2021.12.25
技术公布日：2022/4/29