用于训练神经网络的方法与流程

技术特征：
1.用于训练人工神经网络(1)的方法，其中，所述方法包括以下步骤：-提供待训练的神经网络(1)，在训练后该神经网络(1)待基于第一激活函数进行操作(s10)；-基于第二激活函数执行神经网络(1)的初始训练，其中，第二激活函数不同于第一激活函数，其中，第二激活函数是包括至少一个待改变的参数的参数化的激活函数，其中，所述第二激活函数的至少一参数能够被选择为使得第二激活函数等于或基本上等于第一激活函数，其中，初始训练使用起始参数设置来执行，其中，起始参数设置被选择为使得第二激活函数不同于第一激活函数(s11)；-在过渡阶段，执行进一步的训练步骤，其中，在前后连续的训练步骤中，改变第二激活函数的至少一个参数，以使第二激活函数接近第一激活函数(s12)；以及-基于第一激活函数执行最后的训练步骤(s13)。2.根据权利要求1所述的方法，其中，在过渡阶段中，将至少一个参数从起始参数设置调整适配为结束参数设置。3.根据权利要求2所述的方法，其中，将至少一个参数非线性地从起始参数设置调整适配为结束参数设置。4.根据上述权利要求中任一权利要求所述的方法，其中，调度器(2)动态地调整适配至少一个参数，以使第二激活函数朝向第一激活函数调整适配。5.根据权利要求4所述的方法，其中，调度器(2)如何对第二激活函数的至少一个参数进行调整适配的动态调整适配功能是基于超参数搜索方法来确定的。6.根据上述权利要求中任一权利要求所述的方法，其中，第一激活函数是一relu激活函数，它通过下列公式描述：y(x)＝max(0、x)。7.根据上述权利要求中任一权利要求所述的方法，其中，第二激活函数从以下激活函数的列表中选择：swish激活函数、mish激活函数、gelu激活函数、elu激活函数。8.根据上述权利要求中任一权利要求所述的方法，其中，第二激活函数是swish激活函数，它通过下列公式描述：y(x)＝x
·
sigmoid(β
·
x)9.根据权利要求1到7中任一权利要求所述的方法，其中，第二激活函数是mish激活函数，它通过下列公式描述：y(x)＝x
·
tanh(softplus(β
·
x))；其中，softplus(x)＝ln(1 e
x
)。10.根据权利要求1到7中任一权利要求所述的方法，其中，第二激活函数是gelu激活函数，它通过下列公式描述：11.根据权利要求1到7中任一权利要求所述的方法，其中，第二激活函数是elu激活函数，它通过下列公式描述：
12.根据上述权利要求中任一权利要求所述的方法，其中，用于训练神经网络(1)的训练环境包括不同于在生产阶段中所用的生产硬件的计算硬件。13.根据权利要求12所述的方法，其中，训练环境包括对swish激活函数、mish激活函数、gelu激活函数和/或elu激活函数的硬件支持，生产硬件包括对relu激活函数的硬件支持，但不包括对swish激活函数、mish激活函数、gelu激活函数和/或elu激活函数的硬件支持。14.一种包括指令、用于训练人工神经网络的计算机程序，当计算机执行所述程序时，所述指令使计算机执行以下步骤：-接收与待训练神经网络(1)有关的信息，其中，在训练后，该神经网络(1)待基于第一激活函数进行操作；-基于第二激活函数执行神经网络(1)的一初始训练，其中，第二激活函数不同于第一激活函数，其中，第二激活函数是包括至少一个待改变的参数的参数化的激活函数，其中，第二激活函数的至少一参数被选择为使得第二激活函数等于或基本上等于第一激活函数，其中，初始训练使用起始参数设置来执行，其中，起始参数设置被选择为使得第二激活函数不同于第一激活函数；-用进一步的训练步骤实施过渡阶段，其中，在过渡训练阶段的前后连续的训练步骤中，改变第二激活函数的至少一个参数，以使第二激活函数接近第一激活函数；-基于第一激活函数执行最后的训练步骤。

技术总结
本发明涉及用于训练人工神经网络的一种方法，其包括：提供待训练的神经网络，所述神经网络在训练后待基于第一激活函数进行操作；基于第二激活函数执行神经网络的初始训练，第二激活函数不同于第一激活函数，第二激活函数是包括至少一个待改变的参数的参数化的激活函数，第二激活函数的至少一参数被选择为使得第二激活函数等于或基本上等于第一激活函数，初始训练使用起始参数设置来执行，起始参数设置被选择为使得第二激活函数不同于第一激活函数；在过渡阶段，执行进一步的训练步骤，在前后连续的训练步骤中，改变第二激活函数的至少一个参数，以使第二激活函数接近第一激活函数；以及基于第一激活函数执行最后的训练步骤。以及基于第一激活函数执行最后的训练步骤。以及基于第一激活函数执行最后的训练步骤。


技术研发人员：A
受保护的技术使用者：大陆智行德国有限公司
技术研发日：2022.07.20
技术公布日：2023/2/6