使用多目标奖励神经网络通过强化学习来训练神经网络的制作方法

背景技术：

1、本说明书涉及使用神经网络来处理输入。

2、神经网络是采用一层或多层非线性单元来预测针对接收到的输入的输出的机器学习模型。除输出层之外，一些神经网络还包括一个或多个隐藏层。每个隐藏层的输出被用作到网络中的下一层(即，下一隐藏层或输出层)的输入。网络的每个层依据相应参数集的当前值输入根据接收到的输入来生成输出。

技术实现思路

1、本说明书描述了一种被实现为在一个或多个位置的一个或多个计算机上的计算机程序的通过强化学习来训练神经网络的系统。特别地，该系统使用多目标奖励神经网络通过强化学习来训练神经网络，该多目标奖励神经网络生成针对多个不同目标中的每个目标的相应奖励分数。

2、可以实现本说明书中描述的主题的特定实施例，以便实现以下优点中的一个或多个。

3、通过利用使用多目标神经网络生成的组合奖励来训练神经网络，系统可以提高训练过程的有效性，例如，因为用于强化学习的奖励信号结合了任何给定输出的质量的多个不同方面的多个度量。

4、附加地，因为针对多个目标的奖励分数由相同的多目标奖励神经网络生成，并且在通过奖励神经网络的单个正向遍次中被生成，系统可以在没有任何显著的附加计算开销的情况下实现训练质量方面的这种改进。

5、也就是说，因为仅需要通过多目标奖励神经网络的单个遍次，所以相对于计算单个奖励分数所需的遍次，系统不需要执行任何附加正向遍次以便生成附加奖励分数。因为计算通过深度神经网络的正向遍次在计算上可能是昂贵的，并且消耗大量的存储器和处理器资源，因此这允许系统在不增加大量计算开销的情况下提高训练的质量。

6、换句话说，系统可以利用多目标奖励神经网络借助通过单个神经网络的正向遍次并行地生成多个不同的奖励分数，从而在不给强化训练过程增加时延或其他开销的情况下实现更丰富的训练信号。

7、而且，系统可以在具有逐点损失和成对损失的两个目标上训练奖励神经网络，从而提高由多目标奖励神经网络生成的奖励分数的准确性并且提高神经网络的训练的质量。

8、更具体地，通过在包括(i)针对具有逐点损失函数的目标的输入和(ii)针对具有成对损失函数的目标的输入两者的各批次的训练数据上训练多目标奖励神经网络，系统可以在单个训练运行中在全部目标上有效地训练多目标奖励神经网络，从而降低训练过程的计算复杂性并提高训练的有效性，例如因为信息可以在逐点目标和成对目标之间传播。

9、也就是说，通过在逐点目标和成对目标两者上联合训练多目标奖励神经网络，例如相对于为逐点目标执行一个训练运行并且为成对目标执行另一训练运行、或者为逐点目标和成对目标训练单独的奖励模型，系统以更加计算高效的方式执行训练。

10、附加地，该系统可以使用已经训练的模型生成用于多目标奖励神经网络的大部分或全部训练数据——例如而不是需要人工标记或附加模型训练——从而允许多目标奖励神经网络在各种不同的任务上被有效地训练。例如，系统可以通过对大型语言模型进行思维链提示来生成对成对目标的训练奖励输入对。作为另一示例，该系统还可以通过对大型语言模型进行思维链提示来生成对逐点目标的单个训练奖励输入。

11、在附图和以下描述中阐述了本说明书的主题的一个或多个实施例的细节。本主题的其他特征、方面和优点将从描述、附图和权利要求中变得显而易见。

1.一种由一个或多个计算机执行的方法，所述方法包括：

2.如权利要求1所述的方法，其中，在通过强化学习进行所述训练之前，所述神经网络已经通过非监督学习或监督学习中的一者或多者被预训练。

3.如任一项前述权利要求所述的方法，其中，所述神经网络是语言模型神经网络。

4.如权利要求3所述的方法，其中，所述神经网络是自回归语言模型神经网络。

5.如权利要求4所述的方法，其中，所述神经网络是编码器-解码器或仅解码器transformer神经网络。

6.如任一项前述权利要求所述的方法，其中，所述多目标奖励神经网络包括：

7.如权利要求6所述的方法，其中，使用所述多目标奖励神经网络来处理包括所述训练网络输出的所述奖励输入包括：

8.如权利要求7所述的方法，其中，针对所述多个目标中的每个目标的所述相应输出头包括具有相应权重张量的相应线性层。

9.如权利要求8所述的方法，其中，使用针对所述多个目标中的每个目标的所述相应输出头来处理所述共享表示以生成针对所述多个目标的所述相应奖励分数包括：

10.如权利要求7至9中任一项所述的方法，其中，所述基础神经网络是语言模型神经网络，并且其中所述共享表示是由所述语言模型神经网络生成的所述奖励输入中的最后词元的表示。

11.如任一项前述权利要求所述的方法，其中，从针对所述多个目标中的每个目标的所述相应奖励分数生成组合奖励分数包括计算针对所述多个目标中的每个目标的所述相应奖励分数的加权和。

12.如任一项前述权利要求所述的方法，其中，使用针对所述训练网络输出的所述组合奖励分数通过强化学习来训练所述神经网络包括在包括第一项的目标上训练所述神经网络，所述第一项鼓励所述神经网络将更高似然性指派给具有更高组合奖励的训练网络输出。

13.如权利要求12所述的方法，其中，所述目标包括第二项，所述第二项因生成偏离由参考神经网络生成的似然性的似然性而惩罚所述神经网络。

14.如任一项前述权利要求所述的方法，其中，所述多个目标中的每个目标具有对应损失函数，并且其中对于所述多个目标中的每个目标，所述多目标神经网络已经使用用于所述目标的所述对应损失函数在用于所述目标的相应训练数据集上被训练。

15.如权利要求14所述的方法，其中，所述多个目标包括第一目标和第二目标，所述第一目标具有作为成对损失函数的对应损失函数，所述成对损失函数针对两个奖励输入比较针对所述第一目标的相应奖励分数；所述第二目标具有作为逐点损失函数的对应损失函数，所述逐点损失函数针对单个奖励输入度量针对所述第二目标的相应奖励分数。

16.如权利要求14或权利要求15所述的方法，其中，用于所述多个目标的所述相应训练数据集已经通过提示经训练的语言模型神经网络被生成。

17.如权利要求14至16中任一项所述的方法，进一步包括，在所述神经网络的所述训练之前，在用于所述多个目标的所述相应训练数据集上训练所述多目标奖励模型神经网络。

18.如权利要求17在从属于权利要求15时所述的方法，其中，所述多目标奖励模型神经网络的所述训练包括，在特定奖励神经网络训练步处：

19.一种系统，包括一个或多个计算机和存储指令的一个或多个存储装置，所述指令在由所述一个或多个计算机执行时致使所述一个或多个计算机执行如权利要求1至18中任一项所述的相应方法的操作。

20.一个或多个存储指令的计算机存储介质，所述指令在由一个或多个计算机执行时致使所述一个或多个计算机执行如权利要求1至18中任一项所述的相应方法的操作。