一种大语言模型的微调方法以及装置与流程

本技术实施例涉及计算机领域，尤其涉及一种大语言模型的微调方法以及装置。

背景技术：

1、随着人工智能技术的发展，大型语言模型(large language model,llm)为通用人工智能的发展勾勒出蓝图，大语言模型是基于深度学习的自然语言处理模型，大语言模型通过海量文本数据训练，能够生成、理解和推理文本。

2、在大语言模型的训练过程中，为了使得大语言模型的输出与人类偏好达成一致，大语言模型训练往往进行基于人类反馈的强化学习微调(reinforcement learning fromhuman feedback，rlhf)，从而能够利用人类反馈信息提炼出人类主观偏好，进而优化大语言模型，生成更高质量的文本。然而，人类偏好数据有时仅聚焦于生成文本的质量，却忽视了文本潜在的安全隐患，导致在模型生成文本可能出现不符合伦理道德、带有偏见或包含误导性信息等问题。

3、因此，为了防止大语言模型输出不安全内容，在目前大语言模型训练方案中，往往通过增加安全性约束等方式增强大语言模型的输出安全性，例如，在大语言模型训练过程中引入明确的安全规则和限制条件，包括设定特定的词汇表限制模型使用可能引发偏见、仇恨或违反伦理道德的词汇。然而，对大语言模型增加安全性约束的方案可能因为过度约束而影响大语言模型的正常能力，同时，基于安全性约束的方案也无法涵盖所有的潜在安全隐患，使得大语言模型的有效性和安全性的不平衡。

技术实现思路

1、本技术实施例提供了一种大语言模型的微调方法，用于平衡大语言模型的有效性和安全性。本技术实施例还提供了一种大语言模型的微调方法对应的大语言模型的微调装置、计算设备、计算设备集群、计算机可读存储介质以及计算机程序产品。

2、第一方面，本技术实施例提供了一种大语言模型的微调方法，该方法可以由计算设备执行，也可以由计算设备的部件，例如计算设备的处理器、芯片或芯片系统等执行，还可以由能实现全部或部分计算设备功能的逻辑模块或软件实现。第一方面提供的方法包括：计算设备获取奖励模型集合，奖励模型集合包括有效性奖励模型和安全性奖励模型，其中，有效性奖励模型用于确定大语言模型输出的有效性损失，安全性奖励模型用于确定大语言模型输出的安全性损失。计算设备基于奖励模型集合确定融合梯度信息，融合梯度信息用于指示大语言模型微调的参数更新方向，融合梯度信息包括有效性损失对应的梯度信息和安全性损失对应的梯度信息，有效性损失对应的梯度信息指示大语言模型微调的有效性偏好，安全性损失对应的梯度信息指示大语言模型微调的安全性偏好。计算设备基于融合梯度信息更新大语言模型的模型参数。

3、本技术实施例中计算设备能够基于有效性奖励模型和安全性奖励模型确定大语言模型微调过程中的融合梯度信息，并基于融合梯度信息更新大语言模型的模型参数，由于有效性奖励模型和安全性奖励模型能够拟合人类的有效性偏好和安全性偏好，因此，基于有效性奖励模型和安全性奖励模型确定的融合梯度信息能够指示大语言模型微调的更新偏好，相较于现有技术方案中通过对大语言模型增加安全性约束的方案，本技术实施例中计算设备能够通过融合梯度信息调节大语言模型微调的有效性偏好和安全性偏好，从而平衡大语言模型的有效性和安全性。

4、一种可能的实施方式中，计算设备基于奖励模型集合确定融合梯度信息的过程中，基于有效性奖励模型和安全性奖励模型分别计算有效性梯度和安全性梯度，有效性梯度指示有效性损失的下降方向，安全性梯度用于指示安全性损失的下降方向。计算设备将有效性梯度投影至安全性梯度的正交补空间，得到有效性梯度投影，有效性梯度投影用于消除有效性梯度和安全性梯度的冲突分量。计算设备基于有效性梯度投影和安全性梯度确定融合梯度信息。

5、本技术实施例中计算设备能够对有效性梯度进行投影，从而减少有效性梯度和安全性梯度之间的冲突分量，避免了大语言模型微调过程中有效性与安全性的差异。

6、一种可能的实施方式中，计算设备基于有效性奖励模型和安全性奖励模型分别计算有效性梯度和安全性梯度的过程中，计算设备基于有效性奖励模型和安全性奖励模型分别计算有效性损失和安全性损失，有效性损失用于评估大语言模型输出的有效性，安全性损失用于评估大语言模型输出安全性。计算设备基于有效性损失和安全性损失分别计算有效性梯度和安全性梯度。

7、本技术实施中计算设备能够基于有效性奖励模型和安全性奖励模型，分别计算有效性损失和安全性损失，并基于有效性损失和安全性损失更新大语言模型的模型参数，从而提升了大语言模型的有效性和安全性。

8、一种可能的实施方式中，计算设备基于有效性奖励模型和安全性奖励模型分别计算有效性损失和安全性损失的过程中，基于有效性奖励模型和安全性奖励模型分别计算有效性奖励值和安全性奖励值，有效性奖励值用于指示大语言模型输出的即时有效性反馈，安全性奖励值用于指示大语言模型输出的即时安全性反馈。计算设备基于广义优势估计gae方法对有效性奖励值和有效性价值估计值计算有效性优势估计值，有效性优势估计值用于量化大语言模型的当前语素对于有效性的净收益，有效性价值估计值用于根据已生成语素预测大语言模型输出的有效性预期收益。计算设备基于gae方法对安全性奖励值和安全性价值估计值计算安全性优势估计值，安全性优势估计值用于量化大语言模型的当前语素对于安全性的净收益，安全性价值估计值用于根据已生成语素预测大语言模型输出的安全性预期收益。计算设备基于近端策略优化ppo算法对有效性优势估计值和安全性优势估计值分别计算得到有效性损失和安全性损失。

9、本技术实施例中计算设备基于奖励值和价值估计值计算有效性优势估计值以及安全性优势估计值，并基于有效性优势估计值以及安全性优势估计值进一步计算有效性损失和安全性损失，从而提升了计算有效性损失和安全性损失的可实现性。

10、一种可能的实施方式中，计算设备将有效性梯度投影至安全性梯度的正交补空间的过程中，计算设备基于投影强度将有效性梯度投影至安全性梯度的正交补空间，其中，投影强度用于控制冲突分量的消除比例。投影强度与安全裕度衰减系数相关，当安全性损失小于安全性损失阈值时，安全裕度衰减系数越大，投影强度衰减越快，即允许大语言模型更激进地进行有效性优化。安全裕度衰减系数越小，投影强度衰减越缓慢，保留更多安全约束并保守地进行有效性优化。

11、本技术实施例中计算设备在进行有效性梯度投影的过程中，可以基于投影强度控制有效性梯度和安全性梯度冲突分量的消除比例，使得当安全性损失较大时，可以基于投影强度需要更严格地限制有效性梯度的方向，从而提升大语言模型的安全性。

12、一种可能的实施方式中，计算设备基于有效性梯度投影和安全性梯度确定融合梯度信息的过程中，计算设备基于梯度缩放算法分别对有效性梯度投影和安全性梯度进行梯度缩放，梯度缩放算法用于平衡有效性梯度投影和安全性梯度的梯度量级差异，对缩放后的有效性梯度投影和缩放后的安全性梯度进行总梯度合成，得到融合梯度信息。梯度缩放算法包括基于l(1/2)范数的梯度缩放机制，l(1/2)范数是一种介于l1范数和l2范数之间的稀疏性度量，基于l(1/2)范数的梯度缩放能够平衡有效性梯度投影量级和安全性梯度量级之间的差异。

13、本技术实施例中计算设备能够基于梯度缩放算法分别对有效性梯度投影和安全性梯度进行梯度缩放，从而平衡有效性梯度投影和安全性梯度的梯度量级差异，避免大语言模型微调由单一梯度主导优化方向，从而提升了大语言模型微调的稳定性。

14、一种可能的实施方式中，计算设备基于用户需求特征向量确定权重参数，权重参数包括有效性权重参数和安全性权重参数，有效性权重参数用于指示缩放后的有效性梯度投影对应的权重，安全性权重参数用于指示缩放后的安全性梯度对应的权重。计算设备基于有效性权重参数和安全性权重参数对缩放后的有效性梯度投影和缩放后的安全性梯度进行总梯度合成，得到融合梯度信息。

15、本技术实施例中用户可以基于用户需求特征向量定制大模型微调的有效性梯度和安全性梯度的权重参数，从而提升了大语言模型微调的灵活性。

16、一种可能的实施方式中，计算设备获取有效性训练数据集和安全性训练数据集，基于有效性训练数据集训练有效性奖励模型，有效性训练数据集包括有效性人类偏好的训练数据，基于安全性训练数据集训练安全性奖励模型，安全性训练数据集包括安全性人类偏好的训练数据。具体的，大语言模型的微调系统使用bradley-terry模型分别对有效性奖励模型和安全性奖励模型进行建模，并构建有效性奖励模型的成对比较损失和安全性奖励模型的成对比较损失，基于有效性奖励模型的成对比较损失和安全性奖励模型的成对比较损失分别更新有效性奖励模型和安全性奖励模型，得到训练后的有效性奖励模型和训练后的安全性奖励模型。

17、本技术实施例中计算设备能够基于有效性训练数据集和安全性训练数据集分别训练有效性奖励模型和安全性奖励模型，使得有效性奖励模型和安全性奖励模型能够拟合人类有效性偏好和人类安全性偏好，从而提升了有效性奖励模型和安全性奖励模型的准确性。

18、一种可能的实施例方式中，大语言模型的微调系统在获取安全性训练数据集的过程中，大语言模型的微调系统可以通过红队攻击的方式收集对大语言模型的安全性进行攻击的案例，从而识别并添加能够暴露原始训练数据集中未曾出现的红队攻击提示词，从而安全性扩展训练数据集。

19、本技术实施例中大语言模型的微调系统可以通过红队攻击模拟恶意攻击者的行为，向大语言模型输入设计的提示词，从而收集安全性扩展训练数据集，提升了扩展训练数据集的可实现性。

20、第二方面，本技术实施例提供了一种大语言模型的微调装置，该装置包括获取单元和处理单元，其中，获取单元用于获取奖励模型集合，奖励模型集合包括有效性奖励模型和安全性奖励模型，有效性奖励模型用于确定大语言模型输出的有效性损失，安全性奖励模型用于确定大语言模型输出的安全性损失。处理单元用于基于奖励模型集合确定融合梯度信息，融合梯度信息用于指示大语言模型微调的参数更新方向，融合梯度信息包括有效性损失对应的梯度信息和安全性损失对应的梯度信息，有效性损失对应的梯度信息指示大语言模型微调的有效性偏好，安全性损失对应的梯度信息指示大语言模型微调的安全性偏好。处理单元还用于基于融合梯度信息更新大语言模型的模型参数。

21、一种可能的实施方式中，处理单元具体用于基于有效性奖励模型和安全性奖励模型分别计算有效性梯度和安全性梯度，有效性梯度指示有效性损失的下降方向，安全性梯度用于指示安全性损失的下降方向。将有效性梯度投影至安全性梯度的正交补空间，得到有效性梯度投影，有效性梯度投影用于消除有效性梯度和安全性梯度的冲突分量。基于有效性梯度投影和安全性梯度确定融合梯度信息。

22、一种可能的实施方式中，处理单元具体用于基于有效性奖励模型和安全性奖励模型分别计算有效性损失和安全性损失，有效性损失用于评估大语言模型输出的有效性，安全性损失用于评估大语言模型输出安全性。基于有效性损失和安全性损失分别计算有效性梯度和安全性梯度。

23、一种可能的实施方式中处理单元具体用于基于有效性奖励模型和安全性奖励模型分别计算有效性奖励值和安全性奖励值，有效性奖励值用于指示大语言模型输出的即时有效性反馈，安全性奖励值用于指示大语言模型输出的即时安全性反馈。基于广义优势估计gae方法对有效性奖励值和有效性价值估计值计算有效性优势估计值，有效性优势估计值用于量化大语言模型的当前语素对于有效性的净收益，有效性价值估计值用于根据已生成语素预测大语言模型输出的有效性预期收益。基于gae方法对安全性奖励值和安全性价值估计值计算安全性优势估计值，安全性优势估计值用于量化大语言模型的当前语素对于安全性的净收益，安全性价值估计值用于根据已生成语素预测大语言模型输出的安全性预期收益。基于近端策略优化ppo算法对有效性优势估计值和安全性优势估计值分别计算得到有效性损失和安全性损失。

24、一种可能的实施方式中，处理单元具体用于基于投影强度将有效性梯度投影至安全性梯度的正交补空间，投影强度用于控制冲突分量的消除比例。

25、一种可能的实施方式中，处理单元具体用于基于梯度缩放算法分别对有效性梯度投影和安全性梯度进行梯度缩放，梯度缩放算法用于平衡有效性梯度投影和安全性梯度的梯度量级差异。对缩放后的有效性梯度投影和缩放后的安全性梯度进行总梯度合成，得到融合梯度信息。

26、一种可能的实施方式中，处理单元还用于基于用户需求特征向量确定权重参数，权重参数包括有效性权重参数和安全性权重参数，有效性权重参数用于指示缩放后的有效性梯度投影对应的权重，安全性权重参数用于指示缩放后的安全性梯度对应的权重。处理单元具体用于基于有效性权重参数和安全性权重参数对缩放后的有效性梯度投影和缩放后的安全性梯度进行总梯度合成，得到融合梯度信息。

27、一种可能的实施方式中，处理单元还用于获取有效性训练数据集和安全性训练数据集，基于有效性训练数据集训练有效性奖励模型，有效性训练数据集包括有效性人类偏好的训练数据，基于安全性训练数据集训练安全性奖励模型，安全性训练数据集包括安全性人类偏好的训练数据。

28、第三方面，本技术实施例提供了一种计算设备，计算设备包括处理器，处理器与存储器耦合，处理器用于存储指令，当指令被处理器执行时，以使得计算设备执行第一方面或第一方面任意一种可能的实施方式所述的方法。

29、第四方面，本技术实施例提供了一种计算设备集群，计算设备集群包括一个或多个计算设备，计算设备包括处理器，处理器与存储器耦合，处理器用于存储指令，当指令被处理器执行时，以使得计算设备集群执行第一方面或第一方面任意一种可能的实施方式所述的方法。

30、第五方面，本技术实施例提供了一种计算机可读存储介质，其上存储有指令，指令被执行时，以使得计算机执行上述第一方面或第一方面任意一种可能的实施方式所述的方法。

31、第六方面，本技术实施例提供了一种计算机程序产品，计算机程序产品中包括指令，指令被执行时，以使得计算机实现上述第一方面或第一方面任意一种可能的实施方式所述的方法。

32、可以理解，上述提供的任意一种大语言模型的微调装置、计算设备、计算设备集群、计算机可读介质或计算机程序产品等所能达到的有益效果可参考对应的方法中的有益效果，此处不再赘述。