一种大模型RLHF微调方法及装置

摘要: 本发明属于大模型微调,具体为一种大模型rlhf微调方法及装置。背景技术:1、大模型是一种具有海量参数(通常达到数十亿甚至数千亿参数)的人工智能模型,通常基于深度...
一种大模型RLHF微调方法及装置

本发明属于大模型微调,具体为一种大模型rlhf微调方法及装置。

背景技术:

1、大模型是一种具有海量参数(通常达到数十亿甚至数千亿参数)的人工智能模型,通常基于深度学习框架构建,通过在大规模数据集上进行训练,学习语言、图像或其他数据的复杂模式和结构。它能够生成自然语言文本、进行图像识别、处理多模态信息等,具备强大的泛化能力和知识表示能力,为各种人工智能应用提供了强大的底层支持,但同时也面临着计算资源需求高、训练成本大以及对数据质量敏感等挑战。

2、为了使大模型更好地适应特定的任务或领域,需要对训练好的大模型进行微调。在实际应用中,不同任务有其独特的数据分布、目标和需求。通过微调,可以将大模型的通用能力与特定任务的细节相结合,提升模型在该任务上的性能和准确性,减少错误和不相关输出,从而更高效地解决实际问题。

3、强化人类反馈(reinforcement learning from human feedback,rlhf)对大模型微调具有极其重要的意义。大模型虽然在海量数据上进行了预训练,能够学习到丰富的语言模式和知识,但往往在具体应用中会因为缺乏对人类真实意图和价值观的精准把握而出现回答不合理、不符合人类预期的情况。rlhf通过引入人类的反馈信号,让模型在训练过程中能够明确哪些回答是更受人类欢迎的,从而调整自身的输出策略,使模型生成的内容更贴合人类的价值观、语义逻辑以及实际需求,提升模型在实际场景中的可用性和安全性,更好地服务于人类。

4、但是,传统的基于rlhf的大模型微调,采用中心化的系统,易受人为干预或攻击,需要采取额外的防护措施,从而增加反馈成本。另外,当多个机构或个人参与rlhf流程时,缺乏透明的协作机制,实现人类信息的反馈以及针对反馈信息的奖励,同样导致反馈成本增加。最后,整个微调过程难以溯源,因而增加了信任成本。因此,亟需一种能够降低反馈成本、提升系统鲁棒性、且可溯源的分布式rlhf技术方案。

技术实现思路

1、本发明所要解决的技术问题在于,提供一种大模型rlhf微调方法及装置,能够降低大模型rlhf微调的反馈成本,并提高过程的可追溯性。

2、为了解决上述技术问题,本发明实施例公开了一种大模型rlhf微调方法,所述方法包括:

3、s1、获取并发布任务信息,收集反馈信息,以及在预设的区块链上创建分配合约并存储所述任务信息和所述反馈信息。

4、所述任务信息,包括任务编号、用户总奖励值、要求反馈数

m、评价对象和

t个评价问题;所述评价问题,包括题干和若干个回答选项;

m为大于1的整数;

t为大于0的整数。

5、所述反馈信息,包括所述任务编号、

m个用户编号和

m个反馈值集合;所述反馈值集合,包括

t个反馈值。

6、s2、基于所述反馈信息,对预设的大模型进行微调训练,得到训练信息和微调训练后的所述大模型。

7、所述训练信息,包括所述任务编号和训练状态;所述训练状态的值为0或1;

8、s3、重复s1~s2,直至所述训练信息的训练状态的值为1;将微调训练后的所述大模型的模型信息,存储至所述区块链。

9、所述模型信息,包括所述任务信息中的所述任务编号,以及微调训练后的所述大模型的参数集合。

10、s4、对所述训练信息、所述区块链、所述用户总奖励值和所述要求反馈数进行处理,得到奖励信息;将所述奖励信息存储至所述区块链,触发对应的所述分配合约自动执行。

11、所述奖励信息,包括所述任务编号、用户编号集合和奖励值集合。

12、所述用户编号集合,包括若干个所述用户编号。

13、所述奖励值集合,包括所述用户编号集合中,每个所述用户编号对应的奖励值。

14、作为一种可选的实施方式,本发明实施例第一方面中,所述对所述训练信息、所述区块链、所述用户总奖励值和所述要求反馈数进行处理,得到奖励信息,包括:

15、s41、对所述训练信息和所述区块链进行处理,得到反馈信息集合、用户编号集合和参与次数集合。

16、所述反馈信息集合,包括若干个所述反馈信息。

17、所述参与次数集合,包括所述用户编号集合中,每个所述用户编号对应的参与次数。

18、s42、对所述要求反馈数和所述反馈信息集合进行处理,得到一致性权重序列集合。

19、所述一致性权重序列集合,包括所述反馈信息集合中每个所述反馈信息对应的一致性权重序列;所述一致性权重序列,包括

m个一致性权重值。

20、s43、对所述用户编号集合、所述反馈信息集合和所述一致性权重序列集合进行处理,得到累积一致性集合。

21、所述累积一致性集合,包括所述用户编号集合中,每个所述用户编号对应的累积一致性值。

22、s44、利用奖励分配模型,对所述用户总奖励值、所述参与次数集合和所述累积一致性集合进行处理,得到奖励值集合;所述奖励值集合,包括若干个奖励值。

23、作为一种可选的实施方式,本发明实施例第一方面中,所述奖励分配模型的表达式为:

24、

25、式中,为所述奖励值集合的第

t个所述奖励值;

t为1至

q的整数;

q为所述用户编号集合中所述用户编号的个数;和分别为所述参与次数集合中的第

t个和第

q个所述参与次数;和分别为所述累积一致性集合的第

t个和第

q个所述累积一致性值;

x为所述用户总奖励值。

26、作为一种可选的实施方式,本发明实施例第一方面中,所述对所述要求反馈数和所述反馈信息集合进行处理,得到一致性权重序列集合,包括:

27、s421、对所述反馈信息集合中的每个所述反馈信息,执行s422~s425,得到对应的所述一致性权重序列。

28、s422、基于所述反馈信息,构造反馈矩阵;所述反馈矩阵包括

m行

t列。

29、s423、对所述反馈矩阵进行列统计处理,得到统计向量序列;所述统计向量序列,包括

t个统计向量。

30、s424、利用选择比计算模型,分别对

t个所述统计向量进行处理,得到

t个选择比向量。

31、s425、对所述要求反馈数、所述反馈信息和

t个所述选择比向量进行处理,得到所述反馈信息对应的所述一致性权重序列。

32、作为一种可选的实施方式,本发明实施例第一方面中,所述选择比计算模型的表达式为:

33、

34、式中,为第

i个所述选择比向量的第

k个分量;为第

i个所述统计向量的第

k个分量;为第

i个所述统计向量的分量个数;

i为1至

t的整数;

k为1至

k

i的整数。

35、作为一种可选的实施方式,本发明实施例第一方面中,所述对所述要求反馈数、所述反馈信息和

t个所述选择比向量进行处理,得到所述反馈信息对应的所述一致性权重序列,包括:

36、s4251、利用一致性矩阵构造模型,对所述要求反馈数、所述反馈信息和

t个所述选择比向量进行处理,得到一致性矩阵;所述一致性矩阵包括

m行

t列。

37、s4252、利用一致性权重计算模型,对所述一致性矩阵进行处理,得到所述一致性权重序列;所述一致性权重序列,包括

m个一致性权重值。

38、作为一种可选的实施方式,本发明实施例第一方面中,所述一致性矩阵构造模型的表达式为:

39、

40、式中,为所述一致性矩阵第

l行第

i列的元素值,

l为1至

m的整数,

i为1至

t的整数;和分别为所述反馈信息的第

l个和第

j个所述反馈值集合的第

i个所述反馈值,

j为1至

m的整数,且

j不等于

l;是符号函数;为第

i个所述选择比向量的第

k个分量;

k为1至的整数;为第

i个所述统计向量的分量个数。

41、作为一种可选的实施方式,本发明实施例第一方面中,所述一致性权重计算模型的表达式为:

42、

43、式中,为第

l个所述一致性权重值;为预设的第

i个问题权重值,且满足;

i为1至

t的整数,

l为1至

m的整数。

44、本发明实施例第二方面公开了另一种大模型rlhf微调装置,所述装置包括:

45、存储有可执行程序代码的存储器;

46、与所述存储器耦合的处理器。

47、所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明实施例第一方面公开的大模型rlhf微调方法中的部分或全部步骤。

48、本发明第三方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明实施例第一方面公开的大模型rlhf微调方法中的部分或全部步骤。

49、与现有技术相比,本发明实施例具有以下有益效果:

50、本发明利用区块链的去中心化机制,以开放的多方协作方式,简化大模型rlhf微调的流程,降低反馈成本。另外,通过将任务信息、反馈信息、模型信息和奖励信息存储至区块链,能够利用区块链的不可篡改性,增强大模型rlhf微调过程的可追溯性,以及多方参与情况下数据的可信度,降低信任成本。最后,利用基于区块链的智能合约,在奖励信息存储至区块链后自动触发,实现对反馈者的自动奖励分配,避免人为干预和外部攻击的影响,进一步降低反馈成本。