数据处理方法、装置、计算机设备以及存储介质与流程
本公开涉及计算机,特别涉及一种数据处理方法、装置、计算机设备以及存储介质。
背景技术:
1、领域大模型能够针对输入的提示文本输出答复文本。随着领域大模型的发展,在对领域大模型完成监督微调后,通常还需要对监督微调后的领域大模型进行强化学习对齐,以使领域大模型输出的答复文本更加符合用户偏好。
2、目前,强化学习对齐的方式包括:获取多个训练样本,每个训练样本包括提示文本以及针对该提示文本的两个答复文本,用户对这两个答复文本的偏好不同,基于多个训练样本,对监督微调后的领域大模型进行直接偏好优化(direct preference optimization,dpo)训练。
3、在dpo训练过程中,领域大模型平等的学习多个训练样本蕴含的知识,但是由于多个训练样本不同,多个训练样本蕴含的知识不同,领域大模型平等地学习多个训练样本蕴含的知识,会导致训练出的领域大模型的推理效果差。
技术实现思路
1、本公开提供一种数据处理方法、装置、计算机设备以及存储介质,以至少解决相关技术中训练出的领域大模型的推理效果差的问题。本公开的技术方案如下:
2、根据本公开实施例的一方面,提供一种数据处理方法,包括:
3、获取训练样本以及所述训练样本对应的差异分数,所述训练样本包括针对同一提示文本的第一答复文本以及第二答复文本,所述差异分数表征用户对所述第一答复文本和所述第二答复文本的偏好差异;
4、基于所述训练样本和领域大模型,获取所述训练样本对应的奖励值,所述领域大模型用于针对输入的提示文本输出答复文本;
5、基于所述训练样本对应的差异分数和奖励值,对所述领域大模型进行直接偏好优化训练。
6、可选地,所述基于所述训练样本对应的差异分数和奖励值,对所述领域大模型进行直接偏好优化训练,包括:
7、基于所述训练样本对应的差异分数和奖励值,确定所述训练样本对应的损失值;
8、基于所述训练样本对应的损失值,对所述领域大模型进行直接偏好优化训练。
9、可选地,所述基于所述训练样本对应的差异分数和奖励值,确定所述训练样本对应的损失值,包括:
10、基于平滑系数的目标系数值以及所述差异分数,确定所述训练样本对应的权重,所述权重指示所述训练样本的可靠程度,所述平滑系数用于控制所述权重随所述差异分数变化的平滑性;
11、基于所述训练样本对应的权重以及奖励值,确定所述训练样本对应的损失值。
12、可选地,所述基于平滑系数的目标系数值以及所述差异分数,确定所述训练样本对应的权重,包括:
13、基于所述目标系数值,对所述差异分数进行缩放,得到缩放后的差异分数;
14、采用激活函数,对所述缩放后的差异分数进行非线性映射,得到所述权重。
15、可选地,所述目标系数值随所述差异分数的变化而变化。
16、可选地,所述方法还包括:
17、基于所述训练样本对应的差异分数和奖励值,从所述平滑系数的多个候选系数值中,获取所述目标系数值,所述目标系数值为能使所述损失值达到最小值的候选系数值。
18、可选地,所述训练样本有多个,每个所述训练样本对应一个所述损失值以及一个所述权重;
19、所述基于所述训练样本对应的损失值,对所述领域大模型进行直接偏好优化训练,包括:
20、基于多个训练样本对应的损失值以及权重,获取总损失值;
21、基于所述总损失值,对所述领域大模型的模型参数进行更新。
22、可选地,所述基于多个训练样本对应的损失值以及权重,获取总损失值,包括:
23、基于所述多个训练样本对应的权重,对所述多个训练样本对应的损失值进行加权平均,得到所述总损失值。
24、可选地,所述差异分数的获取过程包括:
25、基于所述第一答复文本对应的偏好分数以及所述第二答复文本对应的偏好分数,获取所述差异分数,所述偏好分数表征所述用户对对应答复文本的偏好程度。
26、根据本公开实施例的另一方面,提供一种数据处理装置,包括:
27、第一获取单元,被配置为执行获取训练样本以及所述训练样本对应的差异分数,所述训练样本包括针对同一提示文本的第一答复文本以及第二答复文本,所述差异分数表征用户对所述第一答复文本和所述第二答复文本的偏好差异;
28、第二获取单元,被配置为执行基于所述训练样本和领域大模型,获取所述训练样本对应的奖励值,所述领域大模型用于针对输入的提示文本输出答复文本;
29、训练单元,被配置为执行基于所述训练样本对应的差异分数和奖励值,对所述领域大模型进行直接偏好优化训练。
30、可选地,所述训练单元包括:
31、确定子单元,被配置为执行基于所述训练样本对应的差异分数和奖励值,确定所述训练样本对应的损失值;
32、训练子单元,被配置为执行基于所述训练样本对应的损失值,对所述领域大模型进行直接偏好优化训练。
33、可选地,所述确定子单元包括:
34、权重确定子单元,被配置为执行基于平滑系数的目标系数值以及所述差异分数,确定所述训练样本对应的权重,所述权重指示所述训练样本的可靠程度,所述平滑系数用于控制所述权重随所述差异分数变化的平滑性;
35、损失确定子单元,被配置为执行基于所述训练样本对应的权重以及奖励值,确定所述训练样本对应的损失值。
36、可选地,所述权重确定子单元被配置为执行:
37、基于所述目标系数值,对所述差异分数进行缩放,得到缩放后的差异分数;
38、采用激活函数,对所述缩放后的差异分数进行非线性映射,得到所述权重。
39、可选地,所述目标系数值随所述差异分数的变化而变化。
40、可选地,所述数据处理装置还包括:
41、第三获取单元,被配置为执行基于所述训练样本对应的差异分数和奖励值,从所述平滑系数的多个候选系数值中,获取所述目标系数值,所述目标系数值为能使所述损失值达到最小值的候选系数值。
42、可选地,所述训练样本有多个,每个所述训练样本对应一个所述损失值以及一个所述权重;
43、所述训练子单元包括:
44、获取子单元,被配置为执行基于多个训练样本对应的损失值以及权重,获取总损失值;
45、更新子单元,被配置为执行基于所述总损失值,对所述领域大模型的模型参数进行更新。
46、可选地,获取子单元,被配置为执行基于所述多个训练样本对应的权重,对所述多个训练样本对应的损失值进行加权平均,得到所述总损失值。
47、可选地,所述第一获取单元,被配置为执行基于所述第一答复文本对应的偏好分数以及所述第二答复文本对应的偏好分数,获取所述差异分数,所述偏好分数表征所述用户对对应答复文本的偏好程度。
48、根据本公开实施例的另一方面,提供一种计算机设备,包括:
49、一个或多个处理器;
50、用于存储所述一个或多个处理器可执行指令的一个或多个存储器;
51、其中,所述一个或多个处理器被配置为执行上述一方面的任一种可能实施方式中的数据处理方法。
52、根据本公开实施例的另一方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的至少一条指令由计算机设备的一个或多个处理器执行时,使得所述计算机设备能够执行上述一方面的任一种可能实施方式中的数据处理方法。
53、根据本公开实施例的另一方面,提供一种计算机程序产品,包括一条或多条指令,所述一条或多条指令可以由计算机设备的一个或多个处理器执行,使得所述计算机设备能够执行上述一方面的任一种可能实施方式中的数据处理方法。
54、本公开的实施例提供的技术方案至少带来以下有益效果:
55、通过训练样本对应的差异分数来表征用户对同一提示文本的不同答复文本之间的偏好差异,在对领域大模型进行直接偏好优化训练的过程中,综合考虑训练样本对应的奖励值和差异分数,使得领域大模型能够根据差异分数,差异化的学习不同训练样本所蕴含的知识,以使领域大模型所生成的答复文本更加符合人类偏好,从而能够提高领域大模型的推理效果。
56、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com