模型训练方法以及系统、内容翻译方法以及系统与流程
本说明书实施例涉及人工智能,特别涉及一种模型训练方法,一种模型训练系统,一种内容翻译方法,一种内容翻译系统。
背景技术:
1、随着人工智能技术的快速发展,机器翻译模型在跨语言内容处理领域展现出日益重要的应用价值。尤其是在基于大语言模型的翻译任务中,模型不仅需要将源文转换为目标语言,还需要按照随源文一并给出的翻译指令生成相应的译文,该翻译指令用于约束译文的生成方式,例如对译文的词汇和语义选择、结构和格式、表达方式或者输出行为提出要求。
2、目前,机器翻译模型通常基于平行翻译数据进行监督微调训练,使模型获得跨语言语义转换的基础翻译能力。为了进一步提升译文质量或者对翻译指令的理解与执行能力,部分方案在微调后的机器翻译模型之上进一步采用偏好优化训练,基于指示候选译文优劣的偏好数据对模型进行训练。
3、然而,上述技术方案在实际应用中仍存在一定局限性。偏好优化所依赖的偏好数据通常为预先固定构建,其与机器翻译模型当前的生成分布之间不一致,在机器翻译模型更新之后偏好信号容易失效,导致训练的针对性不足;同时,各候选译文之间的优劣缺乏统一的评价依据,译文之间的质量差距难以被准确区分,据此确定的偏好信号与实际的质量差距之间不相匹配,使得训练效果受到限制。因此,亟须一种机器翻译模型的训练方法,能够训练获得兼顾译文质量与指令遵从稳定性的翻译模型。
技术实现思路
1、有鉴于此,本说明书实施例提供了一种模型训练方法。本说明书一个或者多个实施例同时涉及一种内容翻译方法,一种模型训练系统,一种内容翻译系统,一种计算设备,一种计算机可读存储介质以及一种计算机程序产品,以解决上述技术问题。
2、根据本说明书实施例的第一方面,提供了一种模型训练方法,包括:
3、获取经过监督微调的第一翻译模型、待翻译源文和翻译指令;
4、利用第一翻译模型,基于翻译指令,将待翻译源文翻译为多个候选译文;
5、确定多个候选译文的奖励评分;
6、基于奖励评分不同的两个候选译文的奖励评分差值,确定偏好损失;
7、基于偏好损失训练第一翻译模型,获得目标翻译模型。
8、根据本说明书实施例的第二方面,提供了一种内容翻译方法,包括:
9、获取目标翻译源文和目标翻译指令;
10、利用目标翻译模型,基于目标翻译指令,将目标翻译源文翻译为目标译文,其中,目标翻译模型根据如上述的模型训练方法训练获得。
11、根据本说明书实施例的第三方面,提供了一种模型训练系统,包括:
12、第一获取模块,用于获取经过监督微调的第一翻译模型、待翻译源文和翻译指令;
13、第一翻译模块,用于利用第一翻译模型,基于翻译指令,将待翻译源文翻译为多个候选译文;
14、评分模块,用于确定多个候选译文的奖励评分;
15、损失确定模块,用于基于奖励评分不同的两个候选译文的奖励评分差值,确定偏好损失;
16、训练模块,用于基于偏好损失训练第一翻译模型,获得目标翻译模型。
17、根据本说明书实施例的第四方面,提供了一种内容翻译系统,包括:
18、第二获取模块,用于获取目标翻译源文和目标翻译指令;
19、第二翻译模块,用于利用目标翻译模型,基于目标翻译指令,将目标翻译源文翻译为目标译文,其中,目标翻译模型根据如上述的模型训练方法训练获得。
20、根据本说明书实施例的第五方面,提供了一种计算设备,包括:
21、存储器和处理器;
22、存储器用于存储计算机可执行指令,处理器用于执行计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
23、根据本说明书实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
24、根据本说明书实施例的第七方面,提供了一种计算机程序产品,包括计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
25、本说明书一个实施例实现了一种模型训练方法,包括:获取经过监督微调的第一翻译模型、待翻译源文和翻译指令;利用第一翻译模型,基于翻译指令,将待翻译源文翻译为多个候选译文;确定多个候选译文的奖励评分;基于奖励评分不同的两个候选译文的奖励评分差值,确定偏好损失;基于偏好损失训练第一翻译模型,获得目标翻译模型。
26、通过获取经过监督微调的第一翻译模型、待翻译源文和翻译指令,使得用于训练的翻译模型在具备跨语言语义转换能力的基础上,能够接收并处理随源文一并给出的翻译指令;通过利用第一翻译模型基于翻译指令将待翻译源文翻译为多个候选译文,使得同一源文在一次训练过程中能够获得多个可供相互比较的译文结果;通过利用奖励模型确定多个候选译文的奖励评分,使得各候选译文在统一评价依据下的优劣程度能够被量化表示;通过基于奖励评分不同的两个候选译文的奖励评分差值确定偏好损失,使得偏好损失与两个候选译文之间的实际质量差距相对应,提高了偏好信号的准确性;通过基于偏好损失训练第一翻译模型获得目标翻译模型,使得训练所依据的数据来源于第一翻译模型自身的生成结果,训练数据与模型当前的生成分布保持一致,提高了训练的针对性;进而使获得的目标翻译模型在保持译文质量的同时提升对翻译指令的遵从稳定性。
1.一种模型训练方法,包括:
2.根据权利要求1所述的方法,所述确定所述多个候选译文的奖励评分,包括:
3.根据权利要求1所述的方法,所述基于奖励评分不同的两个候选译文的奖励评分差值,确定偏好损失,包括:
4.根据权利要求3所述的方法,所述基于各所述偏好对中两个候选译文的奖励评分差值,确定各所述偏好对对应的偏好损失,包括:
5.根据权利要求1所述的方法,在所述基于所述偏好损失训练所述第一翻译模型之后,还包括:
6.根据权利要求1至5任意一项所述的方法,在所述获取经过监督微调的第一翻译模型、待翻译源文和翻译指令之前,还包括:
7.根据权利要求6所述的方法,在所述利用所述初始翻译模型,基于所述样本翻译指令,将所述样本翻译源文翻译为预测译文之前,还包括:
8.根据权利要求1至5任意一项所述的方法,所述基于所述偏好损失训练所述第一翻译模型,获得目标翻译模型,包括:
9.根据权利要求8所述的方法,所述利用冻结参数的、具备指令遵从能力的指令翻译模型,对所述第二翻译模型进行在线蒸馏训练,获得所述目标翻译模型,包括:
10.根据权利要求1至5任意一项所述的方法,在所述获得目标翻译模型之后,还包括:
11.根据权利要求10所述的方法,所述利用所述目标翻译模型,基于所述待翻译源文和所述翻译指令进行翻译,获得初始译文,包括:
12.一种内容翻译方法,包括:
13.一种模型训练系统,包括:
14.一种内容翻译系统,包括:
15.一种计算设备,包括:
16.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
17.一种计算机程序产品,包括计算机可执行指令,所述计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com