一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

机器翻译方法、装置、电子设备及存储介质与流程

2022-12-07 18:13:58 来源:中国专利 TAG:

技术特征:
1.一种机器翻译方法,其特征在于,包括:获取目标语句;将所述目标语句输入至机器翻译模型中,得到所述机器翻译模型输出的所述目标语句对应的目标语言语句;所述机器翻译模型是基于样本语句、所述样本语句对应的第一语言语句和所述样本语句对应的第二语言语句进行蒸馏训练得到的;所述第一语言语句的语言类型与所述样本语句的语言类型相同,所述第二语言语句的语言类型与所述样本语句的语言类型不相同。2.根据权利要求1所述的机器翻译方法,其特征在于,所述机器翻译模型是基于如下步骤训练得到的:获取所述样本语句中的第一样本语句以及所述第一样本语句对应的第一语言语句;基于所述第一样本语句以及所述第一样本语句对应的第一语言语句,进行蒸馏训练得到预训练机器翻译模型;获取所述样本语句中的第二样本语句以及所述第二样本语句对应的第二语言语句;基于所述第二样本语句以及所述第二样本语句对应的第二语言语句,对所述预训练机器翻译模型进行训练,得到所述机器翻译模型。3.根据权利要求2所述的机器翻译方法,其特征在于,所述基于所述第一样本语句以及所述第一样本语句对应的第一语言语句,进行蒸馏训练得到预训练机器翻译模型,包括:基于所述第一样本语句以及所述第一样本语句对应的第一语言语句,对教师模型进行训练;将所述第一样本语句输入至训练后的教师模型,得到所述训练后的教师模型输出的所述第一样本语句对应的第一语言语句;基于所述训练后的教师模型输出的所述第一样本语句对应的第一语言语句以及所述第一样本语句,对学生模型进行蒸馏训练,得到所述预训练机器翻译模型。4.根据权利要求3所述的机器翻译方法,其特征在于,在所述基于所述第一样本语句以及所述第一样本语句对应的第一语言语句,对教师模型进行训练之前,所述方法还包括:基于第一参数量的预训练语言模型构建教师模型,基于第二参数量的预训练语言模型构建学生模型;所述第二参数量小于所述第一参数量。5.根据权利要求4所述的机器翻译方法,其特征在于,所述预训练语言模型是以所述样本语句对应的第二语言语句所属的语言为主体语言,对自回归语言模型进行预训练获取的。6.根据权利要求2-5任一所述的机器翻译方法,其特征在于,所述获取所述样本语句中的第一样本语句以及所述第一样本语句对应的第一语言语句,包括:从单语语料库中,获取第一样本数据集;对所述第一样本数据集进行数据处理;所述数据处理包括删除数据长度小于目标长度,和/或包含敏感词的单语语句;基于处理后的第一样本数据集,获取所述第一样本语句以及所述第一样本语句对应的第一语言语句。7.根据权利要求2-5任一所述的机器翻译方法,其特征在于,所述获取所述样本语句中的第二样本语句以及所述第二样本语句对应的第二语言语句,包括:
从双语语料库中,获取第二样本数据集;对所述第二样本数据集进行数据处理;所述数据处理包括删除任一语句的数据长度小于目标长度,和/或任一语句中包含敏感词的双语语句对;基于处理后的第二样本数据集,获取所述第二样本语句以及所述第二样本语句对应的第二语言语句。8.根据权利要求2-5任一所述的机器翻译方法,其特征在于,所述获取所述样本语句中的第二样本语句以及所述第二样本语句对应的第二语言语句,包括:根据所述第二样本语句确定输入信息;将所述输入信息输入至所述预训练机器翻译模型中,得到所述预训练机器翻译模型输出的所述第二样本语句对应的第二语言语句。9.根据权利要求8所述的机器翻译方法,其特征在于,所述根据所述第二样本语句确定输入信息,包括:将所述第二样本语句作为所述输入信息。10.根据权利要求8所述的机器翻译方法,其特征在于,所述根据所述第二样本语句确定输入信息,包括:在所述第二样本语句之前增加多组目标语料语句对;所述目标语料语句对中的目标语句的语言类型与所述第二样本语句的语言类型相同,所述目标语料语句对中的目标语言语句的语言类型与所述第二样本语句对应的第二语言语句的语言类型相同;根据增加结果,确定所述输入信息。11.根据权利要求2-5任一所述的机器翻译方法,其特征在于,所述基于所述第二样本语句以及所述第二样本语句对应的第二语言语句,对所述预训练机器翻译模型进行训练,得到所述机器翻译模型,包括:将所述第二样本语句作为样本,将所述第二样本语句对应的第二语言语句作为样本标签,对所述预训练机器翻译模型进行训练,得到所述机器翻译模型。12.根据权利要求2-5任一所述的机器翻译方法,其特征在于,所述基于所述第二样本语句以及所述第二样本语句对应的第二语言语句,对所述预训练机器翻译模型进行训练,得到所述机器翻译模型,包括:将所述第二样本语句作为样本标签,将所述第二样本语句对应的第二语言语句作为样本,对所述预训练机器翻译模型进行训练,得到所述机器翻译模型。13.一种机器翻译装置,其特征在于,包括:获取模块,用于获取目标语句;翻译模块,用于将所述目标语句输入至机器翻译模型中,得到所述机器翻译模型输出的所述目标语句对应的目标语言语句;所述机器翻译模型是基于样本语句、所述样本语句对应的第一语言语句和所述样本语句对应的第二语言语句进行蒸馏训练得到的;所述第一语言语句的语言类型与所述样本语句的语言类型相同,所述第二语言语句的语言类型与所述样本语句的语言类型不相同。14.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至12任一项所述机器翻译方法。
15.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至12任一项所述机器翻译方法。

技术总结
本发明提供一种机器翻译方法、装置、电子设备及存储介质,涉及自然语言处理技术领域,该方法包括:获取目标语句;将目标语句输入至机器翻译模型中,得到机器翻译模型输出的目标语句对应的目标语言语句;机器翻译模型是基于样本语句、样本语句对应的第一语言语句和第二语言语句进行蒸馏训练得到的。本发明实现通过蒸馏训练,得到具备多种语言知识的机器翻译模型,以在压缩模型规模、降低计算资源消耗的同时,可以实现多语言的机器翻译,最大限度地减少初始语言模型结构的修改,且可在最大限度地保留初始语言模型的基础上取得最优的翻译性能,以实现快速精准地进行机器翻译。以实现快速精准地进行机器翻译。以实现快速精准地进行机器翻译。


技术研发人员:于彤
受保护的技术使用者:苏州浪潮智能科技有限公司
技术研发日:2022.11.08
技术公布日:2022/12/6
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献