一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

翻译模型训练方法及装置与流程

2021-11-15 17:16:00 来源:中国专利 TAG:


1.本说明书涉及机器学习技术领域,特别涉及翻译模型训练方法及装置。


背景技术:

2.随着互联网技术的发展,翻译技术越来越成熟,而为了方便用户更加方便使用,以及快速的对目标语料进行翻译,通常会使用训练好的翻译模型进行翻译处理过程;而在一些特定领域内,使用翻译模型进行语料的翻译可能并不准确,比如在销售领域中“宝贝”这个词的含义大多数代表销售的“商品”,如果通过翻译模型对其进行翻译为英文,获得的翻译结果为“baby”,并不符合该词在销售领域中的含义,为了避免这一情况发生,在针对特定领域的语料进行翻译的过程中,常用的方法是利用该领域内的单语语料,通过反向翻译得到伪平行数据,再进行翻译模型的训练,实现特定领域内的语料翻译,然而伪平行数据中存在着一些翻译错误和领域不匹配的情况,会对翻译模型引入错误样本,导致最终获得的翻译模型针对领域内的语料进行翻译效果并不是很好。


技术实现要素:

3.有鉴于此,本说明书实施例提供了翻译模型训练方法。本说明书同时涉及翻译模型训练装置,三种计算设备,以及三种计算机可读存储介质,以解决现有技术中存在的技术缺陷。
4.根据本说明书实施例的第一方面,提供了第一种翻译模型训练方法,包括:
5.获取目标领域的第一语料;
6.利用第一翻译模型对所述第一语料进行翻译,获得第二语料;
7.将所述第一语料和所述第二语料输入语料编辑模型,进行语料编辑,获得所述第二语料的编辑语料;
8.以所述第一语料和所述编辑语料为训练样本,对第二翻译模型进行训练,获得所述目标领域的目标翻译模型。
9.可选的,所述第二翻译模型与所述第一翻译模型互为反向翻译模型。
10.可选的,所述语料编辑模型,采用如下方式进行训练:
11.获取所述目标领域的第三语料;所述第三语料与所述第一语料互为目标语料与源语料;
12.利用所述第二翻译模型对所述第三语料进行翻译,获得第四语料;
13.利用所述第一翻译模型对所述第四语料进行翻译,获得第五语料;
14.以所述第三语料、所述第四语料和所述第五语料为训练样本,对第一待训练语料编辑模型进行训练,获得所述语料编辑模型。
15.可选的,还包括:
16.将所述第三语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得所述第四语料的编辑语料;
17.以所述第三语料和所述第四语料的编辑语料为训练样本,对所述第一翻译模型进行训练,获得所述目标领域的第二目标翻译模型。
18.可选的,所述第二语料编辑模型,采用如下方式进行训练:
19.将所述第二语料输入所述第二翻译模型进行翻译,获得第六语料;
20.以所述第一语料、所述第二语料和所述第六语料为训练样本,对第二待训练语料编辑模型进行训练,获得所述第二语料编辑模型。
21.可选的,所述翻译模型训练方法采用迭代的方式执行;
22.其中,在迭代过程中,将前次迭代执行后训练获得的目标翻译模型作为后次迭代执行过程中的第二翻译模型;
23.将前次迭代执行后训练获得的第二目标翻译模型作为后次迭代执行过程中的第一翻译模型。
24.可选的,在所述迭代过程中,
25.将前次迭代执行后训练获得的语料编辑模型作为后次迭代执行过程中的语料编辑模型;
26.将前次迭代执行后训练获得的第二语料编辑模型作为后次迭代执行过程中的第二语料编辑模型。
27.可选的,所述迭代的迭代终止条件包括:
28.前次迭代执行后训练获得的目标翻译模型相比前次迭代执行后训练获得的目标翻译模型满足第一迭代终止条件;
29.和/或,
30.前次迭代执行后训练获得的第二目标翻译模型相比前次迭代执行后训练获得的第二目标翻译模型满足第二迭代终止条件。
31.可选的,所述将所述第一语料和所述第二语料输入语料编辑模型,进行语料编辑,获得所述第二语料的编辑语料,包括:
32.对所述第一语料和所述第二语料进行向量化处理,获得所述第一语料的第一词向量和所述第二语料的第二词向量;
33.由所述语料编辑模型包含的第一编码单元将所述第一词向量编码为第一编码向量,以及,由所述语料编辑模型包含的第二编码单元将所述第二词向量编码为第二编码向量;
34.由所述语料编辑模型包含的解码单元对所述第一编码向量和所述第二编码向量进行解码处理,获得所述编辑语料。
35.可选的,所述第一翻译模型和/或所述第二翻译模型,为所述目标领域之外的非目标领域的翻译模型。
36.可选的,所述第一语料为源语料,所述第二语料为目标译文语料,
37.所述第三语料为目标语料,所述第四语料为源译文语料,
38.所述第五语料为目标二次翻译语料,第六语料为源二次翻译语料;
39.或者,
40.所述第一语料为目标语料,所述第二语料为源译文语料,
41.所述第三语料为源语料,所述第四语料为目标译文语料,
42.所述第五语料为源二次翻译语料,第六语料为目标二次翻译语料。
43.根据本说明书实施例的第二方面,提供了第一种翻译模型训练装置,包括:
44.获取模块,被配置为获取目标领域的第一语料;
45.翻译模块,被配置为利用第一翻译模型对所述第一语料进行翻译,获得第二语料;
46.编辑模块,被配置为将所述第一语料和所述第二语料输入语料编辑模型,进行语料编辑,获得所述第二语料的编辑语料;
47.训练模块,被配置为以所述第一语料和所述编辑语料为训练样本,对第二翻译模型进行训练,获得所述目标领域的目标翻译模型。
48.根据本说明书实施例的第三方面,提供了第二种翻译模型训练方法,包括:
49.获取第一语料和第二语料;
50.利用第一翻译模型将所述第一语料翻译为第三语料,并利用第二翻译模型将所述第二语料翻译为第四语料;
51.将所述第一语料和所述第三语料输入第一语料编辑模型进行语料编辑,获得第一编辑语料,并将所述第二语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得第二编辑语料;
52.以所述第一语料和所述第一编辑语料为训练样本,将所述第二翻译模型训练为第二目标翻译模型,并以所述第二语料和所述第二编辑语料为训练样本,将所述第一翻译模型训练为第一目标翻译模型。
53.可选的,所述第二翻译模型与所述第一翻译模型互为反向翻译模型;
54.和/或,
55.所述第一语料与所述第二语料互为源语料与目标语料。
56.可选的,所述第一语料编辑模型,采用如下方式进行训练:
57.利用所述第一翻译模型对所述第四语料进行翻译,获得第五语料;
58.以所述第二语料、所述第四语料和所述第五语料为训练样本,对第一待训练语料编辑模型进行训练,获得所述第一语料编辑模型。
59.可选的,所述第二语料编辑模型,采用如下方式进行训练:
60.将所述第三语料输入所述第二翻译模型进行翻译,获得第六语料;
61.以所述第一语料、所述第三语料和所述第六语料为训练样本,对第二待训练语料编辑模型进行训练,获得所述第二语料编辑模型。
62.可选的,所述翻译模型训练方法采用迭代的方式执行;
63.其中,在迭代过程中,将前次迭代执行后训练获得的第二目标翻译模型作为后次迭代执行过程中的第二翻译模型;
64.将前次迭代执行后训练获得的第一目标翻译模型作为后次迭代执行过程中的第一翻译模型。
65.可选的,在所述迭代过程中,
66.将前次迭代执行后训练获得的第一语料编辑模型作为后次迭代执行过程中的第一语料编辑模型;
67.将前次迭代执行后训练获得的第二语料编辑模型作为后次迭代执行过程中的第二语料编辑模型。
68.可选的,所述迭代的迭代终止条件包括:
69.前次迭代执行后训练获得的第一目标翻译模型相比前次迭代执行后训练获得的第一目标翻译模型满足第一迭代终止条件;
70.和/或,
71.前次迭代执行后训练获得的第二目标翻译模型相比前次迭代执行后训练获得的第二目标翻译模型满足第二迭代终止条件。
72.可选的,所述将所述第一语料和所述第三语料输入第一语料编辑模型进行语料编辑,获得第一编辑语料,包括:
73.对所述第一语料和所述第三语料进行向量化处理,获得所述第一语料的第一词向量和所述第三语料的第三词向量;
74.由所述第一语料编辑模型包含的第一编码单元将所述第一词向量编码为第一编码向量,以及,由所述第一语料编辑模型包含的第二编码单元将所述第三词向量编码为第三编码向量;
75.由所述第一语料编辑模型包含的解码单元对所述第一编码向量和所述第三编码向量进行解码处理,获得所述第一编辑语料。
76.可选的,所述将所述第二语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得第二编辑语料,包括:
77.对所述第二语料和所述第四语料进行向量化处理,获得所述第四语料的第二词向量和所述第四语料的第四词向量;
78.由所述第二语料编辑模型包含的第一编码单元将所述第二词向量编码为第二编码向量,以及,由所述第二语料编辑模型包含的第二编码单元将所述第四词向量编码为第四编码向量;
79.由所述第二语料编辑模型包含的解码单元对所述第二编码向量和所述第四编码向量进行解码处理,获得所述第二编辑语料。
80.可选的,所述第一语料和所述第二语料为目标领域的语料,所述第一翻译模型和/或所述第二翻译模型,为所述目标领域之外的非目标领域的翻译模型。
81.可选的,所述第一语料为源语料,所述第二语料为目标语料,
82.所述第三语料为目标译文语料,所述第四语料为源译文语料;
83.或者,
84.所述第一语料为目标语料,所述第二语料为源语料,
85.所述第三语料为源译文语料,所述第四语料为目标译文语料。
86.根据本说明书实施例的第四方面,提供了第二种翻译模型训练装置,包括:
87.获取模块,被配置为获取第一语料和第二语料;
88.翻译模块,被配置为利用第一翻译模型将所述第一语料翻译为第三语料,并利用第二翻译模型将所述第二语料翻译为第四语料;
89.编辑模块,被配置为将所述第一语料和所述第三语料输入第一语料编辑模型进行语料编辑,获得第一编辑语料,并将所述第二语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得第二编辑语料;
90.训练模块,被配置为以所述第一语料和所述第一编辑语料为训练样本,将所述第
二翻译模型训练为第二目标翻译模型,并以所述第二语料和所述第二编辑语料为训练样本,将所述第一翻译模型训练为第一目标翻译模型。
91.根据本说明书实施例的第五方面,提供了第三种翻译模型训练方法,包括:
92.获取互为源语料和目标语料的多种语料;
93.利用所述多种语料对应的多个翻译模型,将所述多种语料翻译为多个译文语料;所述多个翻译模型互为反向翻译模型;
94.根据所述多种语料和所述多种译文语料中互为语料与译文语料的语料对,将所述语料对输入对应的语料编辑模型进行语料编辑,获得多种编辑语料;
95.以所述多种语料和所述多种编辑语料中互为语料与译文语料的语料对为训练样本,将所述多个翻译模型训练为多个目标翻译模型。
96.根据本说明书实施例的第六方面,提供了第三种翻译模型训练装置,包括:
97.获取模块,被配置为获取互为源语料和目标语料的多种语料;
98.翻译模块,被配置为利用所述多种语料对应的多个翻译模型,将所述多种语料翻译为多个译文语料;所述多个翻译模型互为反向翻译模型;
99.编辑模块,被配置为根据所述多种语料和所述多种译文语料中互为语料与译文语料的语料对,将所述语料对输入对应的语料编辑模型进行语料编辑,获得多种编辑语料;
100.训练模块,被配置为以所述多种语料和所述多种编辑语料中互为语料与译文语料的语料对为训练样本,将所述多个翻译模型训练为多个目标翻译模型。
101.根据本说明书实施例的第七方面,提供了第一种计算设备,包括:
102.存储器和处理器;
103.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
104.获取目标领域的第一语料;
105.利用第一翻译模型对所述第一语料进行翻译,获得第二语料;
106.将所述第一语料和所述第二语料输入语料编辑模型,进行语料编辑,获得所述第二语料的编辑语料;
107.以所述第一语料和所述编辑语料为训练样本,对第二翻译模型进行训练,获得所述目标领域的目标翻译模型。
108.根据本说明书实施例的第八方面,提供了第二种计算设备,包括:
109.存储器和处理器;
110.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
111.获取第一语料和第二语料;
112.利用第一翻译模型将所述第一语料翻译为第三语料,并利用第二翻译模型将所述第二语料翻译为第四语料;
113.将所述第一语料和所述第三语料输入第一语料编辑模型进行语料编辑,获得第一编辑语料,并将所述第二语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得第二编辑语料;
114.以所述第一语料和所述第一编辑语料为训练样本,将所述第二翻译模型训练为第
二目标翻译模型,并以所述第二语料和所述第二编辑语料为训练样本,将所述第一翻译模型训练为第一目标翻译模型。
115.根据本说明书实施例的第九方面,提供了第三种计算设备,包括:
116.存储器和处理器;
117.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令:
118.获取互为源语料和目标语料的多种语料;
119.利用所述多种语料对应的多个翻译模型,将所述多种语料翻译为多个译文语料;所述多个翻译模型互为反向翻译模型;
120.根据所述多种语料和所述多种译文语料中互为语料与译文语料的语料对,将所述语料对输入对应的语料编辑模型进行语料编辑,获得多种编辑语料;
121.以所述多种语料和所述多种编辑语料中互为语料与译文语料的语料对为训练样本,将所述多个翻译模型训练为多个目标翻译模型。
122.根据本说明书实施例的第十方面,提供了第一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现第一种所述翻译模型训练方法的步骤。
123.根据本说明书实施例的第十一方面,提供了第二种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现第二种所述翻译模型训练方法的步骤。
124.根据本说明书实施例的第十二方面,提供了第三种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现第三种所述翻译模型训练方法的步骤。
125.本说明书一实施例提供的第一种翻译模型训练方法,通过获取目标领域的第一语料,并利用第一翻译模型对第一语料进行翻译,获得第二语料,此时引入语料编辑模型,将所述第一语料和第二语料输入所述语料编辑模型,获得第二语料的编辑语料,最后将所述编辑语料和所述第一语料作为训练样本对第二翻译模型进行训练,获得所述目标领域的目标翻译模型,通过结合语料编辑模型对训练翻译模型所使用的训练样本进行校正,从而实现无需借用人力即可完成翻译模型训练样本的校正,有效的提高了目标翻译模型针对目标领取的语料进行翻译的准确性,从而使得训练完成的目标翻译模型对领域内的语料进行翻译后,可以获得翻译后的语料符合目标领域。
126.本说明书一实施例提供的第二种翻译模型训练方法,通过获取第一语料和第二语料后,利用第一翻译模型和第二翻译模型对所述第一语料和第二语料进行翻译获得第三语料和第四语料,再引入第一语料编辑模型对第一语料及其翻译后获得的第三语料进行语料编辑,同时引入第二语料编辑模型对第二语料及其翻译后获得的第四语料进行语料编辑,获得第一编辑语料和第二编辑语料,最后以第一语料和第一编辑语料为样本,对第二翻译模型进行训练,同时以第二语料和第二编辑语料为样本,对第一翻译模型进行训练,获得所述第二目标翻译模型和所述第一目标翻译模型,通过引入第一语料编辑模型和第二语料编辑模型对语料进行编辑处理,实现了对语料翻译过程的调整,使用第一语料编辑模型和第二语料编辑模型的输出结果结合原始语料进行翻译模型的训练,可以有效的提高翻译模型的翻译准确度,并且可以有效的降低翻译错误和领域不匹配的问题。
127.本说明书一实施例提供的第三种翻译模型训练方法,通过获取互为源语料的目标语料的多种语料,利用多个翻译模型对其进行翻译处理获得多个译文语料,再引入语料编
辑模型对所述多种语料和所述多种译文语料中互为语料与译文语料的语料对进行编辑处理,获得多种编辑语料,最后以多种编辑语料和多种语料作为样本对多个翻译模型进行训练,获得多个目标翻译模型,通过引入语料编辑模型进行编辑处理获得多种编辑语料,并结合源语料对应的多种语料进行多个翻译模型的训练,实现了提高目标翻译模型的准确度,并且源语料中的任意语料之间都可以互相翻译,翻译精准度具有显著的提升。
附图说明
128.图1是本说明书一实施例提供的第一种翻译模型训练方法的流程图;
129.图2是本说明书一实施例提供的第一种翻译模型训练方法的结构示意图;
130.图3是本说明书一实施例提供的语料编辑模型的结构示意图;
131.图4是本说明书一实施例提供的第一种翻译模型训练装置的结构示意图;
132.图5是本说明书一实施例提供的第二种翻译模型训练方法的流程图;
133.图6是本说明书一实施例提供的第二种翻译模型训练方法的示意图;
134.图7是本说明书一实施例提供的第二种翻译模型训练装置的结构示意图;
135.图8是本说明书一实施例提供的第三种翻译模型训练方法的流程图;
136.图9是本说明书一实施例提供的第三种翻译模型训练装置的结构示意图;
137.图10是本说明书一实施例提供的第一种计算设备的结构框图;
138.图11是本说明书一实施例提供的第二种计算设备的结构框图;
139.图12是本说明书一实施例提供的第三种计算设备的结构框图。
具体实施方式
140.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
141.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
142.应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
143.在本说明书中,提供了翻译模型训练方法,本说明书同时涉及翻译模型训练装置,三种计算设备,以及三种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
144.本技术提供的第一种翻译模型训练方法实施例如下:
145.图1示出了根据本说明书一实施例提供的第一种翻译模型训练方法的流程图,图2示出了根据本说明书一实施例提供的第一种翻译模型训练方法的结构示意图,图3示出了
根据本说明书一实施例提供的语料编辑模型的结构示意图;其中图1具体包括以下步骤:
146.步骤s102,获取目标领域的第一语料。
147.实际应用中,在使用目标领域外的翻译模型对目标领域内的原始语料进行翻译的过程中,可能出现翻译后的译文语料与原始语料所表达的含义不同的问题,若想实现翻译模型翻译后的译文语料与目标领域内的原始语料所表达的含义相同,需要针对目标领域训练特定的翻译模型,而训练翻译模型的方式通常是采用人工标注的方式进行校正训练样本,在此过程将会耗费大量的人力物力才能够训练出符合目标领域的翻译模型。
148.参见图2所示,本实施例提供的第一种翻译模型训练方法,为了能够在节省人力物力的同时,加快对目标领域的翻译模型的训练效率,通过结合语料编辑模型对训练翻译模型所使用的训练样本进行校正,从而实现无需借用人力即可完成翻译模型的训练样本的校正,并且相比于人工标注的方式效率要更快,不仅可以加快训练符合目标领域的翻译模型,同时可以有效的提高目标领域的翻译模型的翻译准确度。
149.具体实施时,所述目标领域具体是指所述第一语料所属的领域,并且目标领域具有指定的词汇,该词汇在目标领域表达的含义与在其他领域表达的含义可能是不同的;比如目标领域可以是销售领域、线上销售领域、体育领域、游戏领域等;
150.基于此,比如目标领域为线上销售领域,部分词汇在该领域中所表达的含义,与该部分词汇在其他领域中所表达的含义并不相同,比如,“宝贝”在线上销售领域的含义是商品,而在非线上销售领域中的含义是孩子,或者“带货”在线上销售领域的含义是推荐商品,而在非线上销售领域中的含义是带来货物,此时若通过线上销售领域外的翻译模型对“宝贝”或“带货”翻译为英文,翻译后的英文是“baby”或“bring goods”,而“baby”所表达的含义是孩子,“bring goods”表达的含义是带来货物,翻译后的英文所表达的含义与线上销售领域并不匹配,此时使用的翻译模型的翻译效果并不符合线上销售领域,故需要训练出用于线上销售领域的翻译模型,实现将“宝贝”翻译为“commodity”均表示商品的含义、“带货”翻译为“pick of the week”均表示推荐商品的含义的效果,或者可以将“commodity”翻译为“宝贝”、“pick of the week”翻译为“带货”的效果。当然,这里还需要补充说明的是,虽然在不同领域上很多词的含义是不相同的,但这部分含义不同的词从商业角度也会对新词/热词的收集有很大的帮助,并为翻译领域进行词汇量的丰富与积累,实现商业角度的使用与增值。
151.进一步的,本实施例将以所述目标领域的第一语料为中文语料,以对所述翻译模型训练方法进行描述,实现最终训练完成的目标翻译模型可以将英文语料翻译为与目标领域匹配的中文语料,故表明目标翻译模型与所述目标领域匹配,且可以实现将该领域内的英文语料翻译为该领域内的中文语料。
152.除此之外,本实施例中涉及的翻译模型可以是任意结构的模型,比如基于卷积神经网络的翻译模型或基于循环神经网络的翻译模型,无论翻译模型的结构是何种网络,都可以通过本实施例提供的翻译模型训练方法实现将翻译模型训练为与所述目标领域匹配的目标翻译模型,应用于目标领域,实现在目标领域内的语料翻译。
153.步骤s104,利用第一翻译模型对所述第一语料进行翻译,获得第二语料。
154.具体的,在上述获取目标领域的第一语料的基础上,表明此时需要针对目标领域训练翻译模型,实现训练后的翻译模型可以应用于目标领域进行语料的翻译,进一步的,利
用第一翻译模型对所述第一语料进行翻译,获得第二语料。
155.其中,所述第一翻译模型是所述目标领域外的翻译模型或待训练的初始翻译模型,需要对其进行训练,使其训练完成后可以应用于所述目标领域。
156.本实施例以所述第一语料为中文语料,将翻译模型训练为与目标领域匹配的,且能够将中文语料翻译为英文语料的目标翻译模型的过程进行描述,故所述第二语料为英文语料,并且是通过目标领域的中文语料经过第一翻译模型进行翻译处理后获得的英文语料。
157.例如,需要针对目标领域中的中文语料翻译为该领域的英文语料,此时则需要训练出与目领域匹配的翻译模型;首先获取目标领域的中文语料x_in,其次,将通过翻译模型mt_out{x->y}对中文语料x_in进行翻译获得英文语料y'_in,其中,英文语料y'_in表示中文语料x_in经过翻译后得到的反向伪语料,之后再用于后续的翻译模型训练。
158.步骤s106,将所述第一语料和所述第二语料输入语料编辑模型,进行语料编辑,获得所述第二语料的编辑语料。
159.具体的,在上述利用第一翻译模型对所述第一语料进行翻译获得第二语料的基础上,进一步的,为了能够使得最终训练完成的翻译模型能够与所述目标领域匹配,则需要进行语料编辑,通过语料编辑实现对训练翻译模型的样本进行调整,具体是指使得训练样本对应的语料在翻译前后均表示目标领域的含义,从而使得最终训练完成的翻译模型能够与所述目标领域匹配;故将所述第一语料和所述第二语料输入语料编辑模型进行语料编辑,获得所述第二语料的编辑语料,以用于后续翻译模型的训练。
160.参见图3所示,所述语料编辑模型将基于译后原型编辑的领域适应方法(domain adaptation with prototype editing,简称dape)构建,通过训练所述语料编辑模型(dape模型),之后输入所述目标领域外的反向伪语料(第二语料),并修改其源端(第一语料),从而实现避免训练完成的翻译模型与目标领域不匹配以及翻译表达不准确的问题,可以有效的提高翻译模型的准确度。
161.进一步的,所述语料编辑模型是一种双源输入的序列到序列的模型,其具有两个编码器(encoder)和一个解码器(decoder),在使用的过程中,将第一语料(目标语料source embedding)和第二语料(目标语料译后语料target embedding)输入到编码器进行编码处理,再将编码处理结果输入到解码器即可获得所述第二语料对应的编辑语料;
162.本实施例的一个或多个实施方式中,语料编辑模型的语料编辑过程如下所述:
163.对所述第一语料和所述第二语料进行向量化处理,获得所述第一语料的第一词向量和所述第二语料的第二词向量;
164.由所述语料编辑模型包含的第一编码单元将所述第一词向量编码为第一编码向量,以及,由所述语料编辑模型包含的第二编码单元将所述第二词向量编码为第二编码向量;
165.由所述语料编辑模型包含的解码单元对所述第一编码向量和所述第二编码向量进行解码处理,获得所述编辑语料。
166.实际应用中,在通过所述语料编辑模型进行语料编辑之前,首先需要将所述第一语料和所述第二语料进行向量化处理,获得第一词向量和第二词向量,其次,由语料编辑模型进行语料编辑,具体过程包括:由所述语料编辑模型中包含的第一编码单元和第二编码
单元对第一词向量和第二词向量进行编码处理,获得第一编码向量和第二编码向量,最后,由所述语料编辑模型中包含的解码单元对第一编码向量和第二编码向量进行解码处理,即可获得所述第二语料对应的编辑语料。
167.仍以所述第一语料为中文语料对语料编辑过程进行描述,在通过翻译模型mt_out{x->y}对中文语料x_in进行翻译获得英文语料y'_in之后,再将中文语料x_in和英文语料y'_in输入到语料编辑模型dape{y'_in,x->y}进行语料编辑,语料编辑模型dape{y'_in,x->y}的语料编辑过程具体是指:首先对中文语料x_in和英文语料y'_in进行向量化处理获得中文词向量和英文词向量,之后由语料编辑模型dape{y'_in,x->y}中的第一编码器和第二编码器对中文词向量和英文词向量进行编码处理,获得中文编码向量和英文编码向量,最后通过语料编辑模型dape{y'_in,x->y}中的解码器对中文编码向量和英文编码向量进行解码处理,即可获得英文语料y'_in对应的英文编辑语料y*_in,用于后续训练翻译模型。
168.更进一步的,在使用所述语料编辑模型进行语料编辑之前,还需要对所述语料编辑模型进行训练,从而使得在应用过程中所使用的语料编辑模型可以具有对训练第二翻译模型的训练样本进行调整的目的,使得经过语料编辑模型调整过的训练样本是与目标领域所匹配,从而可以实现使用语料编辑模型调整过的语料作为第二翻译模型的训练样本,对后续的翻译模型进行训练,可以实现训练完成的翻译模型与所述目标领域所匹配,匹配具体表示训练完成的翻译模型的翻译效果能够使得翻译前后的语料与目标领域内的语料所表达的含义相同,本实施例的一个或多个实施方式中,具体实现方式如下所述:
169.获取所述目标领域的第三语料;所述第三语料与所述第一语料互为目标语料与源语料;
170.利用所述第二翻译模型对所述第三语料进行翻译,获得第四语料;
171.利用所述第一翻译模型对所述第四语料进行翻译,获得第五语料;
172.以所述第三语料、所述第四语料和所述第五语料为训练样本,对第一待训练语料编辑模型进行训练,获得所述语料编辑模型。
173.实际应用中,首先需要获取所述目标领域的第三语料,其中,所述第三语料与所述第一语料互为目标语料与源语料;所述目标语料具体是指待翻译语料,所述源语料具体是指待翻译语料翻译后所属的语料类型中对应的语料,需要说明的是所述源语料并不是所述目标语料翻译后获得的,故第三语料是属于第一语料经过翻译后的语料类型中的,并不是第一语料翻译后的语料,二者无对应关系。
174.基于此,此时利用第二翻译模型对所述第三语料进行翻译,获得第四语料,所述第四语料与所述第一语料的语料类型相同,再由所述第一翻译模型对所述第四语料进行翻译,获得第五语料,所述第五语料与所述第二语料的语料类型相同,最后,以所述第三语料、所述第四语料和所述第五语料为训练样本,对第一待训练语料编辑模型进行训练,即可获得所述语料编辑模型,以用于对翻译模型的训练样本进行调整。
175.其中,所述第二翻译模型与所述第一翻译模型互为反向翻译模型,互为反向翻译模型具体是指第一翻译模型的输入、输出的语料类型与所述第二翻译模型的输入、输出具有反向对应关系,即第一翻译模型的输入的语料类型与第二翻译模型的输出的语料类型相同,第一翻译模型的输出的语料类型与第二翻译模型的输入的语料类型相同。
176.沿用上例,首先获取目标领域的英文语料y_in,其中,中文语料x_in和英文语料y_
in互为目标语料和源语料,再通过第二翻译模型mt_out{y->x}对英文语料y_in进行翻译,获得中文语料x'_in,其中,中文语料x'_in表示英文语料y_in经过翻译后得到的反向伪语料;再利用第一翻译模型mt_out{x->y}对中文语料x'_in进行翻译,获得英文语料y”_in,其中,英文语料y”_in表示中文语料x'_in经过翻译后得到的往返语料(round-trip);最后基于英文语料y_in、中文语料x'_in和英文语料y”_in训练第一待训练语料编辑模型dape{y',x->y},即可获得语料编辑模型dape{y'_in,x->y},以实现可以通过英文语料y'_in确定其对应的英文编辑语料y*_in,其中英文编辑语料y*_in表示英文语料y'_in经过语料编辑后得到的目标领域的反向伪语料,实现对第二翻译模型mt_out{y->x}的训练样本进行调整的目的。
177.综上,在对所述语料编辑模型的训练过程中,通过使用第二翻译模型将第三语料翻译为第四语料,再由第一翻译模型将所述第四语料翻译为第五语料,最后结合所述第三语料、第四语料和第五语料对所述语料编辑模型进行训练,实现了获得对第二语料进行语料编辑的模型,可以做到对所述第二语料进行调整的目的,从而在后续进行第二翻译模型的训练过程中,实现训练完成的翻译模型可以将第三语料的翻译为与所述第一语料的语料类型相同的语料,并且符合所述目标领域的语料表达含义。
178.步骤s108,以所述第一语料和所述编辑语料为训练样本,对第二翻译模型进行训练,获得所述目标领域的目标翻译模型。
179.具体的,在上述获得所述第二语料的编辑语料的基础上,此时表明对所述第二翻译模型的训练样本的调整过程完成,即可以使用所述编辑语料和所述第一语料对所述第二翻译模型进行训练,所述第二翻译模型具体是指能够将编辑语料所属的语料类型的语料翻译为所述第一语料所属的语料类型的语料,相应的,训练完成获得的所述目标翻译模型即可实现将编辑语料所属的语料类型中的语料可以翻译为所述目标领域内的所述第一语料所属的语料类型的语料;比如第一语料为中文语料,编辑语料为英文语料,目标领域为线上销售领域,最终获得的目标翻译模型可以将英文语料翻译为符合目标领域内语料含义的中文语料,其中,所述第二翻译模型是指目标领域外的翻译模型或待训练的初始翻译模型,需要对其进行训练,使得训练完成的翻译模型可以应用于所述目标领域。
180.沿用上例,在获得英文语料y'_in对应的英文编辑语料y*_in之后,此时基于中文语料x_in和英文编辑语料y*_in训练第二翻译模型mt_out{y->x},即可获得符合目标领域的目标翻译模型mt_{in}^{y->x},使用目标翻译模型mt_{in}^{y->x}即可实现将英文语料翻译为中文语料,并且翻译后得到的中文语料符合目标领域内的语料表达含义;
181.进一步的,若目标领域为线上销售领域,此时训练完成的目标翻译模型mt_{in}^{y->x}与线上销售领域所匹配,通过该模型即可实现将英文语料“baby”翻译为“商品”的效果,实现训练完成的模型与所述目标领域更加匹配。
182.此外,在完成对所述第二翻译模型进行训练的基础上,还可以对所述第一翻译模型进行训练,实现可以将第一语料所属的语料类型的语料翻译为符合目标领域的第三语料所属的语料类型的语料,本实施例的一个或多个实施方式中,对所述第一翻译模型的训练过程如下所述:
183.将所述第三语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得所述第四语料的编辑语料;
184.以所述第三语料和所述第四语料的编辑语料为训练样本,对所述第一翻译模型进行训练,获得所述目标领域的第二目标翻译模型。
185.具体的,在将所述第三语料经过第二翻译模型翻译后获得所述第四语料,进一步的,为了能够使得最终训练完成的翻译模型能够与所述目标领域匹配,则需要进行语料编辑,通过语料编辑实现对训练第一翻译模型的样本进行调整,具体是指使得训练样本对应的语料在翻译前后均表示目标领域的含义,从而提升最终训练完成的第一翻译模型能够与所述目标领域匹配;故将所述第三语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得所述第四语料的编辑语料;其中,所述第二语料编辑模型与上述的所述语料编辑模型将结构相似,实现语料编辑的过程可以参见上述对应的描述内容,本实施方式在此不作过多赘述,需要说明的是,所述第二语料编辑模型实现的是对所述第四语料进行语料编辑,所述第四语料与所述第二语料的语料类型具有相对性,故第四语料经过翻译后的语料类型与所述第二语料的语料类型相同;
186.进一步的,此时表明对所述第一翻译模型的训练样本的调整过程完成,即可使用所述第四语料的编辑语料和所述第三语料对所述第一翻译模型进行训练,获得所述目标领域的第二目标翻译模型,所述第二目标翻译模型即可实现将第一语料所属的语料类型中的语料可以翻译为所述目标领域内的所述第三语料所属的语料类型的语料;比如第一语料为中文语料,第三语料为英文语料,目标领域为线上销售领域,最终获得的第二目标翻译模型可以将中文语料翻译为符合目标领域内语料含义的英文语料。
187.沿用上例,在获取目标领域的英文语料y_in之后,通过翻译模型mt_out{y->x}对英文语料y_in进行翻译获得中文语料x'_in,再将英文语料y_in和中文语料x'_in输入到语料编辑模型dape{x'_in,y->x}进行语料编辑,即可获得中文语料x'_in对应的中文编辑语料x*_in,最后基于中文编辑语料x*_in和英文语料y_in训练第一翻译模型mt_out{x->y},即可获得符合目标领域的第二目标翻译模型mt_{in}^{x->y},使用第二目标翻译模型mt_{in}^{x->y}即可实现将中文语料翻译为英文语料,并且翻译后得到的英文语料符合目标领域内的语料表达含义。
188.更进一步的,在使用所述第二语料编辑模型进行语料编辑之前,还需要对所述第二语料编辑模型进行训练,从而使得在应用过程中所使用的第二语料编辑模型可以具有对训练第一翻译模型的训练样本进行调整的目的,使得经过第二语料编辑模型调整过的训练样本是与目标领域所匹配,从而可以实现使用第二语料编辑模型调整过的语料作为第一翻译模型的训练样本,对后续的翻译模型进行训练,可以实现训练完成的翻译模型与所述目标领域所匹配,匹配具体表示训练完成的翻译模型的翻译效果能够使得翻译前后的语料是目标领域内的语料所表达的含义相同,本实施例的一个或多个实施方式中,具体实现方式如下所述:
189.将所述第二语料输入所述第二翻译模型进行翻译,获得第六语料;
190.以所述第一语料、所述第二语料和所述第六语料为训练样本,对第二待训练语料编辑模型进行训练,获得所述第二语料编辑模型。
191.实际应用中,将所述第二语料输入所述第二翻译模型进行翻译,获得第六语料;所述第六语料与所述第一语料的语料类型相同,之后基于所述第一语料、所述第二语料和所述第六语料为训练样本,对第二待训练语料编辑模型进行训练,即可获得所述第二语料编
辑模型。
192.具体实施时,在针对所述第一翻译模型进行训练的过程中,由于在训练所述第二翻译模型时使用了第一翻译模型将所述第一语料翻译为所述第二语料,故此时可以直接使用所述第二语料经过第二翻译模型翻译为所述第六语料,节省了对语料进行翻译处理的过程,即在实际应用中可以同时针对目标领域训练两种或多种翻译模型,以实现针对其他翻译模型进行训练时可以相互使用语料,从而实现降低训练成本的目的。
193.其中,所述第二语料编辑模型的训练过程,以及所述第一翻译模型的训练过程均可以参见所述语料编辑模型和所述第二翻译模型的训练过程相关的描述内容,本实施方式在此不作过多赘述,需要说明的是所述第一翻译模型与所述第二翻译模型互为反向翻译模型,相应的,所述第二语料编辑模型的语料编辑过程与所述语料编辑模型的语料编辑过程针对的语料类型互为反向语料。
194.具体的,所述第一翻译模型和/或所述第二翻译模型,为所述目标领域之外的非目标领域的翻译模型;并且,在所述第一语料为源语料的情况下,所述第二语料为目标译文语料,所述第三语料为目标语料,所述第四语料为源译文语料,所述第五语料为目标二次翻译语料,第六语料为源二次翻译语料;或者,在所述第一语料为目标语料的情况下,所述第二语料为源译文语料,所述第三语料为源语料,所述第四语料为目标译文语料,所述第五语料为源二次翻译语料,第六语料为目标二次翻译语料。
195.进一步的,在对所述第二翻译模型进行训练的过程中,经过少次数的训练,很难获得翻译效果较好的翻译模型,故需要对所述第二翻译模型进行大量次数的训练,从而才能够获得翻译效果符合目标领域的翻译模型,本实施例的一个或多个实施方式中,为了能够获得效果较好的目标翻译模型,本实施例采用迭代的方式对第二翻译模型进行训练;
196.其中,在迭代过程中,将前次迭代执行后训练获得的目标翻译模型作为后次迭代执行过程中的第二翻译模型;将前次迭代执行后训练获得的第二目标翻译模型作为后次迭代执行过程中的第一翻译模型;
197.并且,将前次迭代执行后训练获得的语料编辑模型作为后次迭代执行过程中的语料编辑模型;将前次迭代执行后训练获得的第二语料编辑模型作为后次迭代执行过程中的第二语料编辑模型。
198.为了能够获得翻译效果较好的翻译模型,并且避免模型训练过度或训练达不到预期效果,则可以通过配置迭代终止条件的方式实现获得效果较好的翻译模型,本实施例的一个或多个实施方式中,所述迭代的迭代终止条件包括:
199.前次迭代执行后训练获得的目标翻译模型相比前次迭代执行后训练获得的目标翻译模型满足第一迭代终止条件;和/或,前次迭代执行后训练获得的第二目标翻译模型相比前次迭代执行后训练获得的第二目标翻译模型满足第二迭代终止条件。
200.具体的,所述第一迭代终止条件具体是检测训练后获得的目标翻译模型的效果是否提升;所述第二迭代终止条件具体是检测训练后获得的第二目标翻译模型的效果是否提升。
201.沿用上例,在获得目标翻译模型mt_{in}^{y->x}和第二目标翻译模型mt_{in}^{x->y}之后,此时目标翻译模型和第二目标翻译模型的翻译效果可能并不是很好,则可以通过迭代的方式继续对翻译模型训练;在迭代的过程中,将目标翻译模型mt_{in}^{y->x}
代替下次训练过程中应用的第二翻译模型mt_out{y->x},以及将第二目标翻译模型mt_{in}^{x->y}代替下次训练过程中应用的第一翻译模型mt_out{x->y},同时将训练完成的语料编辑模型dape{y'_in,x->y}代替下次训练过程中应用的语料编辑模型,以及将训练完成的语料编辑模型dape{x'_in,y->x}代替下次训练过程中应用的语料编辑模型,实现对目标翻译模型mt_{in}^{y->x}和第二目标翻译模型mt_{in}^{x->y}的继续训练;
202.每次训练完成之后,都需要检测训练完成的翻译模型是否满足翻译效果的继续提升,当检测到训练完成的翻译模型的翻译效果不再提升的情况下,则将此时训练完成的目标翻译模型t-mt_{in}^{y->x}和第二目标翻译模型t-mt_{in}^{x->y}作为最终的目标领域的翻译模型,即可通过目标翻译模型t-mt_{in}^{y->x}实现将任意英文语料中的词汇翻译为符合目标领域的中文语料中的词汇,以及通过第二目标翻译模型t-mt_{in}^{x->y}实现将任意中文语料中的词汇翻译为符合目标领域的英文语料中的词汇。
203.综上,通过迭代的方式对翻译模型进行训练,可以有效的提升翻译模型的翻译效果,并且结合迭代终止条件进行模型效果的检测,使得最终获得的翻译模型的翻译效果与所述目标领域匹配程度较高,在用户使用的过程中,能够将用户提交的待翻译词汇翻译为符合目标领域的目标词汇,更进一步的提升了用户的体验效果。
204.实际应用中,不同的跨境线上平台具有不同的语言翻译需求,针对不同语言翻译需求的平台,就需要训练符合翻译需求的目标翻译模型,才能够保证语言翻译前后含义的一致性,故目标翻译模型应用的过程如下所述:
205.根据浏览用户的语言类型选择语言翻译模型,以及确定浏览用户对应的待翻译文本;
206.将所述待翻译文本输入至预先训练完成的所述语言翻译模型进行文本翻译,获得翻译文本。
207.其中,所述浏览用户对应的待翻译文本可以是用户输入文本,或者用户观看到的文本,本实施例将从三个方面就不同翻译需求对语言翻译模型的应用进行说明,具体实现方式如下所述:
208.1)服务于t国和m国的线上销售平台s能够实现跨境销售,即m国的用户可以在平台s对应的跨境销售网站上购买到t国的商品,从而可以实现用户跨境购买需求;由于该跨境销售网站应用于两个国家,需要面对不同国家的用户提供所属国家的语言对应的内容供用户进行浏览,故此时将基于t国的泰语以及m国的马来语训练泰-马翻译模型,实现可以将跨境销售网站中的泰语可以翻译为马来语,并且符合销售领域,以便m国的用户更加方便采购t国的商品。
209.基于此,当m国的用户通过该跨境销售网站购买t国提供的商品时,为了方便m国的用户浏览商品的信息,此时将通过泰-马翻译模型将用户浏览页面涉及的泰语内容翻译为马来语,并通过浏览页面进行展示,从而使得m国的用户可以观看到商品信息为马来语的t国商品,更加方便m国的用户进行商品的采购。
210.2)服务于m国和n国的线上销售平台s能够实现跨境销售,即m国的用户可以在平台s对应的跨境销售网站上购买到n国的商品,以及n国的用户可以在平台s对应的跨境销售网站上购买到m国的商品,从而可以实现两个国家的用户跨境购买需求;而为了方便上述两个国家的用户方便购物,将需要基于n国的语言印度尼西亚语和m国的语言马来语,构建印-马
翻译模型和马-印翻译模型,实现m国和n国的用户的语言相互翻译,便于两个国家的用户进行购物。
211.基于此,当n国的用户通过该跨境销售网站购买m国提供的商品时,为了方便用户操作,用户可以通过语音输入的方式提交购买需求,此时平台s将会对该用户的输入语音转化为印度尼西亚语对应的印度尼西亚语文本,之后将印度尼西亚语文本输入到印-马翻译模型,获得该用户对应的马来语文本,再基于马来语文本筛选出符合用户购买需求的m国商品,并将m国商品涉及的马来语商品信息通过马-印翻译模型翻译为印度尼西亚语商品信息,最后通过展示页面即可向该用户展示m国的商品,实现该商品符合用户购买需求,并且通过该用户熟悉的印度尼西亚语进行展示,使得用户跨境购买商品更加方便。
212.3)服务于g国和y国的线上销售平台s能够实现跨境销售,即g国的用户可以在平台s对应的跨境销售网站上购买到y国的商品,从而可以实现用户跨境购买商品的需求;由于该跨境销售网站应用于两个国家,需要面对不同国家的用户提供所属国家的语言对应的内容供用户进行浏览,故此时将基于g国的高棉语以及y国的英语训练高-英翻译模型和英-高翻译模型,实现可以将跨境销售网站中的高棉语和英语互相翻译,以便两国的用户更加方便跨境采购商品。
213.基于此,当g国的用户通过跨境销售网站购买y国的商品时,为了方便该用户对商品的浏览,会根据g国的高棉语,将展示页面中的全部内容通过高棉语展示给用户浏览,并且在用户输入购买y国的商品需求时,会通过高-英翻译模型将高棉语购买需求信息翻译为英语购买需求信息,并筛选出与英语购买需求信息匹配的商品作为待展示商品,而由于待展示商品信息是y国的商品,相关的商品信息也是英语商品信息,故还需要通过英-高翻译模型将待展示商品信息的英文商品信息翻译为高棉语商品信息,最后通过展示页面向该用户进行展示,从而实现该用户可以根据购买需求购买到y国的商品。
214.此外,在一些服务于较多国家的跨境平台中,为了能够方便各个国家的用户进行交互,可以根据涉及到的全部语言类型,通过上述模型训练方法训练出大量的翻译模型,使得各个国家之间的语言都可以相互翻译,从而方便各个国家的用户在跨境平台进行有效的交互,进一步提高了用户的体验效果。
215.本实施例提供的第一种翻译模型训练方法,通过获取目标领域的第一语料,并利用第一翻译模型对第一语料进行翻译,获得第二语料,此时引入语料编辑模型,将所述第一语料和第二语料输入所述语料编辑模型,获得第二语料的编辑语料,最后将所述编辑语料和所述第一语料作为训练样本对第二翻译模型进行训练,获得所述目标领域的目标翻译模型,通过结合语料编辑模型对训练翻译模型所使用的训练样本进行校正,从而实现无需借用人力即可完成翻译模型训练样本的校正,有效的提高了目标翻译模型针对目标领取的语料进行翻译的准确性,从而使得训练完成的目标翻译模型对领域内的语料进行翻译后,可以获得翻译后的语料符合目标领域。
216.本技术提供的第一种翻译模型训练装置实施例如下:
217.与上述方法实施例相对应,本说明书还提供了第一种翻译模型训练装置实施例,图4示出了本说明书一实施例提供的第一种翻译模型训练装置的结构示意图。如图4所示,该装置包括:
218.获取模块402,被配置为获取目标领域的第一语料;
219.翻译模块404,被配置为利用第一翻译模型对所述第一语料进行翻译,获得第二语料;
220.编辑模块406,被配置为将所述第一语料和所述第二语料输入语料编辑模型,进行语料编辑,获得所述第二语料的编辑语料;
221.训练模块408,被配置为以所述第一语料和所述编辑语料为训练样本,对第二翻译模型进行训练,获得所述目标领域的目标翻译模型。
222.一个可选的实施例中,所述第二翻译模型与所述第一翻译模型互为反向翻译模型。
223.一个可选的实施例中,所述语料编辑模型,采用如下方式进行训练:
224.获取所述目标领域的第三语料;所述第三语料与所述第一语料互为目标语料与源语料;
225.利用所述第二翻译模型对所述第三语料进行翻译,获得第四语料;
226.利用所述第一翻译模型对所述第四语料进行翻译,获得第五语料;
227.以所述第三语料、所述第四语料和所述第五语料为训练样本,对第一待训练语料编辑模型进行训练,获得所述语料编辑模型。
228.一个可选的实施例中,所述翻译模型训练装置,还包括:
229.语料编辑模块,被配置为将所述第三语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得所述第四语料的编辑语料;
230.翻译模型训练模块,被配置为以所述第三语料和所述第四语料的编辑语料为训练样本,对所述第一翻译模型进行训练,获得所述目标领域的第二目标翻译模型。
231.一个可选的实施例中,所述第二语料编辑模型,采用如下方式进行训练:
232.将所述第二语料输入所述第二翻译模型进行翻译,获得第六语料;
233.以所述第一语料、所述第二语料和所述第六语料为训练样本,对第二待训练语料编辑模型进行训练,获得所述第二语料编辑模型。
234.一个可选的实施例中,所述翻译模型训练方法采用迭代的方式执行;
235.其中,在迭代过程中,将前次迭代执行后训练获得的目标翻译模型作为后次迭代执行过程中的第二翻译模型;
236.将前次迭代执行后训练获得的第二目标翻译模型作为后次迭代执行过程中的第一翻译模型。
237.一个可选的实施例中,在所述迭代过程中,
238.将前次迭代执行后训练获得的语料编辑模型作为后次迭代执行过程中的语料编辑模型;
239.将前次迭代执行后训练获得的第二语料编辑模型作为后次迭代执行过程中的第二语料编辑模型。
240.一个可选的实施例中,所述迭代的迭代终止条件包括:
241.前次迭代执行后训练获得的目标翻译模型相比前次迭代执行后训练获得的目标翻译模型满足第一迭代终止条件;
242.和/或,
243.前次迭代执行后训练获得的第二目标翻译模型相比前次迭代执行后训练获得的
第二目标翻译模型满足第二迭代终止条件。
244.一个可选的实施例中,所述编辑模块406,包括:
245.向量化处理单元,被配置为对所述第一语料和所述第二语料进行向量化处理,获得所述第一语料的第一词向量和所述第二语料的第二词向量;
246.编码单元,被配置为由所述语料编辑模型包含的第一编码单元将所述第一词向量编码为第一编码向量,以及,由所述语料编辑模型包含的第二编码单元将所述第二词向量编码为第二编码向量;
247.解码单元,被配置为由所述语料编辑模型包含的解码单元对所述第一编码向量和所述第二编码向量进行解码处理,获得所述编辑语料。
248.一个可选的实施例中,所述第一翻译模型和/或所述第二翻译模型,为所述目标领域之外的非目标领域的翻译模型。
249.一个可选的实施例中,所述第一语料为源语料,所述第二语料为目标译文语料,
250.所述第三语料为目标语料,所述第四语料为源译文语料,
251.所述第五语料为目标二次翻译语料,第六语料为源二次翻译语料;
252.或者,
253.所述第一语料为目标语料,所述第二语料为源译文语料,
254.所述第三语料为源语料,所述第四语料为目标译文语料,
255.所述第五语料为源二次翻译语料,第六语料为目标二次翻译语料。
256.本实施例提供的第一种翻译模型训练装置,通过获取目标领域的第一语料,并利用第一翻译模型对第一语料进行翻译,获得第二语料,此时引入语料编辑模型,将所述第一语料和第二语料输入所述语料编辑模型,获得第二语料的编辑语料,最后将所述编辑语料和所述第一语料作为训练样本对第二翻译模型进行训练,获得所述目标领域的目标翻译模型,通过结合语料编辑模型对训练翻译模型所使用的训练样本进行校正,从而实现无需借用人力即可完成翻译模型训练样本的校正,有效的提高了目标翻译模型针对目标领取的语料进行翻译的准确性,从而使得训练完成的目标翻译模型对领域内的语料进行翻译后,可以获得翻译后的语料符合目标领域。
257.上述为本实施例的第一种翻译模型训练装置的示意性方案。需要说明的是,该翻译模型训练装置的技术方案与上述的第一种翻译模型训练方法的技术方案属于同一构思,翻译模型训练装置的技术方案未详细描述的细节内容,均可以参见上述第一种翻译模型训练方法的技术方案的描述。
258.本技术提供的第二种翻译模型训练方法实施例如下:
259.图5示出了根据本说明书一实施例提供的第二种翻译模型训练方法的流程图,图6示出了根据本说明书一实施例提供的第二种翻译模型训练方法的示意图;其中图5具体包括以下步骤:
260.步骤s502,获取第一语料和第二语料。
261.实际应用中,在使用目标领域外的翻译模型对目标领域内的原始语料进行翻译的过程中,可能出现翻译后的译文语料与原始语料所表达的含义不同的问题,若想实现翻译模型翻译后的译文语料与目标领域内的原始语料所表达的含义相同,需要针对目标领域训练特定的翻译模型,而训练翻译模型的方式通常是采用人工标注的方式进行校正训练样
本,在此过程将会耗费大量的人力物力才能够训练出符合目标领域的翻译模型。
262.本说明书一实施例提供的第二种翻译模型训练方法,为了能够节省人力物力的同时,加快对目标领域的翻译模型进行训练的效率,通过获取第一语料和第二语料后,利用第一翻译模型和第二翻译模型对所述第一语料和第二语料进行翻译获得第三语料和第四语料,再引入第一语料编辑模型对第一语料及其翻译后获得的第三语料进行语料编辑,同时引入第二语料编辑模型对第二语料及其翻译后获得的第四语料进行语料编辑,获得第一编辑语料和第二编辑语料,最后以第一语料和第一编辑语料为样本,对第二翻译模型进行训练,同时以第二语料和第二编辑语料为样本,对第一翻译模型进行训练,获得所述第二目标翻译模型和所述第一目标翻译模型,通过引入第一语料编辑模型和第二语料编辑模型对训练第一翻译模型和第二翻译模型的训练样本进行校正,实现了无需借用人力即可完成训练样本的校正,并且相比于人工标注的方式效率要更快,不仅可以加快训练符合目标领域的翻译模型,同时可以有效的提高目标领域的翻译模型的翻译准确度,通过同时对两种翻译模型进行训练,可以节省训练成本的同时,更进一步的提高了模型训练的效率。
263.具体实施时,所述第一语料和所述第二语料属于同领域内的两种语料,并且所述第一语料与所述第二语料互为源语料与目标语料,其中关于领域、源语料与目标语料的相关内容可参见上述实施例中描述的内容,本实施例在此不作过多赘述;需要说明的是,本实施例中的第一语料、第二语料、第三语料、第四语料和上述实施例中第一语料、第二语料、第三语料、第四语料无对应关系;并且本实施例中涉及的第一语料和第二语料无对应关系。
264.基于此,本实施例将以所述第一语料为英文语料,所述第二语料为中文语料对所述第二种翻译模型训练方法进行描述,实现最终训练完成的第一目标翻译模型可以将英文语料翻译为中文语料,第二目标翻译模型可以将中文语料翻译为英文语料。
265.此外,本实施例中涉及的翻译模型可以是任意结构的模型,比如基于卷积神经网络的翻译模型或基于循环神经网络的翻译模型,无论翻译模型的结构是何种网络,都可以通过本实施例提供的翻译模型训练方法实现将翻译模型训练为目标翻译模型,具有针对第一语料和第二语料翻译后满足所属领域的效果。
266.步骤s504,利用第一翻译模型将所述第一语料翻译为第三语料,并利用第二翻译模型将所述第二语料翻译为第四语料。
267.具体的,在上述获取第一语料和第二语料的基础上,此时表明需要针对第一翻译模型和第二翻译模型进行训练,以达到训练后的翻译模型可以将语料翻译为第一语料和第二语料所属领域中含义相同的翻译语料,进一步的,将利用所述第一翻译模型对所述第一语料进行翻译获得第三语料,并利用第二翻译模型对所述第二语料进行翻译获得第四语料;其中,所述第三语料的语料类型与所述第二语料的语料类型相同,该语料类型为第一语料类型;所述第四语料的语料类型与所述第一语料的语料类型相同,该语料类型为第二语料类型;
268.基于此,所述第一翻译模型的翻译效果是将语料从第二语料类型翻译到第一语料类型,所述第二翻译模型的翻译效果是将语料从第一语料类型翻译到第二语料类型,并且第一翻译模型和第二翻译模型是是所述第一语料和第二语料所属领域外的翻译模型或待训练的初始翻译模型,需要对二者进行训练,使两种翻译模型训练完成后可以应用于所述第一语料和第二语料所属的领域。
269.仍以所述第一语料为英文语料,所述第二语料为中文语料,对获得所述第三语料和第四语料的过程进行描述;首先获取英文语料y_in和中文语料x_in,其次将英文语料y_in输入至第一翻译模型mt_out{y->x}进行翻译,获得中文语料x'_in,同时将中文语料x_in输入至第二翻译模型mt_out{x->y}进行翻译,获得英文语料y'_in,其中,y'_in表示中文语料x_in经过翻译后得到的反向伪语料,x'_in表示英文语料y_in经过翻译后得到的反向伪语料,之后在用于后续的两种翻译模型的训练。
270.步骤s506,将所述第一语料和所述第三语料输入第一语料编辑模型进行语料编辑,获得第一编辑语料,并将所述第二语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得第二编辑语料。
271.具体的,在上述利用第一翻译模型和第二翻译模型对所述第一语料和所述第二语料进行翻译后获得第三语料和第四语料的基础上,进一步的,为了能够使得最终训练完成的翻译模型的翻译效果较好,则需要进行语料编辑通过语料编辑实现对训练翻译模型的样本进行调整,具体是指使得训练样本对应的语料在翻译前后均表示所属领域的含义,从而使得最终训练完成的翻译模型能够与第一语料和第二语料所属的领域匹配;故将所述第一语料和所述第三语料输入第一语料编辑模型进行语料编辑,获得第一编辑语料,同时将所述第二语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得第二编辑语料。
272.实际应用中,所述第一语料编辑模型和所述第二语料编辑模型将基于译后原型编辑的领域适应方法(domain adaptation with prototype editing,简称dape)构建,通过训练所述第一语料编辑模型和所述第二语料编辑模型,之后向第一语料编辑模型中输入反向伪语料(第三语料),并修改其源端(第一语料),从而实现避免训练完成的第二目标翻译模型的翻译准确度不高的问题,同时向第二语料编辑模型中输入反向伪语料(第四语料),并修改其源端(第二语料)从而实现避免训练完成的第一目标翻译模型的翻译准确度不高的问题,进一步提高第一目标翻译模型和第二目标翻译模型的翻译准确度;
273.进一步的,所述第一语料编辑模型和所述第二语料编辑模型是一种双源输入的序列到序列的模型,均具有两个编码器(encoder)和一个解码器(decoder),所述第一语料编辑模型在使用的过程中,将所述第一语料和所述第三语料输入到编码器进行编码处理,再将编码处理结果输入到解码器即可获得所述第一编辑语料,其中,所述第一语料编辑模型和所述第二语料编辑模型的结构可参见图3所示内容;本实施例的一个或多个实施方式中,所述第一语料编辑模型的语料编辑过程如下所述:
274.对所述第一语料和所述第三语料进行向量化处理,获得所述第一语料的第一词向量和所述第三语料的第三词向量;
275.由所述第一语料编辑模型包含的第一编码单元将所述第一词向量编码为第一编码向量,以及,由所述第一语料编辑模型包含的第二编码单元将所述第三词向量编码为第三编码向量;
276.由所述第一语料编辑模型包含的解码单元对所述第一编码向量和所述第三编码向量进行解码处理,获得所述第一编辑语料。
277.实际应用中,在通过所述第一语料编辑模型进行语料编辑之前,首先需要将所述第一语料和所述第三语料进行向量化处理,获得第一词向量和第三词向量,其次,由第一语料编辑模型进行语料编辑,具体过程包括:由所述第一语料编辑模型中包含的第一编码单
元和第二编码单元对所述第一词向量和所述第三词向量进行编码处理,获得第一编码向量和第三编码向量,最后,由所述第一语料编辑模型中包含的解码单元对第一编码向量和第三编码向量进行解码处理,即可获得所述第一编辑语料。
278.沿用上例,在通过第一翻译模型mt_out{y->x}将英文语料y_in翻译为中文语料x'_in(第三语料)之后,再将英文语料y_in和中文语料x'_in输入第一语料编辑模型dape{x'_in,y->x}进行语料编辑,第一语料编辑模型dape{x'_in,y->x}的语料编辑过程具体是指:首先对英文语料y_in和中文语料x'_in进行向量化处理获得第一英文词向量(第一词向量)和第一中文词向量(第三词向量),之后由第一语料编辑模型dape{x'_in,y->x}中的第一编码单元和第二编码单元对第一英文词向量和第一中文词向量进行编码处理,获得第一英文编码向量(第一编码向量)和第一中文编码向量(第三编码向量),最后通过第一语料编辑模型dape{x'_in,y->x}中的解码单元对第一英文编码向量和第一中文编码向量进行解码处理,即可获得中文编辑语料x*_in,用于后续训练第二翻译模型。
279.更进一步的,在使用所述第一语料编辑模型进行语料编辑之前,还需要对所述第一语料编辑模型进行训练,从而使得在应用过程中所使用的第一语料编辑模型可以具有对训练第二翻译模型的训练样本进行调整的目的,使得经过第一语料编辑模型调整过的训练样本与第一语料所属的领域相匹配,本实施例的一个或多个实施方式中,具体实现方式如下所述:
280.利用所述第一翻译模型对所述第四语料进行翻译,获得第五语料;
281.以所述第二语料、所述第四语料和所述第五语料为训练样本,对第一待训练语料编辑模型进行训练,获得所述第一语料编辑模型。
282.实际应用中,利用所述第一翻译模型对所述第四语料进行翻译,获得第五语料,所述第五语料与所述第二语料的语料类型相同;之后基于所述第二语料、所述第四语料和所述第五语料为训练样本,对第一待训练语料编辑模型进行训练,即可获得所述第一语料编辑模型。
283.参见图6中图(a)所示,通过使用第二翻译模型mt_out{x->y}将中文语料x_in翻译为英文语料y'_in(第四语料)的基础上,进一步的,使用第一翻译模型mt_out{y->x}对英文语料y'_in(第四语料)进行翻译,获得中文语料x”_in(第五语料),其中,中文语料x”_in表示英文语料y'_in经过翻译后得到的往返语料(round-trip);之后基于中文语料x”_in、英文语料y'_in和中文语料x_in训练第一待训练语料编辑模型dape{x',y->x},即可获得第一语料编辑模型dape{x'_in,y->x},以实现可以通过中文语料x'_in确定其对应的中文编辑语料x*_in,其中中文编辑语料x*_in表示中文语料x'_in经过语料编辑后得到的反向伪语料,实现对第二翻译模型mt_out{x->y}的训练样本进行调整的目的。
284.更进一步的,所述第二语料编辑模型在使用的过程中,将所述第二语料和所述第四语料输入到编码器进行编码处理,再将编码处理结果输入到解码器即可获得所述第二编辑语料,本实施例的一个或多个实施方式中,所述第二语料编辑模型的语料编辑过程如下所述:
285.对所述第二语料和所述第四语料进行向量化处理,获得所述第四语料的第二词向量和所述第四语料的第四词向量;
286.由所述第二语料编辑模型包含的第一编码单元将所述第二词向量编码为第二编
码向量,以及,由所述第二语料编辑模型包含的第二编码单元将所述第四词向量编码为第四编码向量;
287.由所述第二语料编辑模型包含的解码单元对所述第二编码向量和所述第四编码向量进行解码处理,获得所述第二编辑语料。
288.实际应用中,在通过所述第二语料编辑模型进行语料编辑之前,首先需要将所述第二语料和所述第四语料进行向量化处理获得第二词向量和第四词向量,其次,由第二语料编辑模型进行语料编辑,具体过程包括:由所述第二语料编辑模型中包含的第一编码单元和第二编码单元对所述第二词向量和第四词向量进行编码处理,获得第二编码向量和第四编码向量,最后,由所述第二语料编辑模型中包含的解码单元对第二编码向量和第四编码向量进行解码处理,即可获得所述第二编辑语料。
289.沿用上例,在通过第二翻译模型mt_out{x->y}将中文语料x_in翻译为英文语料y'_in(第四语料)之后,再将中文语料x_in和英文语料y'_in输入第二语料编辑模型dape{y'_in,x->y}进行语料编辑,第二语料编辑模型dape{y'_in,x->y}的语料编辑过程具体是指:首先对中文语料x_in和英文语料y'_in进行向量化处理获得第二中文词向量(第二词向量)和第二英文词向量(第四词向量),之后由第二语料编辑模型dape{y'_in,x->y}中的第一编码单元和第二编码单元对第二中文词向量和第二英文词向量进行编码处理,获得第二中文编码向量(第二编码向量)和第二英文编码向量(第四编码向量),最后通过第二语料编辑模型dape{y'_in,x->y}中的解码单元对第二中文编码向量和第二英文编码向量进行解码处理,即可获得英文编辑语料y*_in,用于后续训练第一翻译模型。
290.更进一步的,在使用所述第二语料编辑模型进行语料编辑之前,还需要对所述第二语料编辑模型进行训练,从而使得在应用过程中所使用的第二语料编辑模型可以具有对训练第一翻译模型的训练样本进行调整的目的,使得经过第二语料编辑模型调整过的训练样本与第二语料所属的领域相匹配,本实施例的一个或多个实施方式中,具体实现方式如下所述:
291.将所述第三语料输入所述第二翻译模型进行翻译,获得第六语料;
292.以所述第一语料、所述第三语料和所述第六语料为训练样本,对第二待训练语料编辑模型进行训练,获得所述第二语料编辑模型。
293.实际应用中,将所述第三语料输入所述第二翻译模型进行翻译获得第六语料;所述第六语料与所述第一语料的语料类型相同,之后基于所述第一语料、所述第三语料和所述第六语料为训练样本,对第二待训练语料编辑模型进行训练,即可获得所述第二语料编辑模型。
294.沿用上例,通过使用第二翻译模型mt_out{x->y}对中文语料x'_in(第三语料)进行翻译,获得英文语料y”_in(第六语料),其中,英文语料y”_in表示中文语料x'_in经过翻译后得到的往返语料(round-trip);之后基于英文语料y”_in、中文语料x'_in和英文语料y_in训练第二待训练语料编辑模型dape{y',x->y},即可获得第二语料编辑模型dape{y'_in,x->y},以实现可以通过英文语料y'_in确定其对应的英文编辑语料y*_in,其中英文编辑语料y*_in表示英文语料y'_in经过语料编辑后得到的反向伪语料,实现对第一翻译模型mt_out{y->x}的训练样本进行调整的目的。
295.综上,通过对所述第一语料编辑模型和所述第二语料编辑模型进行训练,实现了
获得对所述第三语料和第四语料进行语料编辑的模型,可以做到对所述第三语料和第四语料进行调整的目的,从而在后续进行第二翻译模型和第一翻译模型的训练过程中,实现训练完成的第一翻译模型可以将第一语料翻译为与所述第二语料的语料类型相同的语料,以及所述第二翻译模型可以将所述第二语料翻译为与所述第一语料的语料类型相同的语料,并且符合第一语料和第二语料所属领域的语料表达含义。
296.步骤s508,以所述第一语料和所述第一编辑语料为训练样本,将所述第二翻译模型训练为第二目标翻译模型,并以所述第二语料和所述第二编辑语料为训练样本,将所述第一翻译模型训练为第一目标翻译模型。
297.具体的,在上述获得所述第一编辑语料和第二编辑语料的基础上,此时表明对所述第二翻译模型和所述第一翻译模型的训练样本的调整过程完成,即可以使用所述第一编辑语料和所述第一语料对所述第二翻译模型进行训练,同时使用所述第二编辑语料和所述第二语料对所述第一翻译模型进行训练,所述第二翻译模型具体是指能够将第一编辑语料所属的语料类型翻译为所述第一语料所属的语料类型的语料,所述第一翻译模型具体是指能够将第二编辑语料所属的语料类型翻译为所述第二语料所属的语料类型的语料;
298.基于此,训练完成的所述第二目标翻译模型即可实现将第一编辑语料所属的语料类型中的语料可以翻译为所述第一语料所属的语料类型的语料;比如第一语料为英文语料,第一编辑语料为中文语料,最终获得的第二目标翻译模型可以将中文语料翻译为与第一语料相对应的英文语料;训练完成的所述第一目标翻译模型即可实现将第二编辑语料所属的语料类型中的语料可以翻译为所述第二语料所属的语料类型的语料;比如第二语料为中文语料,第二编辑语料为英文语料,最终获得的第一目标翻译模型可以将英文语料翻译为与第二语料相对应的英文语料;其中,所述第二翻译模型与所述第一翻译模型互为反向翻译模型;则训练完成的所述第二目标翻译模型与所述第一目标翻译模型也互为反向翻译模型。
299.实际应用中,由于第一语料和第二语料属于相同领域,故最终训练完成的所述第二目标翻译模型和所述第一目标翻译模型均与该领域相匹配,实现所述第二目标翻译模型进行翻译处理的语料与所述第一目标翻译模型进行翻译处理的语料相对应,具有反向翻译关系。
300.参见图6中图(b)所示,在获得中文编辑语料x*_in和英文编辑语料y*_in之后,此时基于英文语料y_in和中文编辑语料x*_in训练第二翻译模型mt_out{x->y},即可获得第二目标翻译模型mt_{in}^{x->y},使用第二目标翻译模型mt_{in}^{x->y}即可实现将中文语料翻译为英文语料,并且翻译后得到的英文语料符合翻译前中文语料所属领域的语料表达含义;
301.同时基于中文语料x_in和英文编辑语料y*_in训练第一翻译模型mt_out{y->x},即可获得第一目标翻译模型mt_{in}^{y->x},使用第一目标翻译模型mt_{in}^{y->x}即可实现将英文语料翻译为中文语料,并且翻译后得到的中文语料符合翻译前英文语料所属领域的语料表达含义。
302.具体实施时,所述第一语料和所述第二语料为目标领域的语料,所述第一翻译模型和/或所述第二翻译模型,为所述目标领域之外的非目标领域的翻译模型;相应的,所述第一语料为源语料,所述第二语料为目标语料,所述第三语料为目标译文语料,所述第四语
料为源译文语料;或者,所述第一语料为目标语料,所述第二语料为源语料,所述第三语料为源译文语料,所述第四语料为目标译文语料。
303.综上,训练完成的所述第一目标翻译模型和所述第二目标翻译模型在针对语料进行翻译的过程中,可以使得翻译前后获得的语料属于相同领域,从而可以保证所述第一目标翻译模型和所述第二目标翻译模型适用于相同领域,进一步提高了在目标领域内所述第一目标翻译模型和所述第二目标翻译模型的翻译准确性。
304.进一步的,在对所述第二翻译模型和所述第一翻译模型进行训练的过程中,若经过少次数的训练,很难获得翻译效果较好的翻译模型,故需要对所述第二翻译模型和所述第一翻译模型进行大量次数的训练,从而才能够获得翻译效果较好的翻译模型,本实施例的一个或多个实施方式中,为了能够获得效果较好的翻译模型,本实施例采用迭代的方式对第二翻译模型和第一翻译模型进行训练;
305.其中,在迭代过程中,将前次迭代执行后训练获得的第二目标翻译模型作为后次迭代执行过程中的第二翻译模型;将前次迭代执行后训练获得的第一目标翻译模型作为后次迭代执行过程中的第一翻译模型。
306.并且,将前次迭代执行后训练获得的第一语料编辑模型作为后次迭代执行过程中的第一语料编辑模型;将前次迭代执行后训练获得的第二语料编辑模型作为后次迭代执行过程中的第二语料编辑模型。
307.为了能够获得翻译效果较好的翻译模型,并且避免模型训练过度或训练达不到预期效果,则可以通过配置迭代终止条件的方式实现获得效果较好的翻译模型,本实施例的一个或多个实施方式中,所述迭代的迭代终止条件包括:
308.前次迭代执行后训练获得的第一目标翻译模型相比前次迭代执行后训练获得的第一目标翻译模型满足第一迭代终止条件;和/或,前次迭代执行后训练获得的第二目标翻译模型相比前次迭代执行后训练获得的第二目标翻译模型满足第二迭代终止条件。
309.沿用上例,在获得第二目标翻译模型mt_{in}^{x->y}和第一目标翻译模型mt_{in}^{y->x}之后,此时第二目标翻译模型和第一目标翻译模型的翻译效果可能并不是很好,则可以通过迭代的方式继续对翻译模型训练;在迭代的过程中,将第二目标翻译模型mt_{in}^{x->y}代替下次训练过程中应用的第二翻译模型mt_out{x->y},以及将第一目标翻译模型mt_{in}^{y->x}代替下次训练过程中应用的第一翻译模型mt_out{y->x},同时将训练完成的第一语料编辑模型代替下次训练过程中应用的第一语料编辑模型,将将训练完成的第二语料编辑模型代替下次训练过程中应用的第二语料编辑模型,实现对第二目标翻译模型mt_{in}^{x->y}和第一目标翻译模型mt_{in}^{y->x}的继续训练;
310.每次训练完成之后,都需要检测训练完成的翻译模型是否满足翻译效果的继续提升,当检测到训练完成的翻译模型的翻译效果不再提升的情况下,则将此时训练完成的第二目标翻译模型t-mt_{in}^{x->y}和第一目标翻译模型t-mt_{in}^{y->x}作为最终的目标领域的翻译模型,即可通过第二目标翻译模型t-mt_{in}^{x->y}实现将中文语料中的词汇翻译为符合目标领域的英文语料中的词汇,以及通过第一目标翻译模型t-mt_{in}^{y->x}实现将文语料中的词汇翻译为符合目标领域的中文语料中的词汇。
311.综上,通过迭代的方式对翻译模型进行训练,可以有效的提升翻译模型的翻译效果,并且结合迭代终止条件进行模型效果的检测,使得最终获得的翻译模型的翻译效果与
所述目标领域匹配程度较高,在用户使用的过程中,能够将用户提交的待翻译词汇翻译为符合目标领域的目标词汇,更进一步的提升了用户的体验效果。
312.实际应用中,不同的跨境线上平台具有不同的语言翻译需求,针对不同语言翻译需求的平台,就需要训练符合翻译需求的目标翻译模型,才能够保证语言翻译前后含义的一致性,故目标翻译模型应用的过程如下所述:
313.根据浏览用户的语言类型选择语言翻译模型,以及确定浏览用户对应的待翻译文本;
314.将所述待翻译文本输入至预先训练完成的所述语言翻译模型进行文本翻译,获得翻译文本。
315.本实施例将从两个方面就不同翻译需求对语言翻译模型的应用进行说明,具体实现方式如下所述:
316.1)服务于m国和n国的线上销售平台s能够实现跨境销售,即m国的用户可以在平台s对应的跨境销售网站上购买到n国的商品,以及n国的用户可以在平台s对应的跨境销售网站上购买到m国的商品,从而可以实现两个国家的用户跨境购买需求;而为了方便上述两个国家的用户方便购物,将需要基于n国的语言印度尼西亚语和m国的语言马来语,构建印-马翻译模型和马-印翻译模型,实现m国和n国的用户的语言相互翻译,便于两个国家的用户进行购物。
317.基于此,当n国的用户通过该跨境销售网站购买m国提供的商品时,为了方便用户操作,用户可以通过语音输入的方式提交购买需求,此时平台s将会对该用户的输入语音转化为印度尼西亚语对应的印度尼西亚语文本,之后将印度尼西亚语文本输入到印-马翻译模型,获得该用户对应的马来语文本,再基于马来语文本筛选出符合用户购买需求的m国商品,并将m国商品涉及的马来语商品信息通过马-印翻译模型翻译为印度尼西亚语商品信息,最后通过展示页面即可向该用户展示m国的商品,实现该商品符合用户购买需求,并且通过该用户熟悉的印度尼西亚语进行展示,使得用户跨境购买商品更加方便。
318.2)服务于g国和y国的线上销售平台s能够实现跨境销售,即g国的用户可以在平台s对应的跨境销售网站上购买到y国的商品,从而可以实现用户跨境购买商品的需求;由于该跨境销售网站应用于两个国家,需要面对不同国家的用户提供所属国家的语言对应的内容供用户进行浏览,故此时将基于g国的高棉语以及y国的英语训练高-英翻译模型和英-高翻译模型,实现可以将跨境销售网站中的高棉语和英语互相翻译,以便两国的用户更加方便跨境采购商品。
319.基于此,当g国的用户通过跨境销售网站购买y国的商品时,为了方便该用户对商品的浏览,会根据g国的高棉语,将展示页面中的全部内容通过高棉语展示给用户浏览,并且在用户输入购买y国的商品需求时,会通过高-英翻译模型将高棉语购买需求信息翻译为英语购买需求信息,并筛选出与英语购买需求信息匹配的商品作为待展示商品,而由于待展示商品信息是y国的商品,相关的商品信息也是英语商品信息,故还需要通过英-高翻译模型将待展示商品信息的英文商品信息翻译为高棉语商品信息,最后通过展示页面向该用户进行展示,从而实现该用户可以根据购买需求购买到y国的商品。
320.此外,在一些服务于较多国家的跨境平台中,为了能够方便各个国家的用户进行交互,可以根据涉及到的全部语言类型,通过上述模型训练方法训练出大量的两两之间互
译的翻译模型,使得各个国家之间的语言都可以相互翻译,从而方便各个国家的用户在跨境平台进行有效的交互,进一步提高了用户的体验效果。
321.本说明书一实施例提供的第二种翻译模型训练方法,通过获取第一语料和第二语料后,利用第一翻译模型和第二翻译模型对所述第一语料和第二语料进行翻译获得第三语料和第四语料,再引入第一语料编辑模型对第一语料及其翻译后获得的第三语料进行语料编辑,同时引入第二语料编辑模型对第二语料及其翻译后获得的第四语料进行语料编辑,获得第一编辑语料和第二编辑语料,最后以第一语料和第一编辑语料为样本,对第二翻译模型进行训练,同时以第二语料和第二编辑语料为样本,对第一翻译模型进行训练,获得所述第二目标翻译模型和所述第一目标翻译模型,通过引入第一语料编辑模型和第二语料编辑模型对训练第一翻译模型和第二翻译模型的训练样本进行校正,实现了无需借用人力即可完成训练样本的校正,并且相比于人工标注的方式效率要更快,不仅可以加快训练符合目标领域的翻译模型,同时可以有效的提高目标领域的翻译模型的翻译准确度,通过同时对两种翻译模型进行训练,可以节省训练成本的同时,更进一步的提高了模型训练的效率。
322.本技术提供的第二种翻译模型训练装置实施例如下:
323.与上述方法实施例相对应,本说明书还提供了第二种翻译模型训练装置实施例,图7示出了本说明书一实施例提供的第二种翻译模型训练装置的结构示意图。如图7所示,该装置包括:
324.获取模块702,被配置为获取第一语料和第二语料;
325.翻译模块704,被配置为利用第一翻译模型将所述第一语料翻译为第三语料,并利用第二翻译模型将所述第二语料翻译为第四语料;
326.编辑模块706,被配置为将所述第一语料和所述第三语料输入第一语料编辑模型进行语料编辑,获得第一编辑语料,并将所述第二语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得第二编辑语料;
327.训练模块708,被配置为以所述第一语料和所述第一编辑语料为训练样本,将所述第二翻译模型训练为第二目标翻译模型,并以所述第二语料和所述第二编辑语料为训练样本,将所述第一翻译模型训练为第一目标翻译模型。
328.一个可选的实施例中,所述第二翻译模型与所述第一翻译模型互为反向翻译模型;
329.和/或,
330.所述第一语料与所述第二语料互为源语料与目标语料。
331.一个可选的实施例中,所述第一语料编辑模型,采用如下方式进行训练:
332.利用所述第一翻译模型对所述第四语料进行翻译,获得第五语料;
333.以所述第二语料、所述第四语料和所述第五语料为训练样本,对第一待训练语料编辑模型进行训练,获得所述第一语料编辑模型。
334.一个可选的实施例中,所述第二语料编辑模型,采用如下方式进行训练:
335.将所述第三语料输入所述第二翻译模型进行翻译,获得第六语料;
336.以所述第一语料、所述第三语料和所述第六语料为训练样本,对第二待训练语料编辑模型进行训练,获得所述第二语料编辑模型。
337.一个可选的实施例中,所述翻译模型训练方法采用迭代的方式执行;
338.其中,在迭代过程中,将前次迭代执行后训练获得的第二目标翻译模型作为后次迭代执行过程中的第二翻译模型;
339.将前次迭代执行后训练获得的第一目标翻译模型作为后次迭代执行过程中的第一翻译模型。
340.一个可选的实施例中,在所述迭代过程中,
341.将前次迭代执行后训练获得的第一语料编辑模型作为后次迭代执行过程中的第一语料编辑模型;
342.将前次迭代执行后训练获得的第二语料编辑模型作为后次迭代执行过程中的第二语料编辑模型。
343.一个可选的实施例中,所述迭代的迭代终止条件包括:
344.前次迭代执行后训练获得的第一目标翻译模型相比前次迭代执行后训练获得的第一目标翻译模型满足第一迭代终止条件;
345.和/或,
346.前次迭代执行后训练获得的第二目标翻译模型相比前次迭代执行后训练获得的第二目标翻译模型满足第二迭代终止条件。
347.一个可选的实施例中,所述编辑模块706,包括:
348.第一向量化处理单元,被配置为对所述第一语料和所述第三语料进行向量化处理,获得所述第一语料的第一词向量和所述第三语料的第三词向量;
349.第一编码单元,被配置为由所述第一语料编辑模型包含的第一编码单元将所述第一词向量编码为第一编码向量,以及,由所述第一语料编辑模型包含的第二编码单元将所述第三词向量编码为第三编码向量;
350.第一解码单元,被配置为由所述第一语料编辑模型包含的解码单元对所述第一编码向量和所述第三编码向量进行解码处理,获得所述第一编辑语料。
351.一个可选的实施例中,所述编辑模块706,包括:
352.第二向量化处理单元,被配置为对所述第二语料和所述第四语料进行向量化处理,获得所述第四语料的第二词向量和所述第四语料的第四词向量;
353.第二编码单元,被配置为由所述第二语料编辑模型包含的第一编码单元将所述第二词向量编码为第二编码向量,以及,由所述第二语料编辑模型包含的第二编码单元将所述第四词向量编码为第四编码向量;
354.第二解码单元,被配置为由所述第二语料编辑模型包含的解码单元对所述第二编码向量和所述第四编码向量进行解码处理,获得所述第二编辑语料。
355.一个可选的实施例中,所述第一语料和所述第二语料为目标领域的语料,所述第一翻译模型和/或所述第二翻译模型,为所述目标领域之外的非目标领域的翻译模型。
356.一个可选的实施例中,所述第一语料为源语料,所述第二语料为目标语料,
357.所述第三语料为目标译文语料,所述第四语料为源译文语料;
358.或者,
359.所述第一语料为目标语料,所述第二语料为源语料,
360.所述第三语料为源译文语料,所述第四语料为目标译文语料。
361.本实施例提供的第二种翻译模型训练装置,通过获取第一语料和第二语料后,利
用第一翻译模型和第二翻译模型对所述第一语料和第二语料进行翻译获得第三语料和第四语料,再引入第一语料编辑模型对第一语料及其翻译后获得的第三语料进行语料编辑,同时引入第二语料编辑模型对第二语料及其翻译后获得的第四语料进行语料编辑,获得第一编辑语料和第二编辑语料,最后以第一语料和第一编辑语料为样本,对第二翻译模型进行训练,同时以第二语料和第二编辑语料为样本,对第一翻译模型进行训练,获得所述第二目标翻译模型和所述第一目标翻译模型,通过引入第一语料编辑模型和第二语料编辑模型对训练第一翻译模型和第二翻译模型的训练样本进行校正,实现了无需借用人力即可完成训练样本的校正,并且相比于人工标注的方式效率要更快,不仅可以加快训练符合目标领域的翻译模型,同时可以有效的提高目标领域的翻译模型的翻译准确度,通过同时对两种翻译模型进行训练,可以节省训练成本的同时,更进一步的提高了模型训练的效率。
362.上述为本实施例的第二种翻译模型训练装置的示意性方案。需要说明的是,该翻译模型训练装置的技术方案与上述的第二种翻译模型训练方法的技术方案属于同一构思,翻译模型训练装置的技术方案未详细描述的细节内容,均可以参见上述第二种翻译模型训练方法的技术方案的描述。
363.本技术提供的第三种翻译模型训练方法实施例如下:
364.图8示出了根据本说明书一实施例提供的第三种翻译模型训练方法的流程图,具体包括以下步骤:
365.步骤s802,获取互为源语料和目标语料的多种语料。
366.本说明书一实施例提供的第二种翻译模型训练方法,为了能够有效的提高针对语料进行翻译的翻译准确度,通过获取互为源语料的目标语料的多种语料,利用多个翻译模型对其进行翻译处理获得多个译文语料,再引入语料编辑模型对所述多种语料和所述多种译文语料中互为语料与译文语料的语料对进行编辑处理,获得多种编辑语料,最后以多种编辑语料和多种语料作为样本对多个翻译模型进行训练,获得多个目标翻译模型,通过引入多种语料编辑模型对训练多种翻译模型的训练样本进行校正,实现了无需借用人力即可完成训练样本的校正,并且相比于人工标注的方式效率要更快,不仅可以加快训练翻译模型的效率,同时可以有效的提高训练完成的翻译模型的翻译准确度,并且源语料中的任意语料之间都可以互相翻译,翻译精准度具有显著的提升。
367.实际应用中,所述多种语料具体是指大于等于三种语料的情况,本实施例将以所述多种语料中包含中文语料、英文语料和韩文语料对所述第三种翻译模型训练方法进行描述,大于三种语料的情况可以参见本实施以及上述两个实施例的相关描述内容,本技术在此不作过多赘述,具体的训练过程可以与上述实施例相互参见。
368.步骤s804,利用所述多种语料对应的多个翻译模型,将所述多种语料翻译为多个译文语料。
369.具体的,所述多个翻译模型互为反向翻译模型,并且均为多种语料所属的领域外的翻译模型或待训练的初始翻译模型,需要对多个翻译模型进行训练,使得训练完成的多个翻译模型可以应用于多种语料所属的领域;
370.基于此,所述多种语料中包含中文语料a_in、英文语料b_in和韩文语料c_in的情况下,需要训练六种翻译模型,分别是中英翻译模型,英中翻译模型,中韩翻译模型,韩中翻译模型,英韩翻译模型,韩英翻译模型,其中,任意一种翻译模型的训练过程均可参见上述
第一种翻译模型训练方法中相应的描述内容;在确定语料之后,将中文语料a_in分别输入中英翻译模型和中韩翻译模型,获得译文语料分别是译英文语料b1_in和译韩文语料c1_in;将英文语料b_in分别输入英中翻译模型和英韩翻译模型,获得译文语料分别是译中文语料a1_in和译韩文语料c2_in;将韩文语料c_in分别输入韩中翻译模型和韩英翻译模型,获得译文语料分别是译中文语料a2_in和译英文语料b2_in。
371.步骤s806,根据所述多种语料和所述多种译文语料中互为语料与译文语料的语料对,将所述语料对输入对应的语料编辑模型进行语料编辑,获得多种编辑语料。
372.实际应用中,将中文语料a_in和译英文语料b1_in输入第一语料编辑模型,获得第一编辑语料b1*_in,将中文语料a_in和译韩文语料c1_in输入第二语料编辑模型,获得第二编辑语料c1*_in;将英文语料b_in和译中文语料a1_in输入第三语料编辑模型,获得第三编辑语料a1*_in,将英文语料b_in和译韩文语料c2_in输入第四语料编辑模型,获得第四编辑语料c2*_in;将韩文语料c_in和译中文语料a2_in输入第五语料编辑模型,获得第五编辑语料a2*_in,将韩文语料c_in和译英文语料b2_in输入第六语料编辑模型,获得第六编辑语料b2*_in;此外,所述语料编辑模型的结构如图3所示。
373.步骤s808,以所述多种语料和所述多种编辑语料中互为语料与译文语料的语料对为训练样本,将所述多个翻译模型训练为多个目标翻译模型。
374.实际应用中,以中文语料a_in和第一编辑语料b1*_in为训练样本,对英中翻译模型进行训练,获得目标英中翻译模型,以中文语料a_in和第二编辑语料c1*_in为训练样本对韩中翻译模型进行训练,获得目标韩中翻译模型;以英文语料b_in和第三编辑语料a1*_in为训练样本,对中英翻译模型进行训练,获得目标中英翻译模型,以英文语料b_in和第四编辑语料c2*_in为训练样本,对韩英翻译模型进行训练,获得目标韩英翻译模型;将韩文语料c_in和第五编辑语料a2*_in为训练样本,对中韩翻译模型进行训练,获得目标中韩翻译模型,将韩文语料c_in和第六编辑语料b2*_in为训练样本,对英韩翻译模型进行训练,获得目标英韩翻译模型。
375.此外,所述多种语料编辑模型的编辑处理过程和训练过程,以及对多种翻译模型进行训练所采用的迭代方法均可参见上述实施例相关的描述内容,本实施例在此不作过多赘述。
376.本实施例提供的第三种翻译模型训练方法,通过获取互为源语料的目标语料的多种语料,利用多个翻译模型对其进行翻译处理获得多个译文语料,再引入语料编辑模型对所述多种语料和所述多种译文语料中互为语料与译文语料的语料对进行编辑处理,获得多种编辑语料,最后以多种编辑语料和多种语料作为样本对多个翻译模型进行训练,获得多个目标翻译模型,通过引入多种语料编辑模型对训练多种翻译模型的训练样本进行校正,实现了无需借用人力即可完成训练样本的校正,并且相比于人工标注的方式效率要更快,不仅可以加快训练翻译模型的效率,同时可以有效的提高训练完成的翻译模型的翻译准确度,并且源语料中的任意语料之间都可以互相翻译,翻译精准度具有显著的提升。
377.本技术提供的第三种翻译模型训练装置实施例如下:
378.与上述方法实施例相对应,本说明书还提供了第三种翻译模型训练装置实施例,图9示出了本说明书一实施例提供的第三种翻译模型训练装置的结构示意图。如图9所示,该装置包括:
379.获取模块902,被配置为获取互为源语料和目标语料的多种语料;
380.翻译模块904,被配置为利用所述多种语料对应的多个翻译模型,将所述多种语料翻译为多个译文语料;所述多个翻译模型互为反向翻译模型;
381.编辑模块906,被配置为根据所述多种语料和所述多种译文语料中互为语料与译文语料的语料对,将所述语料对输入对应的语料编辑模型进行语料编辑,获得多种编辑语料;
382.训练模块908,被配置为以所述多种语料和所述多种编辑语料中互为语料与译文语料的语料对为训练样本,将所述多个翻译模型训练为多个目标翻译模型。
383.本实施例提供的第三种翻译模型训练装置,通过获取互为源语料的目标语料的多种语料,利用多个翻译模型对其进行翻译处理获得多个译文语料,再引入语料编辑模型对所述多种语料和所述多种译文语料中互为语料与译文语料的语料对进行编辑处理,获得多种编辑语料,最后以多种编辑语料和多种语料作为样本对多个翻译模型进行训练,获得多个目标翻译模型,通过引入多种语料编辑模型对训练多种翻译模型的训练样本进行校正,实现了无需借用人力即可完成训练样本的校正,并且相比于人工标注的方式效率要更快,不仅可以加快训练翻译模型的效率,同时可以有效的提高训练完成的翻译模型的翻译准确度,并且源语料中的任意语料之间都可以互相翻译,翻译精准度具有显著的提升。
384.上述为本实施例的第三种翻译模型训练装置的示意性方案。需要说明的是,该翻译模型训练装置的技术方案与上述的第三种翻译模型训练方法的技术方案属于同一构思,翻译模型训练装置的技术方案未详细描述的细节内容,均可以参见上述第三种翻译模型训练方法的技术方案的描述。
385.图10示出了根据本说明书一实施例提供的第一种计算设备1000的结构框图。该计算设备1000的部件包括但不限于存储器1010和处理器1020。处理器1020与存储器1010通过总线1030相连接,数据库1050用于保存数据。
386.计算设备1000还包括接入设备1040,接入设备1040使得计算设备1000能够经由一个或多个网络1060通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备1040可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。
387.在本说明书的一个实施例中,计算设备1000的上述部件以及图10中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图10所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
388.计算设备1000可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备1000还可以是移动式或静止式的服务器。
389.其中,处理器1020用于执行如下计算机可执行指令:
390.获取目标领域的第一语料;
391.利用第一翻译模型对所述第一语料进行翻译,获得第二语料;
392.将所述第一语料和所述第二语料输入语料编辑模型,进行语料编辑,获得所述第二语料的编辑语料;
393.以所述第一语料和所述编辑语料为训练样本,对第二翻译模型进行训练,获得所述目标领域的目标翻译模型。
394.上述为本实施例的第一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的第一种翻译模型训练方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述第一种翻译模型训练方法的技术方案的描述。
395.图11示出了根据本说明书一实施例提供的第二种计算设备1100的结构框图。该计算设备1100的部件包括但不限于存储器1110和处理器1120。处理器1120与存储器1110通过总线1130相连接,数据库1150用于保存数据。
396.计算设备1100还包括接入设备1140,接入设备1140使得计算设备1100能够经由一个或多个网络1160通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备1140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。
397.在本说明书的一个实施例中,计算设备1100的上述部件以及图11中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图11所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
398.计算设备1100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备1100还可以是移动式或静止式的服务器。
399.其中,处理器1120用于执行如下计算机可执行指令:
400.获取第一语料和第二语料;
401.利用第一翻译模型将所述第一语料翻译为第三语料,并利用第二翻译模型将所述第二语料翻译为第四语料;
402.将所述第一语料和所述第三语料输入第一语料编辑模型进行语料编辑,获得第一编辑语料,并将所述第二语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得第二编辑语料;
403.以所述第一语料和所述第一编辑语料为训练样本,将所述第二翻译模型训练为第二目标翻译模型,并以所述第二语料和所述第二编辑语料为训练样本,将所述第一翻译模型训练为第一目标翻译模型。
404.上述为本实施例的第二种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的第二种翻译模型训练方法的技术方案属于同一构思,计算设备的技术方
案未详细描述的细节内容,均可以参见上述第二种翻译模型训练方法的技术方案的描述。
405.图12示出了根据本说明书一实施例提供的第三种计算设备1200的结构框图。该计算设备1200的部件包括但不限于存储器1210和处理器1220。处理器1220与存储器1210通过总线1230相连接,数据库1250用于保存数据。
406.计算设备1200还包括接入设备1240,接入设备1240使得计算设备1200能够经由一个或多个网络1260通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备1140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。
407.在本说明书的一个实施例中,计算设备1200的上述部件以及图12中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图12所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
408.计算设备1200可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备1200还可以是移动式或静止式的服务器。
409.其中,处理器1220用于执行如下计算机可执行指令:
410.获取互为源语料和目标语料的多种语料;
411.利用所述多种语料对应的多个翻译模型,将所述多种语料翻译为多个译文语料;所述多个翻译模型互为反向翻译模型;
412.根据所述多种语料和所述多种译文语料中互为语料与译文语料的语料对,将所述语料对输入对应的语料编辑模型进行语料编辑,获得多种编辑语料;
413.以所述多种语料和所述多种编辑语料中互为语料与译文语料的语料对为训练样本,将所述多个翻译模型训练为多个目标翻译模型。
414.上述为本实施例的第三种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的第三种翻译模型训练方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述第三种翻译模型训练方法的技术方案的描述。
415.本说明书一实施例还提供第一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
416.获取目标领域的第一语料;
417.利用第一翻译模型对所述第一语料进行翻译,获得第二语料;
418.将所述第一语料和所述第二语料输入语料编辑模型,进行语料编辑,获得所述第二语料的编辑语料;
419.以所述第一语料和所述编辑语料为训练样本,对第二翻译模型进行训练,获得所述目标领域的目标翻译模型。
420.上述为本实施例的第一种计算机可读存储介质的示意性方案。需要说明的是,该
存储介质的技术方案与上述的第一种翻译模型训练方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述第一种翻译模型训练方法的技术方案的描述。
421.本说明书一实施例还提供第二种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
422.获取第一语料和第二语料;
423.利用第一翻译模型将所述第一语料翻译为第三语料,并利用第二翻译模型将所述第二语料翻译为第四语料;
424.将所述第一语料和所述第三语料输入第一语料编辑模型进行语料编辑,获得第一编辑语料,并将所述第二语料和所述第四语料输入第二语料编辑模型,进行语料编辑,获得第二编辑语料;
425.以所述第一语料和所述第一编辑语料为训练样本,将所述第二翻译模型训练为第二目标翻译模型,并以所述第二语料和所述第二编辑语料为训练样本,将所述第一翻译模型训练为第一目标翻译模型。
426.上述为本实施例的第二种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的第二种翻译模型训练方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述第二种翻译模型训练方法的技术方案的描述。
427.本说明书一实施例还提供第三种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时以用于:
428.获取互为源语料和目标语料的多种语料;
429.利用所述多种语料对应的多个翻译模型,将所述多种语料翻译为多个译文语料;所述多个翻译模型互为反向翻译模型;
430.根据所述多种语料和所述多种译文语料中互为语料与译文语料的语料对,将所述语料对输入对应的语料编辑模型进行语料编辑,获得多种编辑语料;
431.以所述多种语料和所述多种编辑语料中互为语料与译文语料的语料对为训练样本,将所述多个翻译模型训练为多个目标翻译模型。
432.上述为本实施例的第三种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的第三种翻译模型训练方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述翻译模型训练方法的技术方案的描述。
433.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
434.所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储
器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
435.需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书并不受所描述的动作顺序的限制,因为依据本说明书,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书所必须的。
436.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
437.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献