神经机器翻译模型的确定方法、装置以及存储介质与流程

1.本技术涉及人工智能技术领域，具体而言，涉及一种神经机器翻译模型的确定方法、装置以及存储介质。


背景技术：

2.机器翻译技术被广泛应用于诸多方面，例如，金融方面或者其他方面，nmt模型需要大量的数据集(平行语料库)进行训练，但是在一些场景下很难获取大规模的平行语料库，比如金融领域的平行语料库的数据量不够多，不能满足训练金融领域文本翻译模型的训练需求。使用人工翻译来获取平行语料库的成本又比较高昂。
3.利用单语语料库提升双语nmt(神经机器翻译)模型是一种有效的方法。目前，回译(bt)技术是一种利用单语语料库训练nmt模型最有效的方法之一。它利用把目标语言翻译成源语言的翻译模型，把目标语言的单语语料库翻译成源语言，由此生成了伪平行语料库，然后用于训练nmt模型。但采用回译方法训练nmt模型比较浪费时间，而且在语料库资源较少的语言中，该方法导致训练nmt模型的效果较差。
4.针对相关技术中训练nmt模型效果较差的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本技术的主要目的在于提供一种神经机器翻译模型的确定方法、装置以及存储介质，以解决相关技术中训练nmt模型效果较差的问题。
6.为了实现上述目的，根据本技术的一个方面，提供了一种神经机器翻译模型的确定方法。该方法包括：获取目标语料库，其中，目标语料库至少包括：平行语料库、源语言单语语料库、目标语言单语语料库；通过目标语料库分别对目标模型进行训练，得到多个训练结果，其中，目标模型包括：翻译任务模型、第一去燥任务模型、第二去燥任务模型，其中，多个训练结果包括：第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息；将多个训练结果进行叠加，得到目标交叉熵信息；根据目标交叉熵信息确定神经机器翻译模型。
7.进一步地，通过目标语料库分别对目标模型进行训练，得到多个训练结果包括：获取平行语料库中的目标平行语句；采用目标平行语句对翻译任务模型进行训练，得到第一交叉熵信息。
8.进一步地，通过目标语料库分别对目标模型进行训练，得到多个训练结果包括：获取源语言单语语料库中的目标单词；将目标单词替换为目标标记，其中，目标标记用于标识目标单词；采用目标标记对第一去燥任务模型进行训练，得到第二交叉熵信息。
9.进一步地，在通过目标语料库分别对目标模型进行训练，得到多个训练结果之前，该方法还包括：获取目标语言单语语料库中的目标语言语句；按照预设采样规则对目标语言语句中的采样单词进行删除或者空白标记，得到第一目标语句；以及，按照预设采样规则对目标语言语句中的采样语句进行顺序转换，得到第二目标语句。
10.进一步地，通过目标语料库分别对目标模型进行训练，得到多个训练结果包括：获
取第一目标语句以及第二目标语句；采用第一目标语句以及第二目标语句对第二去燥任务模型进行训练，得到第三交叉熵信息。
11.进一步地，将多个训练结果进行叠加，得到目标交叉熵信息包括：将第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息进行叠加，得到目标交叉熵信息。
12.进一步地，在根据目标交叉熵信息确定神经机器翻译模型之后，该方法还包括：计算第一去燥任务模型中的掩码率以及第二去燥任务模型的文本缺失率；根据掩码率以及文本缺失率确定目标噪声率；根据目标噪声率确定第一去燥任务模型与第二去燥任务模型的训练复杂度。
13.为了实现上述目的，根据本技术的另一方面，提供了一种神经机器翻译模型的确定装置。该装置包括：第一获取单元，用于获取目标语料库，其中，目标语料库至少包括：平行语料库、源语言单语语料库、目标语言单语语料库；训练单元，用于通过目标语料库分别对目标模型进行训练，得到多个训练结果，其中，目标模型包括：翻译任务模型、第一去燥任务模型、第二去燥任务模型，其中，多个训练结果包括：第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息；叠加单元，用于将多个训练结果进行叠加，得到目标交叉熵信息；第一确定单元，用于根据目标交叉熵信息确定神经机器翻译模型。
14.进一步地，训练单元包括：第一获取模块，用于获取平行语料库中的目标平行语句；第一训练模块，用于采用目标平行语句对翻译任务模型进行训练，得到第一交叉熵信息。
15.进一步地，训练单元包括：第二获取模块，用于获取源语言单语语料库中的目标单词；替换模块，用于将目标单词替换为目标标记，其中，目标标记用于标识目标单词；第二训练模块，用于采用目标标记对第一去燥任务模型进行训练，得到第二交叉熵信息。
16.进一步地，该装置还包括：第二获取单元，用于在通过目标语料库分别对目标模型进行训练，得到多个训练结果之前，获取目标语言单语语料库中的目标语言语句；处理单元，用于按照预设采样规则对目标语言语句中的采样单词进行删除或者空白标记，得到第一目标语句；以及，转换单元，用于按照预设采样规则对目标语言语句中的采样语句进行顺序转换，得到第二目标语句。
17.进一步地，训练单元包括：第三获取模块，用于获取第一目标语句以及第二目标语句；第三训练模块，用于采用第一目标语句以及第二目标语句对第二去燥任务模型进行训练，得到第三交叉熵信息。
18.进一步地，叠加单元包括：叠加模块，用于将第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息进行叠加，得到目标交叉熵信息。
19.进一步地，该装置还包括：计算单元，用于在根据目标交叉熵信息确定神经机器翻译模型之后，计算第一去燥任务模型中的掩码率以及第二去燥任务模型的文本缺失率；第二确定单元，用于根据掩码率以及文本缺失率确定目标噪声率；第三确定单元，用于根据目标噪声率确定第一去燥任务模型与第二去燥任务模型的训练复杂度。
20.根据本技术实施例的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，该计算机程序/指令被处理器执行时执行上述任意一项的方法。
21.根据本技术实施例的另一方面，还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时执行上述任意一项的方法。
22.通过本技术，采用以下步骤：获取目标语料库，其中，目标语料库至少包括：平行语料库、源语言单语语料库、目标语言单语语料库；通过目标语料库分别对目标模型进行训练，得到多个训练结果，其中，目标模型包括：翻译任务模型、第一去燥任务模型、第二去燥任务模型，其中，多个训练结果包括：第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息；将多个训练结果进行叠加，得到目标交叉熵信息；根据目标交叉熵信息确定神经机器翻译模型。解决了相关技术中训练nmt模型效果较差的问题。通过目标语料库分别对目标模型进行训练，并根据训练结果进一步确定神经机器翻译模型，进而达到了提升训练nmt模型效果的目的。
附图说明
23.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
24.图1是根据本技术实施例提供的神经机器翻译模型的确定方法的流程图；
25.图2是根据本技术实施例提供的神经机器翻译模型的确定方法的mlm掩码语言模型示意图；
26.图3是根据本技术实施例提供的神经机器翻译模型的确定方法的dae去噪自动编码器示意图；
27.图4是本技术实施例提供的神经机器的翻译方法的流程图；
28.图5是根据本技术实施例提供的神经机器翻译模型的确定装置的示意图；
29.图6是根据本技术实施例提供的神经机器翻译模型的确定电子设备的网络架构示意图。
具体实施方式
30.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
31.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
32.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.为了便于描述，以下对本技术实施例涉及的部分名词或术语进行说明：
34.机器翻译：是利用计算机实现自然语言翻译的技术。
35.神经机器翻译(nmt)：采用单一的神经网络来最大化机器翻译性能的技术。
36.掩码语言模型(mlm)：一种无向序列模型，可以利用文本的上下文内容来预测文本中缺失的单词，也被称为完形填空。
37.去噪自动编码器(dae)：一类接受损坏数据作为输入，并训练来预测原始未被损坏数据作为输入的自动编码器。
38.根据本技术的实施例一，提供了一种神经机器翻译模型的确定方法。
39.图1是根据本技术实施例的神经机器翻译模型的确定方法的流程图。如图1所示，该方法包括以下步骤：
40.步骤s101，获取目标语料库，其中，目标语料库至少包括：平行语料库、源语言单语语料库、目标语言单语语料库。
41.具体的，在nmt模型中，多任务学习的探索主要是通过词性标注、依存解析、语义解析等任务来注入语言知识，因此，需要充分利用目标语料库以对模型进行训练。
42.步骤s102，通过目标语料库分别对目标模型进行训练，得到多个训练结果，其中，目标模型包括：翻译任务模型、第一去燥任务模型、第二去燥任务模型，其中，多个训练结果包括：第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息。
43.具体的，多任务学习框架的主要是对翻译任务模型的训练，通过对翻译任务模型的训练，得到第一交叉熵信息。
44.可选地，在本技术实施例提供的神经机器翻译模型的确定方法中，通过目标语料库分别对目标模型进行训练，得到多个训练结果包括：获取平行语料库中的目标平行语句；采用目标平行语句对翻译任务模型进行训练，得到第一交叉熵信息。
45.具体的，使用平行语料库db进行训练，获取平行语料库中的目标平行语句，例如，可以将目标平行语句对用(x,y)表示，第一交叉熵损失l
mt
如公式(1)所示：
[0046][0047]
通过采用目标平行语句对翻译任务模型进行训练，进一步提升后续nmt模型的训练效果。
[0048]
可选地，在本技术实施例提供的神经机器翻译模型的确定方法中，通过目标语料库分别对目标模型进行训练，得到多个训练结果包括：获取源语言单语语料库中的目标单词；将目标单词替换为目标标记，其中，目标标记用于标识目标单词；采用目标标记对第一去燥任务模型进行训练，得到第二交叉熵信息。
[0049]
具体的，在mlm任务模型中(对应于本技术中的第一去燥任务模型)，将源语言单语语料库句子中的一些目标单词随机选择，并用[mask]标记(对应于本技术中的目标标记)替换输入第一去燥任务模型中，以使该模型会尝试基于上下文来预测[mask]标记所表示的单词，本技术通过引入mlm任务模型作为一个辅助任务模型来提升编码器对语言的表征质量，进一步提升nmt模型的训练效果。
[0050]
例如，如图2所示，在transformer模型的编码器中添加一个额外的输出层，使用使用单语语料库训练这个编码器，将训练后的数据进行解码，其中，预测[mask]标记的交叉熵损失由l
mlm
表示。通过模仿bert模型，在输入语句中随机采样rm％的单词或子词，然后把它们替换为[mask]标记，目的是生成含有[mask]标记的语料，用于完形填空任务的训练。其中，mlm的第二交叉熵信息的损失函数l
mlm
如公式(2)所示。其中m为被替换为[mask]的单词个数，mi为其中第i个单词。
[0051][0052]
可选地，在本技术实施例提供的神经机器翻译模型的确定方法中，在通过目标语料库分别对目标模型进行训练，得到多个训练结果之前，该方法还包括：获取目标语言单语语料库中的目标语言语句；按照预设采样规则对目标语言语句中的采样单词进行删除或者空白标记，得到第一目标语句；以及，按照预设采样规则对目标语言语句中的采样语句进行顺序转换，得到第二目标语句。
[0053]
具体的，在对第二去燥任务模型利用目标语言单语语料库进行训练之前，需要随机地(对应于本技术中的预设采样规则)从每个输入的目标语言语句中采样单词，它们被删除或者被空白标记替换，得到第一目标语句，并随机轻微地变换输入目标语言语句中的单词顺序，得到第二目标语句，其中，采用一个随机扰动σ，它满足条件n是输入语句的长度，k＝3是最大交换距离。
[0054]
可选地，在本技术实施例提供的神经机器翻译模型的确定方法中，通过目标语料库分别对目标模型进行训练，得到多个训练结果包括：获取第一目标语句以及第二目标语句；采用第一目标语句以及第二目标语句对第二去燥任务模型进行训练，得到第三交叉熵信息。
[0055]
例如，如图3所示，使用目标语言的单语语料库来训练模型，把目标语言语句输入第二去燥任务模型c中并进行编码器编码以及解码器解码，该模型尝试去复原原始的句子，本技术通过引入dae任务模型作为去噪自动编码器(dae)的训练，不断地从大规模单语语料库中学习，进一步提升nmt模型的训练效果。
[0056]
具体的，dae任务模型(对应于本技术中的第二去燥任务模型)利用有效的无监督nmt方法，给定一个单语语料库dm和一个随机噪声模型c，dae的目标是最小化重建损失，得到第三交叉熵信息的损失函数为l
dae
，如公式(3)所示：
[0057][0058]
步骤s103，将多个训练结果进行叠加，得到目标交叉熵信息。
[0059]
具体的，在本技术实施例提供的神经机器翻译模型的确定方法中，将多个训练结果进行叠加，得到目标交叉熵信息包括：将第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息进行叠加，得到目标交叉熵信息l，如公式(4)所示：
[0060]
l＝l
mt
l
mlm
l
dae
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0061]
具体的，通过上述步骤将多个训练结果进行叠加，减少了训练nmt模型的复杂程度，也能使nmt模型的表现有一定的提升。
[0062]
步骤s104，根据目标交叉熵信息确定神经机器翻译模型。
[0063]
具体的，本技术中根据目标交叉熵信息确定神经机器翻译模型后，在单语语料库不变的情况下，需要对mlm任务模型和dae任务模型的训练难度进行分析，其中，训练难度主要取决于噪声率，并采用动态噪声率用于去噪目标，逐渐增加任务的难度。
[0064]
可选地，在本技术实施例提供的神经机器翻译模型的确定方法中，在根据目标交叉熵信息确定神经机器翻译模型之后，该方法还包括：计算第一去燥任务模型中的掩码率以及第二去燥任务模型的文本缺失率；根据掩码率以及文本缺失率确定目标噪声率；根据目标噪声率确定第一去燥任务模型与第二去燥任务模型的训练复杂度。
[0065]
具体的，本技术引入了动态噪声率r(k)作为一个训练步的函数，如公式(5)所示：
[0066][0067]
其中，r0和rm是噪声率的最小值和最大值，m是噪声率增加的次数。噪声率r取决于mlm任务中的掩码率rm和dae任务中的文本缺失率rd，噪声率越大证明第一去燥任务模型与第二去燥任务模型的训练复杂度越大，在对目标模型训练过程中逐渐增加mlm任务模型和dae任务模型的训练难度，以提升对nmt模型的训练效果的目的。
[0068]
综上，本技术实施例提供的神经机器翻译模型的确定方法，通过获取目标语料库，其中，目标语料库至少包括：平行语料库、源语言单语语料库、目标语言单语语料库；通过目标语料库分别对目标模型进行训练，得到多个训练结果，其中，目标模型包括：翻译任务模型、第一去燥任务模型、第二去燥任务模型，其中，多个训练结果包括：第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息；将多个训练结果进行叠加，得到目标交叉熵信息；根据目标交叉熵信息确定神经机器翻译模型。解决了相关技术中训练nmt模型效果较差的问题。通过目标语料库分别对目标模型进行训练，并根据训练结果进一步确定神经机器翻译模型，进而达到了提升训练nmt模型效果的目的。
[0069]
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0070]
本技术实施例还提供了一种神经机器翻译模型的确定装置，需要说明的是，本技术实施例的神经机器翻译模型的确定装置可以用于执行本技术实施例所提供的用于神经机器翻译模型的确定方法。以下对本技术实施例提供的神经机器翻译模型的确定装置进行介绍。
[0071]
根据本技术实施例二，还提供了一种神经机器的翻译方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0072]
图4是本技术实施例提供的神经机器的翻译方法的流程图，如图4所示，该方法包括步骤s401-s402，其中：
[0073]
步骤s401，从目标语料库中获取待翻译的目标语句，其中，目标语句为以下至少之一：目标平行语句、目标单词、目标语言语句。
[0074]
步骤s402，将目标语句输入至神经机器翻译模型中进行翻译，得到目标语句对应的翻译结果。
[0075]
具体的，神经机器翻译模型是由以下步骤确定的：获取目标语料库，其中，目标语料库至少包括：平行语料库、源语言单语语料库、目标语言单语语料库；通过目标语料库分别对目标模型进行训练，得到多个训练结果，其中，目标模型包括：翻译任务模型、第一去燥任务模型、第二去燥任务模型，其中，多个训练结果包括：第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息；将多个训练结果进行叠加，得到目标交叉熵信息；根据目标交叉熵信息确定神经机器翻译模型。
[0076]
图5是根据本技术实施例的神经机器翻译模型的确定装置的示意图。如图5所示，
该装置包括：第一获取单元501、训练单元502、叠加单元503、第一确定单元504。
[0077]
具体的，第一获取单元501，用于获取目标语料库，其中，目标语料库至少包括：平行语料库、源语言单语语料库、目标语言单语语料库；
[0078]
训练单元502，用于通过目标语料库分别对目标模型进行训练，得到多个训练结果，其中，目标模型包括：翻译任务模型、第一去燥任务模型、第二去燥任务模型，其中，多个训练结果包括：第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息；
[0079]
叠加单元503，用于将多个训练结果进行叠加，得到目标交叉熵信息；
[0080]
第一确定单元504，用于根据目标交叉熵信息确定神经机器翻译模型。
[0081]
综上，本技术实施例提供的神经机器翻译模型的确定装置，通过第一获取单元501获取目标语料库，其中，目标语料库至少包括：平行语料库、源语言单语语料库、目标语言单语语料库；训练单元502通过目标语料库分别对目标模型进行训练，得到多个训练结果，其中，目标模型包括：翻译任务模型、第一去燥任务模型、第二去燥任务模型，其中，多个训练结果包括：第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息；叠加单元503将多个训练结果进行叠加，得到目标交叉熵信息；第一确定单元504根据目标交叉熵信息确定神经机器翻译模型，解决了相关技术中训练nmt模型效果较差的问题。通过目标语料库分别对目标模型进行训练，并根据训练结果进一步确定神经机器翻译模型，进而达到了提升训练nmt模型效果的目的。
[0082]
可选地，在本技术实施例提供的神经机器翻译模型的确定装置中，训练单元502包括：第一获取模块，用于获取平行语料库中的目标平行语句；第一训练模块，用于采用目标平行语句对翻译任务模型进行训练，得到第一交叉熵信息。
[0083]
可选地，在本技术实施例提供的神经机器翻译模型的确定装置中，训练单元502包括：第二获取模块，用于获取源语言单语语料库中的目标单词；替换模块，用于将目标单词替换为目标标记，其中，目标标记用于标识目标单词；第二训练模块，用于采用目标标记对第一去燥任务模型进行训练，得到第二交叉熵信息。
[0084]
可选地，在本技术实施例提供的神经机器翻译模型的确定装置中，该装置还包括：第二获取单元，用于在通过目标语料库分别对目标模型进行训练，得到多个训练结果之前，获取目标语言单语语料库中的目标语言语句；处理单元，用于按照预设采样规则对目标语言语句中的采样单词进行删除或者空白标记，得到第一目标语句；以及，转换单元，用于按照预设采样规则对目标语言语句中的采样语句进行顺序转换，得到第二目标语句。
[0085]
可选地，在本技术实施例提供的神经机器翻译模型的确定装置中，训练单元502包括：第三获取模块，用于获取第一目标语句以及第二目标语句；第三训练模块，用于采用第一目标语句以及第二目标语句对第二去燥任务模型进行训练，得到第三交叉熵信息。
[0086]
可选地，在本技术实施例提供的神经机器翻译模型的确定装置中，叠加单元503包括：叠加模块，用于将第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息进行叠加，得到目标交叉熵信息。
[0087]
可选地，在本技术实施例提供的神经机器翻译模型的确定装置中，该装置还包括：计算单元，用于在根据目标交叉熵信息确定神经机器翻译模型之后，计算第一去燥任务模型中的掩码率以及第二去燥任务模型的文本缺失率；第二确定单元，用于根据掩码率以及文本缺失率确定目标噪声率；第三确定单元，用于根据目标噪声率确定第一去燥任务模型
与第二去燥任务模型的训练复杂度。
[0088]
神经机器翻译模型的确定装置包括处理器和存储器，上述第一获取单元501、训练单元502、叠加单元503、第一确定单元504等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
[0089]
处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来进行神经机器翻译模型的确定。
[0090]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
[0091]
本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现神经机器翻译模型的确定方法。
[0092]
本发明实施例提供了一种处理器，处理器用于运行程序，其中，程序运行时执行神经机器翻译模型的确定方法。
[0093]
如图6所示，本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取目标语料库，其中，目标语料库至少包括：平行语料库、源语言单语语料库、目标语言单语语料库；通过目标语料库分别对目标模型进行训练，得到多个训练结果，其中，目标模型包括：翻译任务模型、第一去燥任务模型、第二去燥任务模型，其中，多个训练结果包括：第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息；将多个训练结果进行叠加，得到目标交叉熵信息；根据目标交叉熵信息确定神经机器翻译模型。
[0094]
处理器执行程序时还实现以下步骤：获取平行语料库中的目标平行语句；采用目标平行语句对翻译任务模型进行训练，得到第一交叉熵信息。
[0095]
处理器执行程序时还实现以下步骤：获取源语言单语语料库中的目标单词；将目标单词替换为目标标记，其中，目标标记用于标识目标单词；采用目标标记对第一去燥任务模型进行训练，得到第二交叉熵信息。
[0096]
处理器执行程序时还实现以下步骤：在通过目标语料库分别对目标模型进行训练，得到多个训练结果之前，获取目标语言单语语料库中的目标语言语句；按照预设采样规则对目标语言语句中的采样单词进行删除或者空白标记，得到第一目标语句；以及，按照预设采样规则对目标语言语句中的采样语句进行顺序转换，得到第二目标语句。
[0097]
处理器执行程序时还实现以下步骤：获取第一目标语句以及第二目标语句；采用第一目标语句以及第二目标语句对第二去燥任务模型进行训练，得到第三交叉熵信息。
[0098]
处理器执行程序时还实现以下步骤：将第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息进行叠加，得到目标交叉熵信息。
[0099]
处理器执行程序时还实现以下步骤：在根据目标交叉熵信息确定神经机器翻译模型之后，计算第一去燥任务模型中的掩码率以及第二去燥任务模型的文本缺失率；根据掩码率以及文本缺失率确定目标噪声率；根据目标噪声率确定第一去燥任务模型与第二去燥任务模型的训练复杂度。
[0100]
本文中的设备可以是服务器、pc、pad、手机等。
[0101]
本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初
始化有如下方法步骤的程序：获取目标语料库，其中，目标语料库至少包括：平行语料库、源语言单语语料库、目标语言单语语料库；通过目标语料库分别对目标模型进行训练，得到多个训练结果，其中，目标模型包括：翻译任务模型、第一去燥任务模型、第二去燥任务模型，其中，多个训练结果包括：第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息；将多个训练结果进行叠加，得到目标交叉熵信息；根据目标交叉熵信息确定神经机器翻译模型。
[0102]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：获取平行语料库中的目标平行语句；采用目标平行语句对翻译任务模型进行训练，得到第一交叉熵信息。
[0103]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：获取源语言单语语料库中的目标单词；将目标单词替换为目标标记，其中，目标标记用于标识目标单词；采用目标标记对第一去燥任务模型进行训练，得到第二交叉熵信息。
[0104]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在通过目标语料库分别对目标模型进行训练，得到多个训练结果之前，获取目标语言单语语料库中的目标语言语句；按照预设采样规则对目标语言语句中的采样单词进行删除或者空白标记，得到第一目标语句；以及，按照预设采样规则对目标语言语句中的采样语句进行顺序转换，得到第二目标语句。
[0105]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：获取第一目标语句以及第二目标语句；采用第一目标语句以及第二目标语句对第二去燥任务模型进行训练，得到第三交叉熵信息。
[0106]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：将第一交叉熵信息、第二交叉熵信息以及第三交叉熵信息进行叠加，得到目标交叉熵信息。
[0107]
当在数据处理设备上执行时，还适于执行初始化有如下方法步骤的程序：在根据目标交叉熵信息确定神经机器翻译模型之后，计算第一去燥任务模型中的掩码率以及第二去燥任务模型的文本缺失率；根据掩码率以及文本缺失率确定目标噪声率；根据目标噪声率确定第一去燥任务模型与第二去燥任务模型的训练复杂度。
[0108]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0109]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0110]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或
多个方框中指定的功能。
[0111]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0112]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0113]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
[0114]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0115]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0116]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0117]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。