基于文档上下文的神经机器翻译方法及装置与流程

技术特征：
1.一种基于文档上下文的神经机器翻译方法，其特征在于，包括：获取源语言语句；从所述源语言语句所在的上下文中选取多个候选辅助语句；将所述源语言语句分别与所述多个候选辅助语句组合并输入上下文评分器，得到多组评分；根据所述多组评分从所述多个候选辅助语句中确定目标辅助语句，所述目标辅助语句用于辅助翻译所述源语言语句；使用所述源语言语句和所述目标辅助语句进行神经机器翻译。2.根据权利要求1所述的基于文档上下文的神经机器翻译方法，其特征在于，所述将所述源语言语句分别与所述多个候选辅助语句组合并输入上下文评分器包括：使用特殊符号标记将所述源语言语句分别与所述多个候选辅助语句连接，构成多个实例；将所述多个实例输入所述上下文评分器中，所述上下文评分器包括两层变形金刚编码器，其中第一层变形金刚编码器的输出作为第二层变形金刚编码器的输入。3.根据权利要求2所述的基于文档上下文的神经机器翻译方法，其特征在于，所述根据将所述源语言语句分别与所述多个候选辅助语句组合并输入上下文评分器还包括：使用特殊符号标记将所述源语言语句与空文本语句连接，构成第一实例；将所述第一实例输入所述上下文评分器中。4.根据权利要求3所述的基于文档上下文的神经机器翻译方法，其特征在于，所述将所述源语言语句分别与所述多个候选辅助语句组合并输入上下文评分器，得到多组评分包括：根据所述第二层变形金刚编码器的输出使用评分函数计算得到每组的注意力评分；将每组的注意力评分进行归一化处理，得到注意力概率分布。5.根据权利要求4所述的基于文档上下文的神经机器翻译方法，其特征在于，所述根据所述多组评分从所述多个候选辅助语句中确定目标辅助语句包括：从所述多个候选辅助语句中确定概率高于第一概率的候选辅助语句作为目标辅助语句；其中，所述第一概率为所述第一实例对应的注意力概率。6.根据权利要求1所述的基于文档上下文的神经机器翻译方法，其特征在于，所述将所述源语言语句分别与所述多个候选辅助语句组合并输入上下文评分器之前还包括：对所述上下文评分器、神经机器翻译模型进行强化学习训练；其中，所述神经机器翻译模型包括两个共享训练参数的文档级神经机器翻译模型。7.根据权利要求6所述的基于文档上下文的神经机器翻译方法，其特征在于，所述对所述上下文评分器、神经机器翻译模型进行强化学习训练包括：将所述多个候选辅助语句中的任意一个语句与当前目标辅助语句分别输入两个所述文档级神经机器翻译模型；使用所述文档级神经机器翻译模型进行翻译，根据所述翻译的结果分别得到第一奖励值和第二奖励值；根据所述第一奖励值和第二奖励值进行梯度计算，并将梯度值分别反馈给所述上下文评分器、神经机器翻译模型进行训练。
8.根据权利要求7所述的基于文档上下文的神经机器翻译方法，其特征在于，所述使用所述文档级神经机器翻译模型进行翻译包括：用bleu算法评分进行翻译效果评判。9.根据权利要求6所述的基于文档上下文的神经机器翻译方法，其特征在于，所述对所述上下文评分器、神经机器翻译模型进行强化学习训练包括：在所述强化学习训练中，使用负对数似然函数作为所述源语言语句与翻译得到的目标语言语句之间的损失函数。10.根据权利要求9所述的基于文档上下文的神经机器翻译方法，其特征在于，所述对所述上下文评分器、神经机器翻译模型进行强化学习训练包括：将所述神经机器翻译模型训练的所述负对数似然函数与强化学习目标函数通过平衡因子进行结合，得到结合后的损失函数。11.一种基于文档上下文的神经机器翻译的系统，其特征在于，包括：获取模块，用于获取源语言语句；选取模块，用于从所述源语言语句所在的上下文中选取多个候选辅助语句；评分模块，用于将所述源语言语句分别与所述多个候选辅助语句组合并输入上下文评分器，得到多组评分；确定模块，用于根据所述多组评分从所述多个候选辅助语句中确定目标辅助语句，所述目标辅助语句用于辅助翻译所述源语言语句；翻译模块，用于使用所述源语言语句和所述目标辅助语句进行神经机器翻译。12.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1～10中任一项所述的方法。13.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～10中任一项所述的方法。14.一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现根据权利要求1～10中任一项所述的方法。

技术总结
本公开提供了一种基于文档上下文的神经机器翻译方法，应用于人工智能领域或其它领域，该神经机器翻译方法包括：获取源语言语句；从源语言语句所在的上下文中选取多个候选辅助语句；将源语言语句分别与多个候选辅助语句组合并输入上下文评分器，得到多组评分；根据多组评分从多个候选辅助语句中确定目标辅助语句，目标辅助语句用于辅助翻译源语言语句；使用源语言语句和目标辅助语句进行神经机器翻译。本公开还提供了一种基于文档上下文的神经机器翻译的系统、设备、存储介质和程序产品。存储介质和程序产品。存储介质和程序产品。


技术研发人员：张磊
受保护的技术使用者：中国工商银行股份有限公司
技术研发日：2022.03.15
技术公布日：2022/6/4