基于文本字形的机器翻译方法、装置、设备及存储介质与流程

本发明涉及机器翻译，具体涉及一种基于文本字形的机器翻译方法、装置、设备及存储介质。

背景技术：

1、当前基于深度神经网络的机器翻译技术取得了显著进步，在高资源语种间的机器翻译任务上已经达到了很好的翻译效果。深度神经网络机器翻译模型采用深度神经网络架构进行训练。

2、由于深度神经网络机器翻译模型的参数量大，需要大规模双语平行句对数据进行训练，这一条件在高资源语种上较易满足，但对于低资源语种而言，双语平行句对数据集的构建难度大、成本高，导致神经机器翻译模型在低资源语种翻译任务上因训练数据不足而难以达到理想的翻译效果。

3、相关技术中，机器翻译模型使用的字符向量是基于字符在文本中的上下文信息训练获得的，然而，基于字符向量的机器翻译方法在学习源语言和目标语言的字符向量表示时，通常将文本的字符词元以id编号的形式与其对应的词嵌入向量建立映射关系。

4、这种方式下，字符的表示能力受限，且对于训练数据中未出现的词元，无法获取对应的字符向量，致使模型翻译质量下降；对于存在书写错误的字符，难以进行自动去噪并纠正为符合上下文语义的向量表示，导致模型对输入噪声的鲁棒性较差。

技术实现思路

1、本发明提供了一种基于文本字形的机器翻译方法、装置、设备及存储介质，以解决相关技术机器翻译方法由于存在的词表限制、未登录词和拼写错误等瓶颈而导致机器翻译效果不佳的问题。

2、第一方面，本发明提供了一种文本字形的机器翻译方法，该机器翻译方法包括：

3、对待翻译的源语言文本进行分词处理，获得所述源语言文本的词元序列；

4、将所述词元序列转换为二值图像序列，并将所述二值图像序列输入预先训练好的机器翻译模型的残差网络，提取所述源语言文本的字形向量序列；

5、根据所述词元序列生成所述源语言文本的字符向量序列；

6、根据所述字形向量序列和字符向量序列，生成输入特征向量序列；

7、将所述输入特征向量序列输入所述机器翻译模型的端到端网络进行机器翻译，得到目标语言文本。

8、在一些实施例中，将所述词元序列转换为二值图像序列，包括：

9、对于所述词元序列中的每个词元，将该词元中的每个字符转换为固定尺寸的二值位图图像，得到该词元对应的图像序列，所述二值图像序列包括各词元的图像序列。

10、在一些实施例中，所述将所述二值图像序列输入预先训练好的机器翻译模型的残差网络，提取所述源语言文本的字形向量序列，包括：

11、将所述二值图像序列输入所述残差网络，通过由残差单元堆叠成的深度卷积网络提取每个字符的字形特征；

12、将每个字符的字行特征经全局平均池化和全连接层处理后，获得每个字符的字形向量，所述源语言文本的字形向量序列包括所述源语言文本中每个字符的字形向量。

13、在一些实施例中，所述根据所述词元序列生成所述源语言文本的字符向量序列，包括：

14、对于所述词元序列中的每个词元，根据该词元在预设词表中的索引获取该词元对应的字符向量，所述字符向量序列包括各词元对应的字符向量。

15、在一些实施例中，所述根据所述字形向量序列和字符向量序列，生成输入特征向量序列，包括：

16、将所述字形向量序列作为所述输入特征向量序列；或者，

17、将所述字形向量序列和所述字符向量序列进行特征融合，得到所述输入特征向量序列。

18、在一些实施例中，所述将所述字形向量序列和所述字符向量序列进行特征融合，得到所述输入特征向量序列，包括：

19、将所述字符向量序列与所述字形向量序列在通道维度上进行拼接，得到拼接向量序列；

20、将所述拼接向量序列输入全连接网络，通过所述全连接网络的线性变换和非线性激活函数对拼接特征进行融合，得到所述输入特征向量序列。

21、在一些实施例中，所述机器翻译模型通过以下训练方式训练得到：

22、获取训练数据集，每个训练数据包括源语言文本样本和目标语言文本样本；

23、对所述源语言文本样本和所述目标语言文本分别进行分词处理，得到源语言词元序列和目标语言词元序列；

24、将所述源语言词元序列和所述目标语言词元序列分别转换为对应的二值图像序列；

25、将源语言和目标语言的二值图像序列分别输入待训练的机器翻译模型的残差网络进行字形特征提取，得到源语言的字形向量序列和目标语言的字形向量序列；

26、分别根据所述源语言词元序列和所述目标语言词元序列生成源语言的字符向量序列和目标语言的字符向量序列；

27、根据源语言的字形向量序列和字符向量序列，生成源语言的输入特征向量序列，以及根据目标语言的字形向量序列和字符向量序列，生成目标语言的输入特征向量序列；

28、将源语言的输入特征向量序列输入所述机器翻译模型的端到端网络中编码器，将所述编码器的输出结果和目标语言的输入特征向量序列输入所述端到端网络中的解码器进行端到端机器翻译训练；

29、以最小化翻译损失函数为优化目标，通过反向传播算法同时更新所述机器翻译模型的模型参数，直至模型收敛得到训练好的机器翻译模型。

30、第二方面，本发明提供了一种机器翻译装置，该机器翻译装置包括：

31、分词单元，用于对待翻译的源语言文本进行分词处理，获得所述源语言文本的词元序列；

32、字形提取单元，用于将所述词元序列转换为二值图像序列，并将所述二值图像序列输入预先训练好的机器翻译模型的残差网络，提取所述源语言文本的字形向量序列；

33、字符处理单元，用于根据所述词元序列生成所述源语言文本的字符向量序列；

34、融合处理单元，用于根据所述字形向量序列和字符向量序列，生成输入特征向量序列；

35、翻译单元，用于将所述输入特征向量序列输入所述机器翻译模型的端到端网络进行机器翻译，得到目标语言文本。

36、第三方面，本发明提供了一种电子设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的机器翻译方法。

37、第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的机器翻译方法。

38、根据本发明提供的基于文本字形的机器翻译方法，采用残差网络从源语言文本中各词元的二值图像序列中提取各词源字符的深度字形特征，并通过根据字形向量与字符向量得到模型的输入特征向量序列，使得模型能够获得比字符向量更为丰富的输入表征，使模型对输入文本的理解更加准确，提高了机器翻译的准确率和鲁棒性；由于字形向量的生成仅依赖于字符的图像信息，而不依赖于其在训练数据中的出现频率，因此对于训练数据中未出现过的词元，能够根据其字形生成有效的向量表示，使其可以被模型正确处理和翻译，突破了词表规模的限制，有效解决了未登录词的瓶颈问题；在字符存在拼写错误的情况下，其字形通常仍与正确字符保持高度相似，模型能够通过字形向量从含有噪声的输入中提取到与实际词元接近的表征，实现自动纠错和去噪，增强了对拼写错误字符的纠错能力，使模型在面对含有书写错误的输入文本时，仍能维持较好的翻译质量；由于字形特征抽取基于词元的二值图像，而所有语言的字符均可转换为统一格式的二值图像，字形特征抽取过程不受语言语种的限制，可应用于各类语言的字符，支持任意语言对之间的机器翻译模型训练，具备良好的通用性，不局限于特定语种；能够利用文本的深度字符特征与字形特征，从有限数据中充分提取多维度特征信息用于翻译模型训练，从而在数据受限条件下取得更优的翻译效果，有利于低资源语种翻译模型的训练。