融合BERT与词嵌入双重表征的汉越神经机器翻译方法与流程

技术特征：
1.融合bert与词嵌入双重表征的汉越神经机器翻译方法，其特征在于：所述方法包括：step1、收集用于训练平行句对抽取模型的汉越平行语料；step2、收集已经预训练的中文bert预训练语言模型参数以及词典；step3、对源语言序列分别进行bert预训练语言模型预训练表征与词嵌入表征；step4、使用交叉注意力机制使经过bert预训练语言模型预训练的源语言序列表征受到词嵌入表征的约束，将经过bert预训练语言模型训练后的源语言序列表征和词嵌入表征进行拼接融合得到融合表征作为编码器的输入；step5、使用编码器使得融合表征中两种不同来源的表征达到深层动态交互融合；step6、利用bert预训练语言模型与词嵌入双重表征进行神经机器翻译模型的训练。2.根据权利要求1所述的融合bert与词嵌入双重表征的汉越神经机器翻译方法，其特征在于：所述step1中，运用爬虫技术在互联网收集了汉越双语平行句对，将收集后得到的数据进行了清洗以及tokenize处理，构建成了汉越双语平行句对的数据集，把该数据集作为实验训练、测试、验证数据。3.根据权利要求1所述的融合bert与词嵌入双重表征的汉越神经机器翻译方法，其特征在于：所述step2中，收集google发布的中文bert预训练语言模型参数以及词典，在pytorch框架下将模型参数和词典实例化为bert预训练语言模型。4.根据权利要求1所述的融合bert与词嵌入双重表征的汉越神经机器翻译方法，其特征在于：所述step3的具体步骤为：step3.1、对汉越单语语料根据bert预训练语言模型词典以及训练语料词典进行分词；step3.2、将两种分词后得到的本文id分别输入词嵌入以及bert预训练语言模型进行表征。5.根据权利要求1所述的融合bert与词嵌入双重表征的汉越神经机器翻译方法，其特征在于：所述step4的具体步骤为：step4.1、使用bert预训练语言模型表征和词嵌入表征进行交叉注意力机制计算，使用词嵌入表征作为查询条件，通过bert预训练语言模型表征计算得到注意力权重，之后用该权重和bert预训练语言模型表征进行计算，使bert预训练语言模型表征受到词嵌入表征约束；step4.2、将词嵌入表征进行自注意力机制计算，加强该表征内部联系；step4.3、将step4.1和step4.2得到的表征进行拼接得到融合表征。6.根据权利要求1所述的融合bert与词嵌入双重表征的汉越神经机器翻译方法，其特征在于：所述step5中，编码器设计自注意力机制使得融合表征中两种不同来源的表征进行深层动态交互融合。7.根据权利要求1所述的融合bert与词嵌入双重表征的汉越神经机器翻译方法，其特征在于：所述step6中，经过step5自注意力机制后得到的表征参与transformer模型的训练，实现将bert预训练语言模型与经过transformer语言模型训练的词嵌入部分的融合。

技术总结
本发明涉及融合BERT与词嵌入双重表征的汉越神经机器翻译方法，属于自然语言处理技术领域。本发明使用预训练语言模型和词嵌入分别对源语言序列进行表示学习，通过注意力机制建立两种表征之间的联系后进行拼接操作得到双重表征向量，再经过线性变换和自注意力机制，使词嵌入表征和预训练语言模型表征完全自适应融合在一起，得到对输入文本的充分表征，以此提高神经机器翻译模型性能。本发明提出的融合BERT与词嵌入双重表征的汉越神经机器翻译方法，解决了因为越南语是低资源语言而导致汉语与越南语的神经机器翻译的性能并不理想的问题，显著提高汉越神经机器翻译模型的质量。显著提高汉越神经机器翻译模型的质量。显著提高汉越神经机器翻译模型的质量。


技术研发人员：高盛祥 刘演 余正涛 毛存礼
受保护的技术使用者：昆明理工大学
技术研发日：2021.09.07
技术公布日：2022/1/7