一种运用辅助记忆的多样性机器翻译方法

技术特征：
1.一种运用辅助记忆的多样性机器翻译方法，其特征在于，该方法包括如下步骤：步骤一：建立目标语言上的单语料库和源语言与目标语言对应的双语料库；步骤二：构建和预训练双编码器检索模型；将所有源语言与目标语言分别转换成对应的词嵌入表示后，分别输入检索模型的两个attention编码器提取特征和编码，将源语言与目标语言的语义编码进行内积运算，然后通过最大内积搜索快速搜索得到m个最接近源语言语义编码的目标语言语义编码，根据源语言和目标语言是否是对应句对构建损失函数来预训练检索模型，防止检索模型冷启动；步骤三：构建多样化机器翻译模型，在典型transformer机器翻译模型的基础上，并在解码阶段通过cross-attention融合检索模型获得的辅助记忆，根据辅助记忆指导生成多个多样性目标文本；对于每个源语言文本，通过检索模型检索出单语料库中m个最接近的目标文本编码，以此在transformer模型解码阶段通过cross-attention融合，即将典型机器翻译模型transformer编码源语言和目标语言得到的语义信息作为query，检索出的目标文本编码作为key和value；cross-attention分数α的具体计算如下其中e∈[1，m]，i，j∈[1，l
e
]；h
t
表示在翻译过程中第t个时间步时，transformer模型提取的源文本与目标文本的潜变量表示，z
e
表示第e个检索的与源文本最相似的目标文本编码，包括l
e
个token，f(x，z
e
)表示输入的源文本x与z
e
的相似度，β作为超参控制检索模型对翻译模型的影响大小，w
m
是模型的权重；每个检索出的目标语言语义编码z
e
分别指导典型机器翻译生成不同的翻译文本，以提高机器翻译的多样性和准确性；步骤四：确定多样性机器翻译模型的优化目标，训练运用辅助记忆的多样性机器翻译模型；不同于典型机器翻译模型，运用辅助记忆的多样性机器翻译模型的优化目标需要融合和同时训练检索模型，整体目标是同时提高检索模型和翻译模型的性能，其优化目标的公式描述为其中，y
*
是模型生成的翻译，x是输入句子，z
e
表示第e个检索的与源文本最相似的目标文本编码，f(x，z
e
)表示输入的源文本x与z
e
的相似度；将单语料库检索到的文本的相似度融入优化目标，采用adam算法优化，使检索模型参与反向梯度计算来更新参数；步骤五：训练完毕后，进行多样性翻译模型推理，即生成多个不同的翻译文本；transformer解码器通过检索的文本，源文本和之前预测的目标文本的所有token，预测下一个token的概率分布；以最大似然为准则求最优句子序列，采用改进的多样性束搜索算法得出最优的机器翻译输出。2.如权利要求1所述的运用辅助记忆的多样性机器翻译方法，其特征在于，所述的多样性机器翻译模型，具有如下结构：在检索模块中，源文本x和所有单语料库文本分别经过两个transformer的编码器得到其对应的特征编码矩阵e
src
(x)和e
tgt
(z
e
)，将特征编码矩阵进行内积计算得到相似度，f(x，z
e
)＝e
src
(x)
t
e
tgt
(z
e
)
ꢀꢀꢀꢀꢀ
(3)
通过最大内积搜索(maximum inner product search)快速搜索得到m个最接近源语言语义编码的目标语言语义编码{z1，z2，
…
，z
m
}以及对应的相似度{f(x，z1)，f(x，z2)，
…
，f(x，z
m
)}；翻译模块沿用典型transformer模型，由编码器一解码器框架构成；源文本x经过编码器提取特征表示，编码器由六层组合网络串联构成，每层依次包括multi-head attention层和全连接层；源文本经过编码后在解码器中，作为k和v与之前时间步预测得到的目标文本{y1，y2，
…
，y
t-1
}的编码作为q进行cross-attention计算得到此时间步t的中间状态表示h
t
，其中，表示缩放因子，防止计算过程数据溢出；在transformer解码时得到源文本与目标文本的中间状态表示h
t
后，以此作为q再与检索模块得到的特征编码z
e
进行cross-attention计算，融合单语料库信息，最终预测得到当前时间步的概率。3.如权利要求1所述的运用辅助记忆的多样性机器翻译方法，其特征在于，步骤五所述改进的多样性束搜索算法，包括如下步骤：步骤3.1：选取束的总数量b和分组数量g，保证b能整除g，使得每组保持同样数量的搜索束且不重叠，则每组中包括g＝b/g个束，设置多样性惩罚项来统计之前时间步所有选取的各个token的数量；步骤3.2：根据transformer解码器得到的当前时间步，词汇表中所有token的选择概率，将其复制成b束，并分成g组；步骤3.3：对于每组的g束，首先对第一组的g束进行典型束搜索，选取概率最大的g个token，得到第一组的g个候选token，据此更新多样性惩罚项，即将对应token数量加一；对第二组束，在选取概率最大的g个token之前，需要将token概率减去多样性惩罚项中统计对应token数量的λ倍，λ∈[0，1)控制多样性惩罚的程度；步骤3.4：汇总g组所有b束的token，作为当前时间步的搜索结果输入到transformer解码器进行下一时间步的预测，再根据步骤3.3进行多样性束搜索直到所有束遇到终止符＜eos＞或者达到预设的最大时间步。

技术总结
本发明公开了一种运用辅助记忆的多样性机器翻译方法，该方法具备翻译能力前，需要使用单语语料库预训练一个检索模型，然后在检索模型给出的记忆信息的辅助下，使用双语语料库训练一个翻译模型。在训练完成后，本发明就具备翻译出多样文本的能力。最后本发明通过改进的全局多样性束搜索方法预测出多个的翻译文本。本发明的创新点在于提取和检索单语料库数据，将其融入典型机器翻译框架，同时提出全局多样性束搜索方法进一步搜索和加强翻译文本的多样性，给出详细的推导算法，使得翻译模型能够借助单语料库信息进一步提高翻译的准确性和多样性。性和多样性。性和多样性。


技术研发人员：赵静 林奕初 张艺 孙仕亮
受保护的技术使用者：华东师范大学
技术研发日：2021.12.28
技术公布日：2022/5/5