一种语音翻译方法、装置和用于语音翻译的装置与流程

技术特征：
1.一种语音翻译方法，其特征在于，所述方法包括：确定待翻译的语音数据对应的音素序列和语音识别结果；对所述语音识别结果进行翻译处理，得到第一结果数据；对所述音素序列进行文本转换处理，得到第二结果数据；基于所述第一结果数据和所述第二结果数据确定所述语音数据对应的翻译结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述第一结果数据和所述第二结果数据确定所述语音数据对应的翻译结果，包括：对所述第一结果数据和所述第二结果数据进行加权求和，得到第三结果数据；基于所述第三结果数据确定所述语音数据对应的翻译结果。3.根据权利要求2所述的方法，其特征在于，所述对所述第一结果数据和所述第二结果数据进行加权求和，得到第三结果数据，包括：确定所述第一结果数据的第一系数和所述第二结果数据的第二系数；根据所述第一结果数据、所述第二结果数据、所述第一系数和所述第二系数，确定所述第二结果数据对应的权重控制参数；根据所述权重控制参数对所述第一结果数据和所述第二结果数据进行加权求和，得到第三结果数据。4.根据权利要求1所述的方法，其特征在于，所述确定待翻译的语音数据对应的音素序列和语音识别结果，包括：将待翻译的语音数据输入至语音识别系统中进行语音识别处理，得到所述语音数据对应的语音识别结果，所述语音识别系统包括声学模型和语言模型；提取所述声学模型的隐藏层状态；基于所述隐藏层状态和预设的音素状态表，确定所述语音数据对应的音素序列，所述音素状态表包含隐藏层状态与音素序列之间的映射关系。5.根据权利要求1所述的方法，其特征在于，所述对所述音素序列进行文本转换处理，得到第二结果数据，包括：基于音素预训练模型对预先构建的音素模型进行迭代训练，得到目标音素模型；基于目标音素模型对所述音素序列进行文本转换处理，得到第二结果数据。6.根据权利要求5所述的方法，其特征在于，所述基于音素预训练模型对预先构建的音素模型进行迭代训练，得到目标音素模型，包括：获取第一训练样本集和第二训练样本集，所述第一训练样本集包括预设数量级的文本序列，所述第二训练样本集包含真实音频对应的真实音素序列；基于所述第一训练样本集和音素预训练模型，生成第三训练样本集，所述第三训练样本集包括所述第一训练样本集中的各个文本序列，以及每个文本序列对应的音素序列；根据所述第三训练样本集对预先构建的音素模型进行迭代训练，得到第一音素模型；基于所述第二训练样本集对所述第一音素模型的模型参数进行调整，得到目标音素模型。7.根据权利要求6所述的方法，其特征在于，所述基于所述第一训练样本集和音素预训练模型，生成第三训练样本集，包括：根据文本序列与音素序列之间的映射关系，生成文本音素对应表；
基于所述文本音素对应表对预先构建的音素预训练模型进行迭代训练，得到训练完成的音素预训练模型；将所述第一训练样本集中的各个文本序列输入至训练完成的音素预训练模型中进行音素转换处理，得到所述第一训练样本集中各个文本序列对应的音素序列；根据所述第一训练样本集以及所述第一训练样本集中各个文本序列对应的音素序列，生成第三训练样本集。8.一种语音翻译装置，其特征在于，所述装置包括：语音识别结果确定模块，用于确定待翻译的语音数据对应的音素序列和语音识别结果；翻译处理模块，用于对所述语音识别结果进行翻译处理，得到第一结果数据；文本转换处理模块，用于对所述音素序列进行文本转换处理，得到第二结果数据；翻译结果确定模块，用于基于所述第一结果数据和所述第二结果数据确定所述语音数据对应的翻译结果。9.根据权利要求8所述的装置，其特征在于，所述翻译结果确定模块，包括：加权求和子模块，用于对所述第一结果数据和所述第二结果数据进行加权求和，得到第三结果数据；翻译结果确定子模块，用于基于所述第三结果数据确定所述语音数据对应的翻译结果。10.根据权利要求9所述的装置，其特征在于，所述加权求和子模块，包括：系数确定单元，用于确定所述第一结果数据的第一系数和所述第二结果数据的第二系数；权重控制参数确定单元，用于根据所述第一结果数据、所述第二结果数据、所述第一系数和所述第二系数，确定所述第二结果数据对应的权重控制参数；加权求和单元，用于根据所述权重控制参数对所述第一结果数据和所述第二结果数据进行加权求和，得到第三结果数据。11.根据权利要求8所述的装置，其特征在于，所述语音识别结果确定模块，包括：语音识别处理子模块，用于将待翻译的语音数据输入至语音识别系统中进行语音识别处理，得到所述语音数据对应的语音识别结果，所述语音识别系统包括声学模型和语言模型；隐藏层状态提取子模块，用于提取所述声学模型的隐藏层状态；音素序列确定子模块，用于基于所述隐藏层状态和预设的音素状态表，确定所述语音数据对应的音素序列，所述音素状态表包含隐藏层状态与音素序列之间的映射关系。12.根据权利要求8所述的装置，其特征在于，所述文本转换处理模块，包括：音素模型训练子模块，用于基于音素预训练模型对预先构建的音素模型进行迭代训练，得到目标音素模型；文本转换处理子模块，用于基于目标音素模型对所述音素序列进行文本转换处理，得到第二结果数据。13.根据权利要求12所述的装置，其特征在于，所述音素模型训练子模块，包括：训练样本集获取单元，用于获取第一训练样本集和第二训练样本集，所述第一训练样
本集包括预设数量级的文本序列，所述第二训练样本集包含真实音频对应的真实音素序列；第三训练样本集生成单元，用于基于所述第一训练样本集和音素预训练模型，生成第三训练样本集，所述第三训练样本集包括所述第一训练样本集中的各个文本序列，以及每个文本序列对应的音素序列；迭代训练单元，用于根据所述第三训练样本集对预先构建的音素模型进行迭代训练，得到第一音素模型；参数调整单元，用于基于所述第二训练样本集对所述第一音素模型的模型参数进行调整，得到目标音素模型。14.一种用于语音翻译的装置，其特征在于，所述装置包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如权利要求1至7中任一所述的语音翻译方法的指令。15.一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如权利要求1至7中任一所述的语音翻译方法。

技术总结
本发明实施例提供了一种语音翻译方法、装置和用于语音翻译的装置。所述方法包括：确定待翻译的语音数据对应的音素序列和语音识别结果；对所述语音识别结果进行翻译处理，得到第一结果数据；对所述音素序列进行文本转换处理，得到第二结果数据；基于所述第一结果数据和所述第二结果数据确定所述语音数据对应的翻译结果。本发明实施例降低了语音识别结果对翻译结果的影响，避免了语音翻译系统中的错误累计，故可以有效提升语音翻译系统整体的容错性和鲁棒性，提高翻译结果的准确度。提高翻译结果的准确度。提高翻译结果的准确度。


技术研发人员：薛海洋 张旭
受保护的技术使用者：北京搜狗科技发展有限公司
技术研发日：2021.09.29
技术公布日：2022/1/4