异构语言模型的训练方法、装置、设备及存储介质与流程

1.本技术涉及语音识别技术领域，尤其涉及一种异构语言模型的训练方法、装置、设备及存储介质。


背景技术：

2.自动语音识别(automatic speech recognition，asr)系统一种对语音进行识别，以得到语音对应的文本文字的系统。asr系统包括声学模型(acoustic model，am)和语言模型(language，model，lm)。其中，am用于根据语音，得到对应的拼音。lm为同构语言模型，其用于基于上述拼音，得到文本文字。
3.在相关技术中，通常采用语音数据集对初始lm进行训练，以得到上述asr系统中的lm。但是由于信息隐私限制，语音数据集中的语音样本数量较少，而且同构语言模型为一个n-gram模型或者一个深度神经网络(deep neural networks，dnn)，因此使得训练得到的lm的准确率较低(即通过lm得到的文本文字的准确率较低)。


技术实现要素：

4.本技术实施例提供一种异构语言模型的训练方法、装置、设备及存储介质，用以解决语言模型的准确率较低问题。
5.第一方面，本技术实施例提供一种异构语言模型的训练方法，包括：
6.获取语音训练样本集；
7.采用语音训练样本集，对第一初始网络模型和第二初始网络模型进行训练，得到至少两个第一网络模型和至少两个第二网络模型；第一网络模型和第二网络模型的结构不同，第一网络模型用于对输入的拼音序列进行处理得到拼音序列对应的至少一个文字序列，第二网络模型用于从至少一个文字序列中确定拼音序列对应的目标文字序列；
8.根据至少两个第一网络模型和至少两个第二网络模型，确定异构语言模型。
9.可选地，根据至少两个第一网络模型和至少两个第二网络模型，确定异构语言模型，包括：
10.根据至少两个第一网络模型和至少两个第二网络模型，确定至少四个第一语言模型；
11.获取语音验证样本集；
12.根据语音验证样本集，确定每个第一语言模型的错误率；
13.根据至少四个第一语言模型和错误率，确定异构语言模型。
14.可选地，根据至少两个第一网络模型和至少两个第二网络模型，确定至少四个第一语言模型，包括：
15.对至少两个第一网络模型和至少两个第二网络模型进行随机组合处理，得到至少四个第一语言模型。
16.可选地，根据至少两个第一网络模型和至少两个第二网络模型，确定至少四个第
一语言模型，包括：
17.针对每个第一网络模型，对第一网络模型的模型参数进行二进制转换处理，得到第一初始参数序列；对第一初始参数序列进行交叉处理和变异处理，得到至少两个第一中间参数列序；将第一网络模型的模型参数替换为至少两个第一中间参数列序对应的模型参数，得到第一网络模型对应的至少两个第三网络模型；
18.针对每个第二网络模型，对第二网络模型的模型参数进行二进制转换处理，得到第二初始参数序列；对第二初始参数序列进行交叉处理和变异处理，得到至少两个第二中间参数列序；将第二网络模型的模型参数替换为至少两个第二中间参数列序对应的模型参数，得到第二网络模型对应的至少两个第五网络模型；
19.对至少两个第一网络模型各自对应的至少两个第三网络模型和至少两个第二网络模型各自对应的至少两个第五网络模型进行随机组合处理，得到至少四个第一语言模型。
20.可选地，语音验证样本集中包括多个拼音验证样本和多个拼音验证样本各自对应的文字验证结果；针对至少四个第一语言模型中每个第一语言模型，第一语言模型中包括第一网络模型和第二网络模型；
21.根据语音验证样本集，确定第一语言模型的错误率，包括：
22.依次通过第一网络模型和第二网络模型，对多个拼音验证样本进行处理，得到多个拼音验证样本各自对应的文字输出结果；
23.将文字输出结果和文字验证结果不相同的拼音验证样本的数量与多个拼音验证样本的总数量的比值确定为第一语言模型的错误率。
24.可选地，根据至少四个第一语言模型和错误率，确定异构语言模型，包括：
25.判断至少四个第一语言模型中存在错误率小于预设值的第一语言模型；
26.若是，则将错误率小于预设值的第一语言模型，确定为异构语言模型；
27.若否，则获取至少四个第一语言模型中预设数量个第一语言模型的模型参数对应的第一模型参数序列，以得到预设数量个第一语言模型对应的至少一个第二语言模型，并根据多个第二语言模型和每个第二语言模型的错误率，确定异构语言模型。
28.可选地，根据至少两个第一网络模型和至少两个第二网络模型，确定异构语言模型，包括：
29.根据至少两个第一网络模型，确定第一目标网络模型，并根据至少两个第二网络模型，确定第二目标网络模型；
30.将第一目标网络模型和第二目标网络模型，确定为异构语言模型。
31.可选地，根据至少两个第一网络模型，确定第一目标网络模型，包括：
32.针对每个第一网络模型，对第一网络模型的模型参数进行二进制转换处理，得到第一初始参数序列；对第一初始参数序列进行交叉处理和变异处理，得到至少两个第一中间参数列序；将第一网络模型的模型参数替换为至少两个第一中间参数列序对应的模型参数，得到第一网络模型对应的至少两个第三网络模型；
33.根据多个第三网络模型，确定第一目标网络模型。
34.可选地，根据多个第三网络模型，确定第一目标网络模型，包括：
35.获取语音验证样本集；
36.根据语音验证样本集，确定每个第三网络模型的错误率；
37.根据多个第三网络模型和错误率，确定第一目标网络模型。
38.可选地，语音验证样本集中包括多个拼音验证样本和多个拼音验证样本各自对应的文字验证结果；
39.根据语音验证样本集，确定第三网络模型的错误率，包括：
40.依次通过第三网络模型和任一第二网络模型，对多个拼音验证样本进行处理，得到多个拼音验证样本各自对应的文字输出结果；
41.将文字输出结果和文字验证结果不相同的拼音验证样本的数量与多个拼音验证样本的总数量的比值确定为第三网络模型的错误率。
42.可选地，根据多个第三网络模型和错误率，确定第一目标网络模型，包括：
43.判断多个第三网络模型中存在错误率小于预设值的第三网络模型；
44.若是，则将错误率小于预设值的第三网络模型，确定为第一目标网络模型；
45.若否，则获取多个第三网络模型中预设数量个第三网络模型的模型参数对应的第一初始参数序列，以得到预设数量个第三网络模型各自对应的至少一个第四网络模型，并根据多个第四网络模型和每个第四网络模型的错误率，确定第一目标网络模型。
46.可选地，根据至少两个第一网络模型，确定第一目标网络模型，并根据至少两个第二网络模型，确定第二目标网络模型，包括：
47.通过权重生成模型，生成各第一网络模型的第一权重和各第二网络模型的第二权重；
48.根据第一权重，对各第一网络模型的模型参数进行融合，得到第一目标模型参数；根据第二权重，对各第二网络模型的模型参数进行融合，得到第二目标模型参数；
49.将第一网络模型的模型参数替换为第一目标模型参数，得到第一目标网络模型；将第二网络模型的模型参数替换为第二目标模型参数，得到第二目标网络模型。
50.可选地，方法还包括：
51.获取语音验证样本集；
52.根据语音验证样本集，确定异构语言模型的错误率，并根据错误率，确定奖励值；
53.根据奖励值，更新权重生成模型的模型参数，重新生成各第一网络模型的第一权重和各第二网络模型的第二权重，以得到新的异构语言模型。
54.可选地，语音训练样本集包括至少两个样本子集；采用语音训练样本集，对第一初始网络模型和第二初始网络模型进行训练，得到至少两个第一网络模型和至少两个第二网络模型，包括：
55.分别采用至少两个样本子集，对第一初始网络模型进行训练，得到至少两个样本子集各自对应的第一网络模型；
56.分别采用至少两个样本子集，对第二初始网络模型进行训练，得到至少两个样本子集各自对应的第二网络模型；
57.将至少两个样本子集各自对应的第一网络模型，确定为至少两个第一网络模型；将至少两个样本子集各自对应的第二网络模型，确定为至少两个第二网络模型。
58.第二方面，本技术实施例提供一种异构语言模型的训练装置，包括：处理模块；处理模块用于：
59.获取语音训练样本集；
60.采用语音训练样本集，对第一初始网络模型和第二初始网络模型进行训练，得到至少两个第一网络模型和至少两个第二网络模型；第一网络模型和第二网络模型的结构不同，第一网络模型用于对输入的拼音序列进行处理得到拼音序列对应的至少一个文字序列，第二网络模型用于从至少一个文字序列中确定拼音序列对应的目标文字序列；
61.根据至少两个第一网络模型和至少两个第二网络模型，确定异构语言模型。
62.可选地，处理模块具体用于：
63.根据至少两个第一网络模型和至少两个第二网络模型，确定至少四个第一语言模型；
64.获取语音验证样本集；
65.根据语音验证样本集，确定每个第一语言模型的错误率；
66.根据至少四个第一语言模型和错误率，确定异构语言模型。
67.可选地，处理模块具体用于：
68.对至少两个第一网络模型和至少两个第二网络模型进行随机组合处理，得到至少四个第一语言模型。
69.可选地，处理模块具体用于：
70.针对每个第一网络模型，对第一网络模型的模型参数进行二进制转换处理，得到第一初始参数序列；对第一初始参数序列进行交叉处理和变异处理，得到至少两个第一中间参数列序；将第一网络模型的模型参数替换为至少两个第一中间参数列序对应的模型参数，得到第一网络模型对应的至少两个第三网络模型；
71.针对每个第二网络模型，对第二网络模型的模型参数进行二进制转换处理，得到第二初始参数序列；对第二初始参数序列进行交叉处理和变异处理，得到至少两个第二中间参数列序；将第二网络模型的模型参数替换为至少两个第二中间参数列序对应的模型参数，得到第二网络模型对应的至少两个第五网络模型；
72.对至少两个第一网络模型各自对应的至少两个第三网络模型和至少两个第二网络模型各自对应的至少两个第五网络模型进行随机组合处理，得到至少四个第一语言模型。
73.可选地，语音验证样本集中包括多个拼音验证样本和多个拼音验证样本各自对应的文字验证结果；针对至少四个第一语言模型中每个第一语言模型，第一语言模型中包括第一网络模型和第二网络模型；
74.处理模块具体用于：
75.依次通过第一网络模型和第二网络模型，对多个拼音验证样本进行处理，得到多个拼音验证样本各自对应的文字输出结果；
76.将文字输出结果和文字验证结果不相同的拼音验证样本的数量与多个拼音验证样本的总数量的比值确定为第一语言模型的错误率。
77.可选地，处理模块具体用于：
78.判断至少四个第一语言模型中存在错误率小于预设值的第一语言模型；
79.若是，则将错误率小于预设值的第一语言模型，确定为异构语言模型；
80.若否，则获取至少四个第一语言模型中预设数量个第一语言模型的模型参数对应
的第一模型参数序列，以得到预设数量个第一语言模型对应的至少一个第二语言模型，并根据多个第二语言模型和每个第二语言模型的错误率，确定异构语言模型。
81.可选地，处理模块具体用于：
82.根据至少两个第一网络模型，确定第一目标网络模型，并根据至少两个第二网络模型，确定第二目标网络模型；
83.将第一目标网络模型和第二目标网络模型，确定为异构语言模型。
84.可选地，处理模块具体用于：
85.针对每个第一网络模型，对第一网络模型的模型参数进行二进制转换处理，得到第一初始参数序列；对第一初始参数序列进行交叉处理和变异处理，得到至少两个第一中间参数列序；将第一网络模型的模型参数替换为至少两个第一中间参数列序对应的模型参数，得到第一网络模型对应的至少两个第三网络模型；
86.根据多个第三网络模型，确定第一目标网络模型。
87.可选地，处理模块具体用于：
88.获取语音验证样本集；
89.根据语音验证样本集，确定每个第三网络模型的错误率；
90.根据多个第三网络模型和错误率，确定第一目标网络模型。
91.可选地，语音验证样本集中包括多个拼音验证样本和多个拼音验证样本各自对应的文字验证结果；
92.处理模块具体用于：
93.依次通过第三网络模型和任一第二网络模型，对多个拼音验证样本进行处理，得到多个拼音验证样本各自对应的文字输出结果；
94.将文字输出结果和文字验证结果不相同的拼音验证样本的数量与多个拼音验证样本的总数量的比值确定为第三网络模型的错误率。
95.可选地，处理模块具体用于：
96.判断多个第三网络模型中存在错误率小于预设值的第三网络模型；
97.若是，则将错误率小于预设值的第三网络模型，确定为第一目标网络模型；
98.若否，则获取多个第三网络模型中预设数量个第三网络模型的模型参数对应的第一初始参数序列，以得到预设数量个第三网络模型各自对应的至少一个第四网络模型，并根据多个第四网络模型和每个第四网络模型的错误率，确定第一目标网络模型。
99.可选地，处理模块具体用于：
100.通过权重生成模型，生成各第一网络模型的第一权重和各第二网络模型的第二权重；
101.根据第一权重，对各第一网络模型的模型参数进行融合，得到第一目标模型参数；根据第二权重，对各第二网络模型的模型参数进行融合，得到第二目标模型参数；
102.将第一网络模型的模型参数替换为第一目标模型参数，得到第一目标网络模型；将第二网络模型的模型参数替换为第二目标模型参数，得到第二目标网络模型。
103.可选地，处理模块还用于：
104.获取语音验证样本集；
105.根据语音验证样本集，确定异构语言模型的错误率，并根据错误率，确定奖励值；
106.根据奖励值，更新权重生成模型的模型参数，重新生成各第一网络模型的第一权重和各第二网络模型的第二权重，以得到新的异构语言模型。
107.可选地，语音训练样本集包括至少两个样本子集；处理模块具体用于：
108.分别采用至少两个样本子集，对第一初始网络模型进行训练，得到至少两个样本子集各自对应的第一网络模型；
109.分别采用至少两个样本子集，对第二初始网络模型进行训练，得到至少两个样本子集各自对应的第二网络模型；
110.将至少两个样本子集各自对应的第一网络模型，确定为至少两个第一网络模型；将至少两个样本子集各自对应的第二网络模型，确定为至少两个第二网络模型。
111.第三方面，本技术实施例提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；
112.存储器存储计算机执行指令；
113.处理器执行存储器存储的计算机执行指令，以实现第一方面任一项的方法。
114.第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现第一方面任一项的方法。
115.第五方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项的方法。
116.本技术实施例提供一种异构语言模型的训练方法、装置、设备及存储介质，该方法包括：获取语音训练样本集；采用语音训练样本集，对第一初始网络模型和第二初始网络模型进行训练，得到至少两个第一网络模型和至少两个第二网络模型；第一网络模型和第二网络模型的结构不同，第一网络模型用于对输入的拼音序列进行处理得到拼音序列对应的至少一个文字序列，第二网络模型用于从至少一个文字序列中确定拼音序列对应的目标文字序列；根据至少两个第一网络模型和至少两个第二网络模型，确定异构语言模型。
附图说明
117.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
118.图1为本技术实施例提供的异构语言模型的训练方法的应用场景示意图；
119.图2为本技术一实施例提供的异构语言模型的训练方法的流程示意图；
120.图3为本技术实施例提供的一种确定异构语言模型的方法流程图；
121.图4为本技术实施例提供的另一种确定异构语言模型的方法流程图；
122.图5为本技术实施例提供的再一种确定异构语言模型的方法流程图；
123.图6为本技术实施例提供的更新异构语言模型的方法流程图；
124.图7为本技术实施例提供的基于gmma得到异构语言模型的架构图；
125.图8为本技术实施例提供的基于rlgma得到异构语言模型的架构图；
126.图9为本技术实施例提供的异构语言模型的训练装置的结构示意图；
127.图10为本技术实施例提供的电子设备的硬件示意图。
128.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图
和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
129.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
130.在相关技术中，由于信息隐私限制，语音数据集中的语音样本数量较少，而且同构语言模型为一个n-gram模型或者一个深度神经网络(deep neural networks，dnn)，因此使得在采用语音样本数量较少的语音数据集对初始lm进行训练之后，得到的语言模型的准确率通常较低。
131.在本技术中，为了采用语音样本数量较少的语音数据集，训练得到准确率较高的语言模型，发明人想到先通过语音训练样本集，得到多个第一网络模型和多个第二网络模型，其中，第一网络模型和第二网络模型的结构和功能均不同，再根据多个第一网络模型和多个第二网络模型，确定异构语言模型，能够采用语音样本数量较少的语音数据集，训练得到准确率较高的异构语言模型。
132.下面结合图1对本技术实施例提供的异构语言模型的训练方法的应用场景进行说明。
133.图1为本技术实施例提供的异构语言模型的训练方法所适用的应用场景示意图。如图1所示，该应用场景包括：第一初始网络模型、第二初始网络模型、多个第一网络模型、多个第二网络模型和异构语言模型。
134.多个第一网络模型为采用语音训练样本集对第一初始网络模型进行训练得到的。
135.多个第二网络模型为采用语音训练样本集对第二初始网络模型进行训练得到的。
136.第一网络模型和第二网络模型的结构和功能均不相同。
137.第一网络模型的结构与n-gram模型的结构相同。第二网络模型的结构与深度神经网络(deep neural networks，dnn)的结构相同。
138.第一网络模型的功能为：对输入的拼音序列进行处理得到拼音序列对应的至少一个文字序列。第二网络模型的功能为：从至少一个文字序列中确定拼音序列对应的目标文字序列。
139.异构语言模型为根据多个第一网络模型和多个第二网络模型确定的。
140.在图1所示的应用场景中，根据多个第一网络模型和多个第二网络模型确定异构语言模型，能够采用语音样本数量较少的语音数据集，训练得到准确率较高的异构语言模型，从而提高语言模型的准确率。
141.下面以具体的实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
142.图2为本技术一实施例提供的异构语言模型的训练方法的流程示意图。如图2所示，该方法包括：
143.s201，获取语音训练样本集。
144.可选地，本技术实施例提供的异构语言模型的训练方法的执行主体为电子设备，也可以为设置在电子设备中的异构语言模型的训练装置，异构语言模型的训练装置可以通过软件/或硬件的结合来实现。
145.可选地，语音训练样本集包括从预设开放网站中获取的至少一个语音数据集。预设开放网站例如可以为openslr 1。至少一个语音数据集例如可以包括slr18、slr33、slr38、slr47、slr62、slr68、slr93等中的至少一个数据集。
146.s202，采用语音训练样本集，对第一初始网络模型和第二初始网络模型进行训练，得到至少两个第一网络模型和至少两个第二网络模型。
147.第一初始网络模型例如可以为初始n-gram模型。
148.第二初始网络模型例如可以为初始深度神经网络(deep neural networks，dnn)。
149.第一网络模型用于对输入的拼音序列进行处理得到拼音序列对应的至少一个文字序列。其中，拼音序列为可以语音训练样本集中语音训练样本对应的拼音序列。第二网络模型用于从至少一个文字序列中确定拼音序列对应的目标文字序列。
150.需要说明的是，第一网络模型和第一初始网络模型的结构相同，第二网络模型和第二初始网络模型的结构相同。
151.可选地，可以通过如下方式11和方式12，得到第一网络模型和第二网络模型。
152.方式11，在采用语音训练样本集对第一初始网络模型进行训练的过程中，得到至少两个第一网络模型；在采用语音训练样本集对第二初始网络模型进行训练的过程中，得到至少两个第二网络模型。
153.可选地，在采用语音训练样本集对第一初始网络模型进行训练的过程中，根据语音训练样本集，更新第一初始网络模型的模型参数，将第x1、x2、x3
……
次更新后的网络模型，确定为至少两个第一网络模型。
154.可选地，x1、x2、x3
……
可以为依次增加的正整数。例如x1为50、x2为100、x3为300等。在本技术中，不对x1、x2、x3
……
的具体取值进行限定。
155.在方式11中，得到至少两个第二网络模型的方法与得到至少两个第一网络模型的方法相似，此处不再赘述。
156.方式12，语音训练样本集包括至少两个样本子集；分别采用至少两个样本子集，对第一初始网络模型进行训练，得到每个样本子集对应的第一网络模型；分别采用至少两个样本子集，对第二初始网络模型进行训练，得到每个样本子集对应的第二网络模型；将至少两个样本子集各自对应的第一网络模型，确定为至少两个第一网络模型；将至少两个样本子集各自对应的第二网络模型，确定为至少两个第二网络模型。
157.例如，当至少两个样本子集包括slr18、slr33时，可以采用slr18对第一初始网络模型进行训练，得到一个第一网络模型，采用slr33对第一初始网络模型进行训练，得到另一个第一网络模型。
158.在方式12中，得到至少两个第二网络模型的方法与得到至少两个第一网络模型的方法相似，此处不再赘述。
159.s203，根据至少两个第一网络模型和至少两个第二网络模型，确定异构语言模型。
160.可选地，可以通过如下方式21和方式22确定异构语言模型。
161.方式21，根据至少两个第一网络模型和至少两个第二网络模型，确定至少四个第一语言模型；获取语音验证样本集；根据语音验证样本集，确定每个第一语言模型的错误率；根据至少四个第一语言模型和错误率，确定异构语言模型。
162.在一些实施例中，对至少两个第一网络模型和至少两个第二网络模型进行随机组合处理，得到至少四个第一语言模型。
163.需要说明的是，对方式21的详细说明，请参见后续图3所示实施例的具体内容。
164.方式22，根据至少两个第一网络模型，确定第一目标网络模型，并根据至少两个第二网络模型，确定第二目标网络模型；将第一目标网络模型和第二目标网络模型，确定为异构语言模型。其中，第一目标网络模型和第一网络模型的结构相同，第二目标网络模型的结构和第二网络模型的结构相同。
165.对方式22的详细说明，请参见后续图4所示实施例的具体内容。
166.在图2实施例提供的异构语言模型的训练方法中，采用语音训练样本集，对第一初始网络模型和第二初始网络模型进行训练，得到至少两个第一网络模型和至少两个第二网络模型，根据至少两个第一网络模型和至少两个第二网络模型，确定异构语言模型，可以采用语音样本较少的语音训练样本集，得到准确率较高的异构语言模型，从而提高异构语言模型的准确率。
167.在本技术中，第一网络模型和第二网络模型的结构和功能均不同，因此根据至少两个第一网络模型和至少两个第二网络模型确定的异构语言模型中，也包括两个结构和功能均不同的网络模型。在本技术实施例提供的异构语言模型中，两个结构和功能均不同的网络模型配合使用，可以先得到结果的大致范围(即对输入的拼音序列进行处理得到拼音序列对应的至少一个文字序列)，再对该范围进行精细的判决(例如从至少一个文字序列中确定拼音序列对应的目标文字序列)，提高了异构语言模型的准确率。
168.而在相关技术中，同构语言模型包括一个网络模型(例如n-gram模型或者dnn)，通过一个网络模型直接得到输入的拼音序列对应的目标文字序列，缺少在得到的至少一个文字序列中确定目标文字序列的过程，因此同构语言模型的准确性通常较差。
169.在上述实施例的基础上，下面结合图3对上述方式21的具体执行过程进行说明。
170.图3为本技术实施例提供的一种确定异构语言模型的方法流程图。如图3所示，该方法包括：
171.s301，针对至少两个第一网络模型中的每个第一网络模型，对第一网络模型的模型参数进行二进制转换处理，得到第一初始参数序列；对第一初始参数序列进行交叉处理和变异处理，得到至少两个第一中间参数列序；将第一网络模型的模型参数替换为至少两个第一中间参数列序对应的模型参数，得到第一网络模型对应的至少两个第三网络模型。
172.可选地，可以采用如下方式30得到至少两个第一中间参数列序。
173.方式30，对第一初始参数序列进行一次交叉处理和变异处理，得到一个第一中间参数列序；对得到的一个第一中间参数列序，再进行一次交叉处理和变异处理，得到另一个第一中间参数列序；将上述两个第一中间参数列序，确定为至少两个第一中间参数列序。
174.s302，针对至少两个第二网络模型中的每个第二网络模型，对第二网络模型的模型参数进行二进制转换处理，得到第二初始参数序列；对第二初始参数序列进行交叉处理和变异处理，得到至少两个第二中间参数列序；将第二网络模型的模型参数替换为至少两
个第二中间参数列序对应的模型参数，得到第二网络模型对应的至少两个第五网络模型。
175.可选地，可以采用与上述方式30相似的方法，对第二初始参数序列进行交叉处理和变异处理，得到至少两个第二中间参数列序。
176.s303，对至少两个第一网络模型各自对应的至少两个第三网络模型和至少两个第二网络模型各自对应的至少两个第五网络模型进行随机组合处理，得到至少四个第一语言模型。
177.需要说明的是，上述s301～s303为根据至少两个第一网络模型和至少两个第二网络模型确定至少四个第一语言模型的一种解释说明。
178.s304，获取语音验证样本集。
179.语音验证样本集与语音训练样本集不同。语音验证样本集例如包括预设开放网站中slr18和slr68中的至少一个数据集。
180.语音验证样本集中包括多个语音验证样本、每个语音验证样本对应的拼音验证样本、以及拼音验证样本对应的文字验证结果。
181.s305，根据语音验证样本集，确定每个第一语言模型的错误率。
182.可选地，针对至少四个第一语言模型中每个第一语言模型，第一语言模型中包括第一网络模型和第二网络模型；根据语音验证样本集，确定第一语言模型的错误率，包括：
183.依次通过第一网络模型和第二网络模型，对多个拼音验证样本进行处理，得到多个拼音验证样本各自对应的文字输出结果；
184.将文字输出结果和文字验证结果不相同的拼音验证样本的数量与多个拼音验证样本的总数量的比值，确定为第一语言模型的错误率。
185.在本技术中，“依次通过”表示在一个网络模型对样本进行处理之后，向另一个网络模型提供中间结果，使得另一个网络模型对中间结果进行处理，得到输出结果。
186.s306，根据至少四个第一语言模型和错误率，确定异构语言模型。
187.可选地，可以通过如下方式31和方式32确定异构语言模型。
188.方式31，将至少四个第一语言模型中错误率最小的第一语言模型，确定为异构语言模型。
189.方式32，判断至少四个第一语言模型中是否存在错误率小于预设值的第一语言模型；
190.若是，则将错误率小于预设值的第一语言模型，确定为异构语言模型；
191.若否，则获取至少四个第一语言模型中预设数量个第一语言模型的模型参数对应的第一模型参数序列，以得到预设数量个第一语言模型对应的至少一个第二语言模型，并根据多个第二语言模型和每个第二语言模型的错误率，确定异构语言模型。
192.可选地，预设数量个第一语言模型可以为至少四个第一语言模型中错误率依次最小的预设数量个第一语言模型，也可以为至少四个第一语言模型中任意预设数量个第一语言模型。
193.可选地，当第一语言模型包括第一网络模型和第二网络模型时，第一模型参数序列包括第一语言模型中第一网络模型的模型参数对应的第一初始参数序列和第二网络模型的模型参数对应的第二初始参数序列。
194.可选地，当第一语言模型包括第三网络模型和第五网络模型时，第一模型参数序
列包括第一语言模型中第三网络模型的模型参数对应的第三初始参数序列和第五网络模型的模型参数对应的第五初始参数序列。
195.可选地，根据多个第二语言模型和每个第二语言模型的错误率，确定异构语言模型，包括：针对多个第二语言模型，重复执行与方式32相似的方法，直至得到错误率小于预设值的第n语言模型，并将错误率小于预设值的第n语言模型，确定为异构语言模型。其中，n可以为大于或等于2的正整数。需要说明的是，第一语言模型、第二语言模型、
……
第n语言模型中，后一个语言模型为基于前一个语言模型得到的。例如，第二语言模型为基于第一语言模型得到。
196.下面，以第一语言模型包括第三网络模型和第五网络模型为例，对得到第一语言模型对应的至少一个第二语言模型的方法进行说明：
197.对第三网络模型的模型参数进行二进制转换处理，得到第三初始参数序列；
198.对第三初始参数序列进行交叉处理和变异处理，得到至少一个第三中间参数列序，将第三网络模型的模型参数替换为至少一个第三中间参数列序对应的模型参数，得到第三网络模型对应的至少一个第六网络模型；
199.对第五网络模型的模型参数进行二进制转换处理，得到第五初始参数序列；
200.对第五初始参数序列进行交叉处理和变异处理，得到至少一个第五中间参数列序，将第五网络模型的模型参数替换为至少一个第五中间参数列序对应的模型参数，得到第五网络模型对应的至少一个第七网络模型；
201.对多个第六网络模型和多个第七网络模型进行随机组合，得到第一语言模型对应的至少一个第二语言模型。
202.具体的，s304～s306为对根据至少四个第一语言模型，确定异构语言模型的解释说明。
203.在图3实施例提供的确定异构语言模型的方法中，对各第一网络模型对应的至少一个第三网络模型和各第二网络模型对应的至少一个第五网络模型进行随机组合处理，得到至少四个第一语言模型，可以在语音训练样本集中语音样本较少的情况下，得到多个第一语言模型。进一步地，根据语音验证样本集，确定每个第一语言模型的错误率；根据至少四个第一语言模型和错误率，确定异构语言模型，可以提高异构语言模型的准确性。
204.在上述实施例的基础上，下面结合图4上述方式22的具体执行过程进行说明。
205.图4为本技术实施例提供的另一种确定异构语言模型的方法流程图。如图4所示，该方法包括：
206.s401，针对至少两个第一网络模型中的每个第一网络模型，获取对第一网络模型的模型参数进行二进制转换处理，得到第一网络模型的模型参数对应的第一初始参数序列；对第一初始参数序列进行交叉处理和变异处理，得到至少两个第一中间参数列序；将第一网络模型的模型参数替换为至少两个第一中间参数列序对应的模型参数，得到第一网络模型对应的至少两个第三网络模型。
207.可选地，可以采用与上述方式30相似的方法，对第一初始参数序列进行交叉处理和变异处理，得到至少两个第一中间参数列序。
208.具体的，对一个第一中间参数列进行二进制转换逆处理，得到第一中间参数列序对应的模型参数，进而将第一网络模型的模型参数替换为第一中间参数列序对应的模型参
数，得到第一网络模型对应的一个第三网络模型。
209.s402、根据多个第三网络模型，确定第一目标网络模型。
210.在s402中，多个第三网络模型包括s401中至少两个第一网络模型各自对应的至少两个第三网络模型。
211.在一些实施例中，s402具体包括：获取语音验证样本集；根据语音验证样本集，确定每个第三网络模型的错误率；根据多个第三网络模型和每个第三网络模型的错误率，确定第一目标网络模型。
212.此处语音验证样本集可以与s304中的语音验证样本集相同。
213.在一些实施例中，针对多个第三网络模型中的每个第三网络模型；根据语音验证样本集，确定第三网络模型的错误率，包括：依次通过第三网络模型和任一第二网络模型，对多个拼音验证样本进行处理，得到多个拼音验证样本各自对应的文字输出结果；将文字输出结果和文字验证结果不相同的拼音验证样本的数量与多个拼音验证样本的总数量的比值，确定为第三网络模型的错误率。
214.可选地，任一第二网络模型为至少两个第二网络模型中的任意一个模型，也可以为第y次更新第二初始网络模型的模型参数之后的第二网络模型。可选地，y可以为y1、y2、y3
……
中的最大值，也可以为预设固定的值。其中，y1、y2、y3
……
为更新第二初始网络模型的模型参数的次数。
215.需要说明的是，针对一个第三网络模型，在确定该第三网络模型的错误率的过程中，前述任一第二网络模型为选定后固定的第二网络模型。
216.可选地，可以采用与s306相似的方法，根据多个第三网络模型和每个第三网络模型的错误率，确定第一目标网络模型，此处不再赘述。
217.s403、针对至少两个第二网络模型中的每个第二网络模型，获取对第二网络模型的模型参数进行二进制转换处理，得到第二网络模型的模型参数对应的第二初始参数序列；对第二初始参数序列进行交叉处理和变异处理，得到至少两个第二中间参数列序；将第二网络模型的模型参数替换为至少两个第二中间参数列序对应的模型参数，得到第二网络模型对应的至少两个第五网络模型。
218.具体地，s403的方法与s401的方法相似，此处不再赘述。
219.s404、根据多个第五网络模型，确定第二目标网络模型。
220.在s404中，多个第五网络模型包括s403中至少两个第二网络模型各自对应的至少两个第五网络模型。
221.在一些实施例中，s404具体包括：获取语音验证样本集；根据语音验证样本集，确定每个第五网络模型的错误率；根据多个第五网络模型和每个第五网络模型错误率，确定第二目标网络模型。
222.在一些实施例中，针对多个第五网络模型中的每个第五网络模型，根据语音验证样本集，确定第五网络模型的错误率包括：依次通过第一目标网络模型和第五网络模型，对多个语音验证样本进行处理，得到多个语音验证样本各自对应的文字输出结果；
223.将文字输出结果和文字验证结果不相同的语音验证样本的数量与多个语音验证样本的总数量的比值，确定为第五网络模型的错误率。
224.可选地，可以采用与s306相似的方法，根据多个第五网络模型和每个第五网络模
型的错误率，确定第二目标网络模型，此处不再赘述。
225.s405、将第一目标网络模型和第二目标网络模型，确定为异构语言模型。
226.在图4实施例提供的方法中，对第一初始参数序列进行交叉处理和变异处理，以得到第一网络模型对应的至少一个第三网络模型，能够实现在语音训练样本集中语音样本较少的情况下，得到多个第三网络模型。对第二初始参数序列进行交叉处理和变异处理，以得到第二网络模型对应的至少一个第五网络模型，能够实现在语音训练样本集中语音样本较少的情况下，得到多个第五网络模型。进一步地，根据语音验证样本集，确定每个第三网络模型的错误率，根据语音验证样本集，确定每个第五网络模型的错误率，根据多个第三网络模型和第三网络模型的错误率，确定第一目标网络模型，根据多个第五网络模型和第五网络模型的错误率，确定第二目标网络模型，可以提高得到的第一目标网络模型和第二目标网络模型的准确率，进而提高得到语言模型的准确率。
227.需要说明的是，上述图3和图4实施例为基于遗传匹配合并算法(gmma)得到异构语言模型的具体方法。
228.在上述实施例的基础上，本技术实施例还提供一种确定异构语言模型的方法，下面结合图5实施例对该方法进行说明。
229.图5为本技术实施例提供的再一种确定异构语言模型的方法流程图。如图5所示，该方法包括：
230.s501、通过权重生成模型，生成各第一网络模型的第一权重和各第二网络模型的第二权重。
231.s502、根据第一权重，对各第一网络模型的模型参数进行融合，得到第一目标模型参数。
232.可选地，根据第一权重，对各第一网络模型的模型参数进行加权求和处理，以实现对各第一网络模型的模型参数进行融合。
233.例如，第一网络模型的数量为2，2个第一网络模型的权重分别为a1和a2，一个第一网络模型的模型参数包括x11、x12、x13，另一个第一网络模型的模型参数包括x21、x22、x23，则目标模型参数包括a1*x11 a2*x21、a1*x12 a2*x22、a1*x13 a2*x23。
234.s503、根据第二权重，对各第二网络模型的模型参数进行融合，得到第二目标模型参数。
235.具体地，s502的方法与s503的方法相似，此处不再赘述。
236.s504、将第一网络模型的模型参数替换为第一目标模型参数，得到第一目标网络模型。
237.此处，第一网络模型为上述s501中的各第一网络模型中的任意一个。
238.s505、将第二网络模型的模型参数替换为第二目标模型参数，得到第二目标网络模型。
239.此处，第二网络模型为上述s502中的各第二网络模型中的任意一个。
240.其中，s501～s505为对根据至少两个第一网络模型，确定第一目标网络模型，并根据至少两个第二网络模型，确定第二目标网络模型的详细说明。
241.s506、将第一目标网络模型和第二目标网络模型确定为异构语言模型。
242.在本技术中，通过通过权重生成模型，生成各第一网络模型对应的第一权重和各
第二网络模型对应的第二权重，以得到第一目标模型参数和第二目标网络模型，并将具有第一目标模型参数的第一网络模型，确定为第一目标网络模型，将具有第二目标模型参数的第二网络模型，确定为第二目标网络模型，采用语音样本较少的语音训练样本集，得到准确率较高的异构语言模型，进而提高得到异构语言模型的效率。
243.在一些实施例中，本技术实施例提供的方法还包括：获取语音验证样本集；根据语音验证样本集，确定异构语言模型的错误率；根据错误率，确定奖励值；根据奖励值，更新权重生成模型的模型参数，重新生成各第一网络模型的第一权重和各第二网络模型的第二权重，以更新异构语言模型。
244.可选地，奖励值等于1减去错误率的差值与100％的乘积。
245.在上述图5的基础上，下面结合图6对更新异构语言模型的方法进行说明。
246.图6为本技术实施例提供的更新异构语言模型的方法流程图。如图6所示，该方法包括：
247.s601、通过具有第i组模型参数的权重生成模型，生成各第一网络模型对应的第一权重和各第二网络模型的第二权重。
248.s602、根据第一权重，对各第一网络模型的模型参数进行融合，得到第一目标模型参数；根据第二权重，对各第二网络模型的模型参数进行融合，得到第二目标模型参数。
249.s603、将第一网络模型的模型参数替换为第一目标模型参数，得到第一目标网络模型；将第二网络模型的模型参数替换为第二目标模型参数，得到第二目标网络模型；将第一目标网络模型和第二目标网络模型，确定为第i个异构语言模型。
250.s604、获取语音验证样本集。
251.s605、根据语音验证样本集，确定第i个异构语言模型的错误率。
252.s606、根据第i个异构语言模型的错误率，确定第i个奖励值。
253.s607、判断第i个奖励值是否大于或等于预设奖励值。
254.若是，则执行s608，否则执行s609。
255.s608，将第i个异构语言模型，确定为最终的异构语言模型。
256.s609、根据奖励值，确定权重生成模型的第i 1组模型参数，并依据得到的第i 1组模型参数，重复执行s601～s609。初始时，i等于1。
257.可选地，可以将奖励值代入预设公式，并对代入奖励值之后的预设公式进行处理，得到第i 1组模型参数。
258.例如，预设公式可以具有如下公式1形式：
[0259][0260]
其中，j为目标函数，ωa为权重生成模型的模型参数，t为对所有模型(包括s601中的各第一网络模型和各第二网络模型)需要合并的一系列权重进行划分后的总部分，a
t
为t中的第t部分模型的权重，a
(t-1)
为t中的第t-1部分模型的权重，r为奖励值，e为ωa的数学期望，p为ωa的概率函数，为ωa的梯度，log为取对数操作。
[0261]
需要说明的是，可以通过梯度下降法收敛方法，对公式1进行处理，得到ωa，并将得到的ωa，确定为第i 1组模型参数。
[0262]
需要说明的是，依据得到的第i 1组模型参数，重复执行s601～s610的过程中，是
对根据奖励值更新权重生成模型的模型参数，重新生成各第一网络模型的第一权重和各第二网络模型的第二权重，以得到新的异构语言模型的解释说明。
[0263]
在图6实施例提供的方法中，在每次执行s601～s609过程中，通过权重生成模型，生成各第一网络模型对应的第一权重和各第二网络模型的第二权重，并依据第一权重和第二权重，得到异构语言模型，可以提高得到异构语言模型的效率，进而提高得到最终的异构语言模型的效率。进一步地，根据第i个异构语言模型的错误率，确定第i个奖励值，并根据第i个奖励值，确定权重生成模型的第i 1组模型参数，并重复执行s601～s609，将奖励值大于或等于预设奖励值是对应的异构语言模型，确定为最终的异构语言模型。
[0264]
与现有技术不同，在现有技术中，lm为同构语言模型，同构语言模型包括一个网络模型，该网络模型直接根据输入的拼音序列，得到目标文字序列，缺少在得到的至少一个文字序列中确定目标文字序列的过程，因此同构语言模型的准确性较差。而在本技术中，lm为异构语言模型，异构语言模型中包括两个结构和功能均不同的网络模型，这两个结构和功能均不同的网络模型配合使用，可以先得到结果的大致范围(即对输入的拼音序列进行处理得到拼音序列对应的至少一个文字序列)，再对上述大致范围进行精细地判断(例如从至少一个文字序列中确定拼音序列对应的目标文字序列)，从而提高异构语言模型的准确率。
[0265]
具体的，图5和图6实施例提供的方法是基于强化学习引导合并算法(reinforcement learning guided merge algorithm，rlgma)得到异构语言模型的具体方法。
[0266]
图7为本技术实施例提供的基于gmma得到异构语言模型的架构图。如图7所示，包括：至少两个第一网络模型和至少两个第二网络模型。
[0267]
可选地，至少两个第一网络模型包括第一网络模型11～1m，至少两个第二网络模型包括第二网络模型21～2n。m为第一网络模型的总个数，n为第二网络模型的总个数。其中，m、n均为大于或等于2的整数。
[0268]
具体的，在图3的基础上，第一融合处理例如包括：s301中针对至少两个第一网络模型中的任意一个第一网络模型，得到每个第一网络模型对应的至少两个第三网络模型的过程中涉及的相关处理；
[0269]
第二融合处理例如包括：s302中针对至少两个第二网络模型中的任意一个第二网络模型，得到每个第二网络模型对应的至少两个第五网络模型的过程中涉及的相关处理；
[0270]
第三处理例如包括：s303～s306中得到至少四个第一语言模型、获取语音验证样本集、根据语音验证样本集确定每个第一语言模型的错误率、根据至少四个第一语言模型和错误率确定异构语言模型的过程中涉及的相关处理。
[0271]
具体的，在图4的基础上，第一融合处理例如包括：s401中得到每个第一网络模型对应的至少两个第三网络模型、以及s402中根据多个第三网络模型确定第一目标网络模型的过程中涉及的相关处理；
[0272]
第二融合处理例如包括：s403中得到每个第二网络模型对应的至少两个第五网络模型、以及s404中根据多个第五网络模型确定第二目标网络模型的过程中涉及的相关处理；
[0273]
第三处理例如包括：s405中将第一目标网络模型和第二目标网络模型确定为异构语言模型的相关处理。
[0274]
图8为本技术实施例提供的基于rlgma得到异构语言模型的架构图，该异构语言模型包括：权重生成模型、各第一网络模型对应的第一权重和各第二网络模型的第二权重。
[0275]
其中，各第一网络模型中，第i个第一网络模型对应的第一权重为a
1i
，i＝1
…
m。
[0276]
其中，各第二网络模型中，第j个第二网络模型对应的第二权重为b
2j
，j＝1
…
n。
[0277]
在图8中可以重复执行如下过程：权重生成模型基于奖励值，生成各第一网络模型对应的第一权重和各第二网络模型的第二权重，第一网络模型和第二网络模型基于第一权重和第二权重，得到语言模型，不断更新第一权重和第二权重，直至奖励值大于或等于预设奖励值时，得到最终的异构语言模型。
[0278]
图9为本技术实施例提供的异构语言模型的训练装置的结构示意图。如图9所示，异构语言模型的训练装置10包括：处理模块；处理模块101用于：
[0279]
获取语音训练样本集；
[0280]
采用语音训练样本集，对第一初始网络模型和第二初始网络模型进行训练，得到至少两个第一网络模型和至少两个第二网络模型；第一网络模型和第二网络模型的结构不同，第一网络模型用于对输入的拼音序列进行处理得到拼音序列对应的至少一个文字序列，第二网络模型用于从至少一个文字序列中确定拼音序列对应的目标文字序列；
[0281]
根据至少两个第一网络模型和至少两个第二网络模型，确定异构语言模型。
[0282]
本技术实施例提供的异构语言模型的训练装置可以执行上述异构语言模型的训练方法，其实现原理以及有益效果类似，此处不再进行赘述。
[0283]
可选地，处理模块101具体用于：
[0284]
根据至少两个第一网络模型和至少两个第二网络模型，确定至少四个第一语言模型；
[0285]
获取语音验证样本集；
[0286]
根据语音验证样本集，确定每个第一语言模型的错误率；
[0287]
根据至少四个第一语言模型和错误率，确定异构语言模型。
[0288]
可选地，处理模块101具体用于：
[0289]
对至少两个第一网络模型和至少两个第二网络模型进行随机组合处理，得到至少四个第一语言模型。
[0290]
可选地，处理模块101具体用于：
[0291]
针对每个第一网络模型，对第一网络模型的模型参数进行二进制转换处理，得到第一初始参数序列；对第一初始参数序列进行交叉处理和变异处理，得到至少两个第一中间参数列序；将第一网络模型的模型参数替换为至少两个第一中间参数列序对应的模型参数，得到第一网络模型对应的至少两个第三网络模型；
[0292]
针对每个第二网络模型，对第二网络模型的模型参数进行二进制转换处理，得到第二初始参数序列；对第二初始参数序列进行交叉处理和变异处理，得到至少两个第二中间参数列序；将第二网络模型的模型参数替换为至少两个第二中间参数列序对应的模型参数，得到第二网络模型对应的至少两个第五网络模型；
[0293]
对至少两个第一网络模型各自对应的至少两个第三网络模型和至少两个第二网络模型各自对应的至少两个第五网络模型进行随机组合处理，得到至少四个第一语言模型。
[0294]
可选地，语音验证样本集中包括多个拼音验证样本和多个拼音验证样本各自对应的文字验证结果；针对至少四个第一语言模型中每个第一语言模型，第一语言模型中包括第一网络模型和第二网络模型；
[0295]
处理模块101具体用于：
[0296]
依次通过第一网络模型和第二网络模型，对多个拼音验证样本进行处理，得到多个拼音验证样本各自对应的文字输出结果；
[0297]
将文字输出结果和文字验证结果不相同的拼音验证样本的数量与多个拼音验证样本的总数量的比值确定为第一语言模型的错误率。
[0298]
可选地，处理模块具体用于：
[0299]
判断至少四个第一语言模型中存在错误率小于预设值的第一语言模型；
[0300]
若是，则将错误率小于预设值的第一语言模型，确定为异构语言模型；
[0301]
若否，则获取至少四个第一语言模型中预设数量个第一语言模型的模型参数对应的第一模型参数序列，以得到预设数量个第一语言模型对应的至少一个第二语言模型，并根据多个第二语言模型和每个第二语言模型的错误率，确定异构语言模型。
[0302]
可选地，处理模块101具体用于：
[0303]
根据至少两个第一网络模型，确定第一目标网络模型，并根据至少两个第二网络模型，确定第二目标网络模型；
[0304]
将第一目标网络模型和第二目标网络模型，确定为异构语言模型。
[0305]
可选地，处理模块101具体用于：
[0306]
针对每个第一网络模型，对第一网络模型的模型参数进行二进制转换处理，得到第一初始参数序列；对第一初始参数序列进行交叉处理和变异处理，得到至少两个第一中间参数列序；将第一网络模型的模型参数替换为至少两个第一中间参数列序对应的模型参数，得到第一网络模型对应的至少两个第三网络模型；
[0307]
根据多个第三网络模型，确定第一目标网络模型。
[0308]
可选地，处理模块101具体用于：
[0309]
获取语音验证样本集；
[0310]
根据语音验证样本集，确定每个第三网络模型的错误率；
[0311]
根据多个第三网络模型和错误率，确定第一目标网络模型。
[0312]
可选地，语音验证样本集中包括多个拼音验证样本和多个拼音验证样本各自对应的文字验证结果；
[0313]
处理模块101具体用于：
[0314]
依次通过第三网络模型和任一第二网络模型，对多个拼音验证样本进行处理，得到多个拼音验证样本各自对应的文字输出结果；
[0315]
将文字输出结果和文字验证结果不相同的拼音验证样本的数量与多个拼音验证样本的总数量的比值确定为第三网络模型的错误率。
[0316]
可选地，处理模块101具体用于：
[0317]
判断多个第三网络模型中存在错误率小于预设值的第三网络模型；
[0318]
若是，则将错误率小于预设值的第三网络模型，确定为第一目标网络模型；
[0319]
若否，则获取多个第三网络模型中预设数量个第三网络模型的模型参数对应的第
一初始参数序列，以得到预设数量个第三网络模型各自对应的至少一个第四网络模型，并根据多个第四网络模型和每个第四网络模型的错误率，确定第一目标网络模型。
[0320]
可选地，处理模块101具体用于：
[0321]
通过权重生成模型，生成各第一网络模型的第一权重和各第二网络模型的第二权重；
[0322]
根据第一权重，对各第一网络模型的模型参数进行融合，得到第一目标模型参数；根据第二权重，对各第二网络模型的模型参数进行融合，得到第二目标模型参数；
[0323]
将第一网络模型的模型参数替换为第一目标模型参数，得到第一目标网络模型；将第二网络模型的模型参数替换为第二目标模型参数，得到第二目标网络模型。
[0324]
可选地，处理模块101还用于：
[0325]
获取语音验证样本集；
[0326]
根据语音验证样本集，确定异构语言模型的错误率，并根据错误率，确定奖励值；
[0327]
根据奖励值，更新权重生成模型的模型参数，重新生成各第一网络模型的第一权重和各第二网络模型的第二权重，以得到新的异构语言模型。
[0328]
可选地，语音训练样本集包括至少两个样本子集；处理模块101具体用于：
[0329]
分别采用至少两个样本子集，对第一初始网络模型进行训练，得到至少两个样本子集各自对应的第一网络模型；
[0330]
分别采用至少两个样本子集，对第二初始网络模型进行训练，得到至少两个样本子集各自对应的第二网络模型；
[0331]
将至少两个样本子集各自对应的第一网络模型，确定为至少两个第一网络模型；将至少两个样本子集各自对应的第二网络模型，确定为至少两个第二网络模型。
[0332]
本技术实施例提供的异构语言模型的训练装置10可以执行上述异构语言模型的训练方法，其实现原理以及有益效果类似，此处不再进行赘述。
[0333]
图10为本技术实施例提供的电子设备的硬件示意图。如图10所示，电子设备20可以包括：收发器201、存储器202、处理器203。收发器201可以包括：发射器和/或接收器。该发射器还可称为发送器、发射机、发送端口或发送接口等类似描述，接收器还可称为接收器、接收机、接收端口或接收接口等类似描述。示例性地，收发器201、存储器202和处理器203之间通过总线204相互连接。
[0334]
存储器202用于存储计算机执行指令；
[0335]
处理器203用于执行存储器202存储的计算机执行指令，使得处理器203执行异构语言模型的训练方法。
[0336]
本技术实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当计算机执行指令被处理器执行时实现异构语言模型的训练方法。
[0337]
本技术实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时，可实现异构语言模型的训练方法。
[0338]
实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储器(存储介质)包括：只读存储器(read-only memory，rom)、ram、快闪存储器、硬盘、固态硬盘、磁带(magnetic tape)、软盘(floppy disk)、光盘(optical disc)
及其任意组合。
[0339]
本技术实施例是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或至少一个流程和/或方框图一个方框或至少一个方框中指定的功能的装置。
[0340]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或至少一个流程和/或方框图一个方框或至少一个方框中指定的功能。
[0341]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或至少一个流程和/或方框图一个方框或至少一个方框中指定的功能的步骤。
[0342]
显然，本领域的技术人员可以对本技术实施例进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术实施例的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。
[0343]
在本技术中，术语“包括”及其变形可以指非限制性的包括；术语“或”及其变形可以指“和/或”。本本技术中术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。本技术中，“至少一个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0344]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。
[0345]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。