语音识别方法、语音识别的模型训练方法以及装置与流程

1.本申请涉及数据处理技术领域中的人工智能、深度学习和语音识别技术领域，尤其涉及一种语音识别方法、语音识别的模型训练方法、装置、电子设备和存储介质。


背景技术：

2.通过语音识别技术，可以将语音输入转换为对应的文字输出。
3.由于方言具有一些特殊的语音语调特点，在对方言进行识别的时候，文字输出的准确率较低，而且容易与普通话中相似的音节混淆。


技术实现要素：

4.本申请提供了一种用于语音识别的方法、语音识别的模型训练方法、装置、设备以及存储介质。
5.根据本申请的第一方面，提供了一种语音识别的方法，包括：
6.获取待识别语音；
7.将所述待识别语音输入至经过训练的方言声学模型，获得与所述待识别语音的特征序列对应的音素后验概率分布和方言声学向量；
8.根据所述特征序列对应的音素后验概率分布结合经过训练的方言统计语言模型对所述待识别语音进行解码，得到n个候选词序列；其中，n为正整数；
9.将所述n个候选词序列输入至经过训练的第一神经网络语言模型，得到n个第一文本向量，并将所述n个候选词序列输入至经过训练的第二神经网络语言模型，得到n个第二文本向量；以及
10.根据所述方言声学向量、所述n个第一文本向量和所述n个第二文本向量，从所述n个候选词序列之中确定出所述待识别语音的语音识别结果。
11.根据本申请的第二方面，提供了一种语音识别的装置，包括：
12.第一获取模块，用于获取待识别语音；
13.处理模块，用于将所述待识别语音输入至经过训练的方言声学模型，获得与所述待识别语音的特征序列对应的音素后验概率分布和方言声学向量；
14.解码模块，用于根据所述特征序列对应的音素后验概率分布结合经过训练的方言统计语言模型对所述待识别语音进行解码，得到n个候选词序列；其中，n为正整数；
15.生成模块，用于将所述n个候选词序列输入至经过训练的第一神经网络语言模型，得到n个第一文本向量，并将所述n个候选词序列输入至经过训练的第二神经网络语言模型，得到n个第二文本向量；以及
16.确定模块，用于根据所述方言声学向量、所述n个第一文本向量和所述n个第二文本向量，从所述n个候选词序列之中确定出所述待识别语音的语音识别结果。
17.根据本申请的第三方面，提供了一种语音识别的模型训练方法，包括：
18.获取普通话训练数据，所述普通话训练数据包括普通话音频样本及对应的普通话
标注文本；
19.获取方言训练数据，所述方言训练数据包括方言音频样本及对应的方言标注文本、方言无监督音频样本；
20.根据所述普通话训练数据和所述方言训练数据训练声学模型；所述声学模型包括普通话音频输入层、方言音频输入层、声学共享网络层、普通话声学输出层和方言声学输出层；其中，所述方言音频输入层、所述声学共享网络层和所述方言声学输出层构成方言声学模型；
21.将所述方言音频样本输入至所述方言声学模型，获得方言声学向量样本；
22.根据所述普通话标注文本、所述方言标注文本和所述方言声学向量样本训练匹配度判别器，并根据所述匹配度判别器、所述方言无监督音频样本和所述方言无监督音频样本对应的文本，获取第一方言置信度；
23.根据所述第一方言置信度对所述方言无监督音频样本进行筛选降权，并将经过筛选降权的所述方言无监督音频样本作为新的方言无监督音频样本，返回执行所述根据所述普通话训练数据和所述方言训练数据训练声学模型的步骤，直至所述声学模型的准确率满足预设条件为止。
24.根据本申请的第四方面，提供了一种语音识别的模型训练装置，包括：
25.第二获取模块，用于获取普通话训练数据，所述普通话训练数据包括普通话音频样本及对应的普通话标注文本；
26.第三获取模块，用于获取方言训练数据，所述方言训练数据包括方言音频样本及对应的方言标注文本、方言无监督音频样本；
27.第三训练模块，用于根据所述普通话训练数据和所述方言训练数据训练声学模型；所述声学模型包括普通话音频输入层、方言音频输入层、声学共享网络层、普通话声学输出层和方言声学输出层；其中，所述方言音频输入层、所述声学共享网络层和所述方言声学输出层构成方言声学模型；
28.第四获取模块，用于将所述方言音频样本输入至所述方言声学模型，获得方言声学向量样本；
29.第五获取模块，用于根据所述普通话标注文本、所述方言标注文本和所述方言声学向量样本训练匹配度判别器，并根据所述匹配度判别器、所述方言无监督音频样本和所述方言无监督音频样本对应的文本，获取第一方言置信度；
30.迭代训练模块，用于根据所述第一方言置信度对所述方言无监督音频样本进行筛选降权，并将经过筛选降权的所述方言无监督音频样本作为新的方言无监督音频样本，返回执行所述根据所述普通话训练数据和所述方言训练数据训练声学模型的步骤，直至所述声学模型的准确率满足预设条件为止。
31.根据本申请的第五方面，提供了一种电子设备，包括：
32.至少一个处理器；以及
33.与所述至少一个处理器通信连接的存储器；其中，
34.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请的第一方面所述的语音识别方法，或执行本申请第三方面所述的语音识别的模型训练方法。
35.根据本申请的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本申请的第一方面所述的语音识别方法，或执行本申请第三方面所述的语音识别的模型训练方法。
36.根据本申请的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的语音识别方法，或实现根据本申请第三方面所述的语音识别的模型训练方法。
37.根据本申请的技术方案，可以提高方言的语音输出准确率，并且使得方言与其他语言不易混淆。
38.应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
39.附图用于更好地理解本方案，不构成对本申请的限定。其中：
40.图1是根据本申请第一实施例的语音识别方法的流程图；
41.图2是根据本申请第二实施例的语音识别方法的流程图；
42.图3是根据本申请第三实施例的语音识别方法的流程图；
43.图4是根据本申请一个实施例的训练过程中的声学模型的结构示意图；
44.图5是根据本申请一个实施例的训练匹配度判别器的模型结构的示意图；
45.图6是根据本申请第四实施例的语音识别方法的流程图；
46.图7是根据本申请第五实施例的语音识别的模型训练方法的流程图；
47.图8是根据本申请第六实施例的语言识别的模型训练方法的流程图；
48.图9是根据本申请一个实施例的语音识别装置的结构框图；
49.图10是根据本申请另一个实施例的语音识别装置的结构框图；
50.图11是根据本申请又一个实施例的语音识别装置的结构框图；
51.图12是根据本申请又一个实施例的语音识别装置的结构框图；
52.图13是根据本申请一个实施例的语音识别的模型训练装置的结构框图；
53.图14是根据本申请另一个实施例的语音识别的模型训练装置的结构框图；
54.图15是用来实现本申请实施例的语音识别方法，或语音识别的模型训练方法的电子设备的框图。
具体实施方式
55.以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
56.本申请提出了一种语音识别方法，本方法的语音识别技术方案可以从n个候选序列词中确定出待识别语音的语音识别结果。图1是根据本申请第一实施例的语音识别方法的流程图。需要说明的是，本申请实施例的语音识别方法可应用于本申请实施例的语音识别装置，该语音识别装置可被配置于本申请实施例的电子设备上。如图1所示，该语音识别
方法可以包括：
57.步骤101，获取待识别语音；
58.通常来说，方言指的是一个地区的语言，而另一种应用范围较广且更加规范的语言，可以称为普通话。
59.在本申请一些实施例中，方言可以指一个地区的语言，也可以指现有音频标注较少的语言。举例而言，包括但不限于以下几种场景：
60.场景一，a语言应用广，现有音频标注较少；b语言应用不广，现有音频标注较多，则可以称a语言为方言。
61.场景二，a语言应用不广，现有的音频标注少；b语言应用广，现有音频标注较多，则可以称a语言为方言。
62.场景三，a语言应用广，现有音频标注较少；b语言应用广，现有的音频标注较多，则可以称a语言为方言。
63.可以理解的，可以获取需要识别的方言语音作为待识别语音。
64.步骤102，将待识别语音输入至经过训练的方言声学模型，获得与待识别语音的特征序列对应的音素后验概率分布和方言声学向量。
65.在本申请一些实施例中，可以预设一个方言声学模型，该方言声学模型可以根据应用场景的不同进行选择，本实施例不做限制，例如：多层长短期记忆网络、多层卷积神经网络。可以对该预设的方言声学模型进行训练，训练后的方言声学模型可以根据输入的待识别语音生成对应的特征序列，该方言声学模型还可以生成对应的音素后验概率分布和方言声学向量。
66.其中，特征序列可以是待识别语音经过方言声学模型的低层神经网络处理，获得的低层特征；方言声学向量可以是待识别语音经过方言声学模型的高层神经网络处理，获得的高层特征。低层和高层的层数可以根据不同的应用场景进行设置，本实施例不做限制。
67.其中，音素后验概率分布中音素指的是：根据语音的自然属性划分出来的最小语音单位。音素后验概率分布可以表示每个待识别音素被识别为不同音素的概率。
68.步骤103，根据特征序列对应的音素后验概率分布结合经过训练的方言统计语言模型对待识别语音进行解码，得到n个候选词序列；其中，n为正整数。
69.在本申请一些实施例中，可以预设一个方言统计语言模型，该模型可以根据不同的应用场景进行选择，本实施例不作限制。例如：n
‑
gram语言模型、神经网络语言模型。可以对该方言统计语言模型进行训练，训练之后的方言统计语言模型可以表示不同词不同字之间相互连接的概率。
70.可以理解地，可以根据音素后验概率分布和经过训练的方言统计语言模型，对待识别语音进行解码。即，根据每个待识别音素被识别为不同音素的概率，以及不同词不同字之间相互连接的概率，得到n个候选词序列。其中，n个候选词序列可以是从多个候选词序列中选取的，与待识别语音相符的可能性最大的n个候选词序列。
71.在本申请一些实施例中，可以根据候选词序列中每个待识别音素被识别为相应音素的概率以及不同词不同字之间相互连接的概率，对生成的候选词序列进行打分，并且降序排列，取前n个作为候选词序列，即，n个候选词序列。其中，n为正整数。
72.步骤104，将n个候选词序列输入至经过训练的第一神经网络语言模型，得到n个第
一文本向量，并将n个候选词序列输入至经过训练的第二神经网络语言模型，得到n个第二文本向量。
73.在本申请一些实施例中，还可以对n个候选词序列进行重新排序，筛选出与待识别语音最相符的候选词序列。
74.可以理解地，当待识别语音为方言时，对应的词序列也应该更偏向方言的理解习惯。
75.在本申请一些实施例中，可以预先训练第一神经网络语言模型和第二神经网络语言模型，其中，第一神经网络语言模型和第二神经网络语言模型的结构可以根据不同的应用场景进行选择，包括但不限于：循环神经网络语言模型、长短期记忆
‑
循环神经网络语言模型中的任一个。
76.第一神经网络语言模型可以是使用与待识别语音不同的语种训练的，该语种可以为一种，也可以为多种；第二神经网络语言模型可以是使用与待识别语言模型相同的语种训练的。经过训练的神经网络语言模型可以生成对应的文本向量。可以理解地，第一神经网络语言模型生成的n个第一文本向量的特征与待识别语音的特征相同点少；第二神经网络语言模型生成的n个第二文本向量的特征与待识别语音的特征相同点多。
77.可以理解地，一个候选词序列对应一个第一文本向量、一个第二文本向量。
78.步骤105，根据方言声学向量、n个第一文本向量和n个第二文本向量，从n个候选词序列之中确定出待识别语音的语音识别结果。
79.可以理解地，方言声学向量具有待识别语音的特征。
80.在本申请一些实施例中，可以将一个候选词序列对应的第一文本向量以及第二文本向量，分别与方言声学向量求相似度，得到第一相似度和第二相似度，并将相似度归一化处理，得到第一归一化相似度和第二归一化相似度。可以将n个候选词序列按照第二归一化相似度进行降序排序，得到第二归一化相似度排序，结合原候选词序列排序，确定出待识别语音的语音识别结果。其中，根据第二归一化相似度排序和原候选词序列排序确定待识别语音的语音识别结果的方法可以有多种，包括但不限于：
81.方法一：取第二归一化相似度排序中排名最高的候选词序列，作为待识别语音的语音识别结果。
82.方法二：按照第二归一化相似度排序中的序列，对原候选词序列进行相应的加成，并进行重排序。取重排序后，排名最高的候选词序列，作为待识别语音的语音识别结果。
83.根据本申请实施例的语音识别方法，根据方言声学向量、n个第一文本向量和n个第二文本向量，从n个候选词序列中选取出待识别语音的语音识别结果。通过对n个候选词序列进行进一步的筛选，提高方言的语音输出准确率，并且使得方言与其他语言不易混淆。
84.在本申请的第二实施例中，基于第一实施例，可以根据方言声学向量、第一文本向量、第二文本向量获得相应的置信度，从而获得待识别语音的语音识别结果。步骤105可以为步骤201－204。
85.可以基于图1的语音识别方案使用实施例二具体说明该方法。图2是根据本申请第二实施例的语音识别方法的流程图，如图2所示，该样本处理方法可以包括：
86.步骤201，根据方言声学向量和n个第一文本向量，获取n个候选词序列的n个普通话置信度。
87.可以理解地，置信度为：待识别语音的语种与神经网络语言模型的训练语种相同的可能性。
88.在第一神经网络语言模型的训练语种为普通话的情况下，通过该第一神经网络语言模型获得的第一文本向量，与方言声学向量求得的置信度即为普通话置信度。
89.在本申请一些实施例中，置信度的获取方法有多种，包括但不限于以下两种方法：
90.方法一，计算方言声学向量与第一文本向量的相似度，通过该相似度即可获得普通话置信度。例如，将该相似度作为该普通话置信度。
91.方法二，将方言声学向量与n个第一文本向量输入至经过训练的匹配度判别器，获得n个候选词序列的n个普通话置信度。其中，匹配度判别器可以根据应用场景的不同进行选择，本实施例不做限制。例如：transformer模型、循环神经网络模型中的任一种。可以理解地，训练后的匹配度判别器可以根据输入的方言声学向量与第一文本向量，生成对应的普通话置信度。
92.步骤202，根据方言声学向量和n个第二文本向量，获取n个候选词序列的n个方言置信度。
93.在第二神经网络语言模型的训练语种为方言的情况下，通过该第二神经网络语言模型获得的第二文本向量，与方言声学向量求得的置信度即为方言置信度。
94.在本申请一些实施例中，置信度的获取方法有多种，包括但不限于以下两种方法：
95.方法一，计算方言声学向量与第二文本向量的相似度，通过该相似度即可获得方言置信度。例如，将该相似度作为该方言置信度。
96.方法二，将方言声学向量和n个第二文本向量输入至匹配度判别器，获得n个候选词序列的n个方言置信度。其中，匹配度判别器可以根据应用场景的不同进行选择，本实施例不做限制。例如：transformer模型、循环神经网络模型中的任一种。可以理解地，上述训练后的匹配度判别器还可以根据输入的方言声学向量与第二文本向量，生成对应的方言置信度。
97.步骤203，根据n个普通话置信度和n个方言置信度，从n个候选词序列中找出普通话置信度满足第一条件且方言置信度满足第二条件的候选词序列。
98.可以理解地，n个候选词序列会对应n个普通话置信度和n个方言置信度。在本申请一些实施例中，可以根据应用场景的不同，设置第一条件和第二条件。其中，第一条件可以根据普通话置信度对候选词序列进行筛选；第二条件可以根据方言置信度对候选词序列进行筛选。具体的筛选方式本实施例不做限制，例如：可以设置第一阈值和第二阈值，普通话置信度小于或等于第一阈值即为满足第一条件；方言置信度大于或等于第二阈值即为满足第二条件。
99.也就是说，一条音频的声学向量，和普通话的文本向量差异足够大，同时和方言的文本向量的相似度足够多，那么这条音频就可以认为是方言音频，它的方言文本大概率是正确的，所以本申请可以从n个候选词序列中筛选出同时满足第一条件和第二条件的候选词序列作为待识别语音的语音识别结果。
100.步骤204，将普通话置信度满足第一条件且方言置信度满足第二条件的候选词序列，作为待识别语音的语音识别结果。
101.可以理解地，在本申请一些实施例中，步骤203得到的普通话置信度满足第一条件
且方言置信度满足第二条件的候选词序列，可以为一个，也可以为一个。当满足条件的候选词序列为一个时，该候选词序列即为待识别语音的语音识别结果；当满足条件的候选词序列为多个时，可以根据筛选出的候选词序列的方言置信度进行排序，根据该方言置信度排序和步骤103中得到的候选词序列排序，综合计算，得到待识别语音的语音识别结果。
102.需要说明的是，在本申请其他实施例中，若根据n个普通话置信度和n个方言置信度，未能从n个候选词序列中找出普通话置信度满足第一条件且方言置信度满足第二条件的候选词序列，则可直接根据n个候选词序列的排序，将排序最考前的候选词序列作为待识别语音的语音识别结果。
103.根据本申请实施例的语音识别方法，引入了置信度的概念，置信度可以代表候选词序列更偏向普通话的语言习惯，还是方言的语言习惯。根据普通话置信度和方言置信度对n个候选词序列进行筛选，可以获得更贴近方言、更精准的语音识别结果。
104.在本申请的第三实施例中，基于上述实施例，方言声学模型可以通过步骤301－306训练获得。
105.为了更清楚说明方言声学模型的训练步骤，可以通过图3具体说明。图3是根据本申请第三实施例的语音识别方法的流程图，包括：
106.步骤301，获取普通话训练数据，普通话训练数据包括普通话音频样本及对应的普通话标注文本。
107.可以理解地，为了使得声学模型具有语音识别的能力，需要使用训练数据对声学模型进行训练。
108.在本申请一些实施例中，训练数据可以包括普通话训练数据和方言训练数据，其中，普通话训练数据可以包括普通话音频样本及其对应的普通话标注文本，该种标注文本通常是精准的、可信的。
109.步骤302，获取方言训练数据，方言训练数据包括方言音频样本及对应的方言标注文本、方言无监督音频样本。
110.在本申请一些实施例中，方言训练数据可以包括方言音频样本及其对应的方言标注文本，该种标注文本通常是精准的、可信的。方言训练数据还可以包括方言无监督音频样本，方言无监督音频样本可以包括方言无监督音频及其对应的方言无监督标注文本，通常来说，该种标注文本中的一部分是不精准的。方言无监督音频样本的获取方法可以有多种，包括但不限于以下两种：
111.方法一，获取方言电视剧音频作为方言无监督音频，方言电视剧音频对应的字幕作为方言无监督标注文本。
112.方法二，获取方言广播音频作为方言无监督音频，方言广播音频对应的字幕作为方言无监督标注文本。
113.步骤303，根据普通话训练数据和方言训练数据训练声学模型；声学模型包括普通话音频输入层、方言音频输入层、声学共享网络层、普通话声学输出层和方言声学输出层；其中，方言音频输入层、声学共享网络层和方言声学输出层构成方言声学模型。
114.在本申请一些实施例中，训练过程中的声学模型的结构可以如图4所示，图4是根据本申请一个实施例的训练过程中的声学模型的结构示意图。
115.如图4所示，声学模型包括普通话音频输入层、方言音频输入层、声学共享网络层、
普通话声学输出层和方言声学输出层。上述各层在不同的场景中可以有不同的选择，本实施例不做限制。例如：
116.普通话音频输入层、方言音频输入层可以为：多层长短期记忆网络、多层卷积神经网络中的任一种，其中，普通话音频输入层和方言音频输入层的参数可以相互不同；
117.声学共享网络层可以为：多层长短期记忆网络、多层卷积神经网络中的任一种；
118.普通话声学输出层、方言声学输出层可以为：sigmoid、softmax中的任一种，其中，普通话声学输出层和方言声学输出层的参数可以不同。
119.在本申请一些实施例中，方言音频输入层、声学共享网络层和方言声学输出层构成方言声学模型。普通话音频输入层、声学共享网络层和普通话声学输出层构成普通话声学模型。
120.步骤304，将方言音频样本输入至方言声学模型，获得方言声学向量样本。
121.可以理解地，方言声学模型可以根据输入的方言音频样本，生成对应的方言声学向量样本，该方言声学向量可以表现该方言音频样本的特征。
122.步骤305，根据普通话标注文本、方言标注文本和方言声学向量样本训练匹配度判别器，并根据匹配度判别器、方言无监督音频样本和方言无监督音频样本对应的文本，获取第一方言置信度。
123.在本申请一些实施例中，根据普通话标注文本、方言标注文本和方言声学向量样本训练匹配度判别器的方法可以有多种，包括但不限于以下两种方法：
124.方法一，预设一个神经网络模型，对该预设模型进行训练，在输入为普通话标注文本与方言声学向量样本的情况下，该神经网络模型输出为0；在输入为方言标注文本与方言声学向量样本的情况下，该神经网络模型输出为1。经过训练的神经网络模型即为匹配度判别器。
125.方法二，可以设置第一神经网络语言模型、第二神经网络语言模型以及匹配度判别器。其中，模型的结构可以如图5所示，图5是根据本申请一个实施例的训练匹配度判别器的模型结构的示意图，可以包括步骤一－步骤四：
126.步骤一，从普通话标注文本中获取目标普通话标注文本，并将目标普通话标注文本输入至第一神经网络语言模型，获得普通话文本向量；其中，第一神经网络语言模型包括第一普通话文本输入层和第一语言共享网络层。
127.在本申请一些实施例中，为了使得模型的方言辨识能力更强，可以从普通话标注文本中获取目标普通话标注文本，其中，目标普通话标注文本可以是普通话标注文本中与方言标注文本语义或发音相似度高的标注文本。
128.如图5所示，训练匹配度判别器的模型可以包括：第一神经网络语言模型、第二神经网络语言模型、匹配度判别器。其中，第一神经网络语言模型可以包括：第一普通话文本输入层和第一语言共享网络层。第一普通话文本输入层可以为：多层长短期记忆网络、多层卷积神经网络中的任一种。第一语言共享网络层可以为不同结构的神经网络语言模型。
129.可以理解地，将目标普通话标注文本输入至第一神经网络语言模型，可以获得普通话文本向量。
130.步骤二，将方言标注文本输入至第二神经网络语言模型，获得方言文本向量；第二神经网络语言模型包括第一方言文本输入层和第一语言共享网络层。
131.如图5所示，第二神经网络语言模型可以包括：第一方言文本输入层和第一语言共享网络层。第一方言文本输入层可以为：多层长短期记忆网络、多层卷积神经网络中的任一种。第一语言共享网络层即为步骤一中的第一语言共享网络层。
132.可以理解地，将方言标注文本输入至第二神经网络语言模型，可以获得方言文本向量。
133.步骤三，将方言声学向量样本、普通话文本向量和方言文本向量输入至匹配度判别器，获得普通话置信度和第二方言置信度。
134.在本申请一些实施例中，如图5所示，可以设置一个匹配度判别器，该匹配度判别器的种类可以根据应用场景的不同进行选择，本实施例不做限制。例如：transformer模型、bigbird模型。普通话文本向量和方言声学向量样本作为模型输入是，对应的是普通话置信度；方言文本向量和方言声学向量样本作为输入时，对应的是第二方言置信度。可以理解地，普通话置信度和第二方言置信度可以根据应用场景的不同进行选择，本实施例不做限制。例如：普通话置信度为0且第二方言置信度为1，或普通话置信度为－1且第二方言置信度为1。
135.步骤四，根据第二方言置信度和普通话置信度训练匹配度判别器。
136.可以理解地，当该匹配度判别器输入为普通话文本向量和方言声学向量样本时，该模型的输出为普通话置信度；当该匹配度判别器输入为方言文本向量和方言声学向量样本时，该模型的输出为第二方言置信度。
137.在本申请一些实施例中，根据匹配度判别器、方言无监督音频样本和方言无监督音频样本对应的文本，获取第一方言置信度的方法可以有多种，其中一种的步骤如下：
138.步骤一，将方言无监督音频样本输入至方言声学模型，获得方言无监督声学向量。
139.可以理解地，方言声学模型可以根据输入的无监督音频样本，生成对应的方言无监督声学向量。
140.步骤二，将方言无监督音频样本对应的文本输入至第二神经网络，获得方言无监督文本向量。
141.可以理解地，无监督音频样本会存在对应的文本，第二神经网络可以根据输入的文本，生成对应的方言无监督文本向量。
142.步骤三，将方言无监督声学向量和方言无监督文本向量输入至匹配度判别器，获取第一方言置信度。
143.可以理解地，方言无监督音频样本中，一些样本的数据精准度可以满足需求，即，方言无监督音频样本对应的文本可以准确表达方言无监督音频样本的含义；一些样本的数据准确度不可以满足需求，即，方言无监督音频样本对应的文本不能准确表达方言无监督音频样本的含义，从而需要降低该样本的权重。在本申请一些实施例中，可以使用匹配度判别器对方言无监督音频样本进行筛选，可以将将方言无监督声学向量和方言无监督文本向量输入至匹配度判别器，获取第一方言置信度。
144.步骤306，根据第一方言置信度对方言无监督音频样本进行筛选降权，并将经过筛选降权的方言无监督音频样本作为新的方言无监督音频样本，返回执行根据普通话训练数据和方言训练数据训练声学模型的步骤，直至声学模型的准确率满足预设条件为止。
145.可以理解地，第一方言置信度较低的方言无监督音频样本，其数据准确性不足。在
本申请一些实施例中，可以设置一个阈值，对第一方言置信度小于该阈值的方言无监督音频样本进行筛选降权，并将经过筛选降权的方言无监督音频样本作为新的方言无监督音频样本，返回执行根据普通话训练数据和方言训练数据训练声学模型的步骤，直至声学模型的准确率满足预设条件为止。其中，声学模型的准确率判断标准可以有多种，包括但不限于：词错误率，和/或，句子识别错误率。
146.根据本申请实施例的语音识别方法，通过第一方言置信度，对无监督音频样本进行筛选降权，使得声学模型可以实现自优化迭代，实现：声学模型性能提升，从而导致匹配度判别器性能提升，从而导致方言无监督音频样本更加精准，从而继续提升声学模型的性能。在一轮轮的自由化迭代中，方言无监督音频样本中第一置信度低的会被降权或者筛选掉，形成了闭环自由化，可以优化模型的初始化效果。根据实验表明，可以起到十倍方言标注文本的效果，解决了数据量不足的问题。
147.在本申请的第四实施例中，基于上述实施例，还可以通过第一方言置信度对方言统计语言模型中的方言无监督音频样本进行筛选降重。
148.为了更清楚说明该步骤，可以通过图6具体说明。图6是根据本申请第四实施例的语音识别方法的流程图，包括：
149.步骤601，在根据普通话训练数据和方言训练数据训练声学模型时，根据普通话标注文本、方言标注文本和方言无监督音频样本对应的文本，训练统计语言模型；统计语言模型包括第二普通话文本输入层、第二方言文本输入层、第二语言共享网络层、普通话语言输出层、方言语言输出层；其中，第二方言文本输入层、第二语言共享网络层和方言语言输出层构成方言统计语言模型。
150.步骤602，在根据第一方言置信度对方言无监督音频样本进行筛选降权时，根据第一方言置信度对方言无监督音频样本对应的文本进行筛选降权，并将经过筛选降权的方言无监督音频样本对应的文本作为新的方言无监督音频样本对应的文本。
151.在本申请一些实施例中，为了使得方言统计语言模型的输出结果更加准确，可以根据第一方言置信度对方言无监督音频样本进行筛选降权，并将经过筛选降权的方言无监督音频样本对应的文本作为新的方言无监督音频样本对应的文本。
152.根据本申请实施例的语音识别方法，方言无监督音频样本的文本权重由第一方言置信度动态更新，普通话文本权重保持不变。从而优化了声学模型的训练数据，使得声学模型的输出更加准确。
153.本申请还提出了一种语音识别的模型训练方法，本方法的语音识别的模型训练技术方案可以实现声学模型的自优化迭代。图7是根据本申请第五实施例的语音识别的模型训练方法的流程图。需要说明的是，本申请实施例的语音识别的模型训练方法可应用于本申请实施例的语音识别的模型训练装置，该语音识别的模型训练装置可被配置于本申请实施例的电子设备上。如图7所示，该语音识别的模型训练方法可以包括：
154.步骤701，获取普通话训练数据，普通话训练数据包括普通话音频样本及对应的普通话标注文本。
155.可以理解地，为了使得声学模型具有语音识别的能力，需要使用训练数据对声学模型进行训练。
156.在本申请一些实施例中，训练数据可以包括普通话训练数据和方言训练数据，其
中，普通话训练数据可以包括普通话音频样本及其对应的普通话标注文本，该种标注文本通常是精准的、可信的。
157.步骤702，获取方言训练数据，方言训练数据包括方言音频样本及对应的方言标注文本、方言无监督音频样本。
158.在本申请一些实施例中，方言训练数据可以包括方言音频样本及其对应的方言标注文本，该种标注文本通常是精准的、可信的。方言训练数据还可以包括方言无监督音频样本，方言无监督音频样本可以包括方言无监督音频及其对应的方言无监督标注文本，通常来说，该种标注文本中的一部分是不精准的。方言无监督音频样本的获取方法可以有多种，包括但不限于以下两种：
159.方法一，获取方言电视剧音频作为方言无监督音频，方言电视剧音频对应的字幕作为方言无监督标注文本。
160.方法二，获取方言广播音频作为方言无监督音频，方言广播音频对应的字幕作为方言无监督标注文本。
161.步骤703，根据普通话训练数据和方言训练数据训练声学模型；声学模型包括普通话音频输入层、方言音频输入层、声学共享网络层、普通话声学输出层和方言声学输出层；其中，方言音频输入层、声学共享网络层和方言声学输出层构成方言声学模型。
162.在本申请一些实施例中，训练过程中的声学模型的结构可以如图4所示，图4是根据本申请一个实施例的训练过程中的声学模型的结构示意图。
163.如图4所示，声学模型包括普通话音频输入层、方言音频输入层、声学共享网络层、普通话声学输出层和方言声学输出层。上述各层在不同的场景中可以有不同的选择，本实施例不做限制。例如：
164.普通话音频输入层、方言音频输入层可以为：多层长短期记忆网络、多层卷积神经网络中的任一种，其中，普通话音频输入层和方言音频输入层的参数可以相互不同；
165.声学共享网络层可以为：多层长短期记忆网络、多层卷积神经网络中的任一种；
166.普通话声学输出层、方言声学输出层可以为：sigmoid、softmax中的任一种，其中，普通话声学输出层和方言声学输出层的参数可以不同。
167.在本申请一些实施例中，方言音频输入层、声学共享网络层和方言声学输出层构成方言声学模型。
168.步骤704，将方言音频样本输入至方言声学模型，获得方言声学向量样本。
169.可以理解地，方言声学模型可以根据输入的方言音频样本，生成对应的方言声学向量样本，该方言声学向量可以表现该方言音频样本的特征。
170.步骤705，根据普通话标注文本、方言标注文本和方言声学向量样本训练匹配度判别器，并根据匹配度判别器、方言无监督音频样本和方言无监督音频样本对应的文本，获取第一方言置信度。
171.在本申请一些实施例中，根据普通话标注文本、方言标注文本和方言声学向量样本训练匹配度判别器的方法可以有多种，包括但不限于以下两种方法：
172.方法一，预设一个神经网络模型，对该预设模型进行训练，在输入为普通话标注文本与方言声学向量样本的情况下，该神经网络模型输出为0；在输入为方言标注文本与方言声学向量样本的情况下，该神经网络模型输出为1。经过训练的神经网络模型即为匹配度判
别器。
173.方法二，可以设置第一神经网络语言模型、第二神经网络语言模型以及匹配度判别器。其中，模型的结构可以如图5所示，图5是根据本申请一个实施例的训练匹配度判别器的模型结构的示意图，可以包括步骤一－步骤四：
174.步骤一，从普通话标注文本中获取目标普通话标注文本，并将目标普通话标注文本输入至第一神经网络语言模型，获得普通话文本向量；其中，第一神经网络语言模型包括第一普通话文本输入层和第一语言共享网络层。
175.在本申请一些实施例中，为了使得模型的方言辨识能力更强，可以从普通话标注文本中获取目标普通话标注文本，其中，目标普通话标注文本可以是普通话标注文本中与方言标注文本语义或发音相似度高的标注文本。
176.如图5所示，训练匹配度判别器的模型可以包括：第一神经网络语言模型、第二神经网络语言模型、匹配度判别器。其中，第一神经网络语言模型可以包括：第一普通话文本输入层和第一语言共享网络层。第一普通话文本输入层可以为：多层长短期记忆网络、多层卷积神经网络中的任一种。第一语言共享网络层可以为不同结构的神经网络语言模型。
177.可以理解地，将目标普通话标注文本输入至第一神经网络语言模型，可以获得普通话文本向量。
178.步骤二，将方言标注文本输入至第二神经网络语言模型，获得方言文本向量；第二神经网络语言模型包括第一方言文本输入层和第一语言共享网络层。
179.第二神经网络语言模型可以包括：第一方言文本输入层和第一语言共享网络层。第一方言文本输入层可以为：多层长短期记忆网络、多层卷积神经网络中的任一种。第一语言共享网络层即为步骤一中的第一语言共享网络层。
180.可以理解地，将方言标注文本输入至第二神经网络语言模型，可以获得方言文本向量。
181.步骤三，将方言声学向量样本、普通话文本向量和方言文本向量输入至匹配度判别器，获得普通话置信度和第二方言置信度。
182.在本申请一些实施例中，如图5所示，可以设置一个匹配度判别器，该匹配度判别器的种类可以根据应用场景的不同进行选择，本实施例不做限制。例如：transformer模型、bigbird模型。普通话文本向量和方言声学向量样本作为模型输入是，对应的是普通话置信度；方言文本向量和方言声学向量样本作为输入时，对应的是第二方言置信度。可以理解地，普通话置信度和第二方言置信度可以根据应用场景的不同进行选择，本实施例不做限制。例如：普通话置信度为0且第二方言置信度为1，或普通话置信度为－1且第二方言置信度为1。
183.步骤四，根据第二方言置信度和普通话置信度训练匹配度判别器。
184.可以理解地，当该匹配度判别器输入为普通话文本向量和方言声学向量样本时，该模型的输出为普通话置信度；当该匹配度判别器输入为方言文本向量和方言声学向量样本时，该模型的输出为第二方言置信度。
185.在本申请一些实施例中，根据匹配度判别器、方言无监督音频样本和方言无监督音频样本对应的文本，获取第一方言置信度的方法可以有多种，其中一种的步骤如下：
186.步骤一，将方言无监督音频样本输入至方言声学模型，获得方言无监督声学向量。
187.可以理解地，方言声学模型可以根据输入的无监督音频样本，生成对应的方言无监督声学向量。
188.步骤二，将方言无监督音频样本对应的文本输入至第二神经网络，获得方言无监督文本向量。
189.可以理解地，无监督音频样本会存在对应的文本，第二神经网络可以根据输入的文本，生成对应的方言无监督文本向量。
190.步骤三，将方言无监督声学向量和方言无监督文本向量输入至匹配度判别器，获取第一方言置信度。
191.可以理解地，方言无监督音频样本中，一些样本的数据精准度可以满足需求，即，方言无监督音频样本对应的文本可以准确表达方言无监督音频样本的含义；一些样本的数据准确度不可以满足需求，即，方言无监督音频样本对应的文本不能准确表达方言无监督音频样本的含义，从而需要降低该样本的权重。在本申请一些实施例中，可以使用匹配度判别器对方言无监督音频样本进行筛选，可以将将方言无监督声学向量和方言无监督文本向量输入至匹配度判别器，获取第一方言置信度。
192.步骤706，根据第一方言置信度对方言无监督音频样本进行筛选降权，并将经过筛选降权的方言无监督音频样本作为新的方言无监督音频样本，返回执行根据普通话训练数据和方言训练数据训练声学模型的步骤，直至声学模型的准确率满足预设条件为止。
193.可以理解地，第一方言置信度较低的方言无监督音频样本，其数据准确性不足。在本申请一些实施例中，可以设置一个阈值，对第一方言置信度小于该阈值的方言无监督音频样本进行筛选降权，并将经过筛选降权的方言无监督音频样本作为新的方言无监督音频样本，返回执行根据普通话训练数据和方言训练数据训练声学模型的步骤，直至声学模型的准确率满足预设条件为止。其中，声学模型的准确率判断标准可以有多种，包括但不限于：词错误率，和/或，句子识别错误率。
194.根据本申请实施例的语音识别的模型训练方法，通过第一方言置信度，对无监督音频样本进行筛选降权，使得声学模型可以实现自优化迭代，实现：声学模型性能提升，从而导致匹配度判别器性能提升，从而导致方言无监督音频样本更加精准，从而继续提升声学模型的性能。在一轮轮的自由化迭代中，方言无监督音频样本中第一置信度低的会被降权或者筛选掉，形成了闭环自由化，可以优化模型的初始化效果。根据实验表明，可以起到十倍方言标注文本的效果，解决了数据量不足的问题。
195.在本申请的第六实施例中，基于上述实施例，还可以通过第一方言置信度对方言统计语言模型中的方言无监督音频样本进行筛选降重。
196.为了更清楚说明该步骤，可以通过图8具体说明。图8是根据本申请第六实施例的语言识别的模型训练方法的流程图，包括：
197.步骤801，在根据普通话训练数据和方言训练数据训练声学模型时，根据普通话标注文本、方言标注文本和方言无监督音频样本对应的文本，训练统计语言模型；统计语言模型包括第二普通话文本输入层、第二方言文本输入层、第二语言共享网络层、普通话语言输出层、方言语言输出层；其中，第二方言文本输入层、第二语言共享网络层和方言语言输出层构成方言统计语言模型。
198.步骤802，在根据第一方言置信度对方言无监督音频样本进行筛选降权时，根据第
一方言置信度对方言无监督音频样本对应的文本进行筛选降权，并将经过筛选降权的方言无监督音频样本对应的文本作为新的方言无监督音频样本对应的文本。
199.在本申请一些实施例中，为了使得方言统计语言模型的输出结果更加准确，可以根据第一方言置信度对方言无监督音频样本进行筛选降权，并将经过筛选降权的方言无监督音频样本对应的文本作为新的方言无监督音频样本对应的文本。
200.根据本申请实施例的语音识别的模型训练方法，方言无监督音频样本的文本权重由第一方言置信度动态更新，普通话文本权重保持不变。从而优化了声学模型的训练数据，使得声学模型的输出更加准确。
201.根据本申请的实施例，本申请还提出了一种语音识别装置。
202.图9是根据本申请一个实施例的语音识别装置的结构框图。如图9所示，该语音识别装置900可以包括：第一获取模块910，处理模块920，解码模块930，生成模块940，确定模块950，其中：
203.第一获取模块910，用于获取待识别语音；
204.处理模块920，用于将待识别语音输入至经过训练的方言声学模型，获得与待识别语音的特征序列对应的音素后验概率分布和方言声学向量；
205.解码模块930，用于根据特征序列对应的音素后验概率分布结合经过训练的方言统计语言模型对待识别语音进行解码，得到n个候选词序列；其中，n为正整数；
206.生成模块940，用于将n个候选词序列输入至经过训练的第一神经网络语言模型，得到n个第一文本向量，并将n个候选词序列输入至经过训练的第二神经网络语言模型，得到n个第二文本向量；以及
207.确定模块950，用于根据方言声学向量、n个第一文本向量和n个第二文本向量，从n个候选词序列之中确定出待识别语音的语音识别结果。
208.在本申请一些实施例中，如图10所示，图10是根据本申请另一个实施例的语音识别装置的结构框图，该语音识别装置1000中，确定模块1050还包括：第一获取单元1051，第二获取单元1052，筛选单元1053，结果生成单元1054，其中：
209.第一获取单元1051，用于根据方言声学向量和n个第一文本向量，获取n个候选词序列的n个普通话置信度。
210.第二获取单元1052，用于根据方言声学向量和n个第二文本向量，获取n个候选词序列的n个方言置信度。
211.筛选单元1053，用于根据n个普通话置信度和n个方言置信度，从n个候选词序列中找出普通话置信度满足第一条件且方言置信度满足第二条件的候选词序列。
212.结果生成单元1054，用于将普通话置信度满足第一条件且方言置信度满足第二条件的候选词序列，作为待识别语音的语音识别结果。
213.其中，图10中1010
‑
1040和图9中910
‑
940具有相同功能和结构。
214.在本申请一些实施例中，如图11所示，图11是根据本申请又一个实施例的语音识别装置的结构框图，该语音识别装置1100中，还包括：训练模块1160，其中，训练模块1160包括：第三获取单元1161，第四获取单元1162，训练单元1163，第五获取单元1164，第六获取单元1165，迭代训练单元1166，其中：
215.第三获取单元1161，用于获取普通话训练数据，普通话训练数据包括普通话音频
样本及对应的普通话标注文本。
216.第四获取单元1162，用于获取方言训练数据，方言训练数据包括方言音频样本及对应的方言标注文本、方言无监督音频样本。
217.训练单元1163，用于根据普通话训练数据和方言训练数据训练声学模型；声学模型包括普通话音频输入层、方言音频输入层、声学共享网络层、普通话声学输出层和方言声学输出层；其中，方言音频输入层、声学共享网络层和方言声学输出层构成方言声学模型。
218.第五获取单元1164，用于将方言音频样本输入至方言声学模型，获得方言声学向量样本。
219.第六获取单元1165，用于根据普通话标注文本、方言标注文本和方言声学向量样本训练匹配度判别器，并根据匹配度判别器、方言无监督音频样本和方言无监督音频样本对应的文本，获取第一方言置信度。
220.迭代训练单元1166，用于根据第一方言置信度对方言无监督音频样本进行筛选降权，并将经过筛选降权的方言无监督音频样本作为新的方言无监督音频样本，返回执行根据普通话训练数据和方言训练数据训练声学模型的步骤，直至声学模型的准确率满足预设条件为止。
221.其中，图11中1110
‑
1150和图10中1010
‑
1040具有相同功能和结构。
222.在本申请一些实施例中，如图12所示，图12是根据本申请又一个实施例的语音识别装置的结构框图，该语音识别装置1200中，还包括：第二训练模块1270，第一降权模块1280，其中：
223.第二训练模块1270，用于在根据普通话训练数据和方言训练数据训练声学模型时，根据普通话标注文本、方言标注文本和方言无监督音频样本对应的文本，训练统计语言模型；统计语言模型包括第二普通话文本输入层、第二方言文本输入层、第二语言共享网络层、普通话语言输出层、方言语言输出层；其中，第二方言文本输入层、第二语言共享网络层和方言语言输出层构成方言统计语言模型。
224.第一降权模块1280，用于在根据第一方言置信度对方言无监督音频样本进行筛选降权时，根据第一方言置信度对方言无监督音频样本对应的文本进行筛选降权，并将经过筛选降权的方言无监督音频样本对应的文本作为新的方言无监督音频样本对应的文本。
225.其中，图12中1210
‑
1260和图11中1110
‑
1160具有相同功能和结构。
226.根据本申请的实施例，本申请还提出了一种语音识别的模型训练装置。
227.图13是根据本申请一个实施例的语音识别的模型训练装置的结构框图。如图13所示，该语音识别的模型训练装置1300可以包括：第二获取模块1310，第三获取模块1320，第三训练模块1330，第四获取模块1340，第五获取模块1350，迭代训练模块1360，其中：
228.第二获取模块1310，用于获取普通话训练数据，普通话训练数据包括普通话音频样本及对应的普通话标注文本。
229.第三获取模块1320，用于获取方言训练数据，方言训练数据包括方言音频样本及对应的方言标注文本、方言无监督音频样本。
230.第三训练模块1330，用于根据普通话训练数据和方言训练数据训练声学模型；声学模型包括普通话音频输入层、方言音频输入层、声学共享网络层、普通话声学输出层和方言声学输出层；其中，方言音频输入层、声学共享网络层和方言声学输出层构成方言声学模
型。
231.第四获取模块1340，用于将方言音频样本输入至方言声学模型，获得方言声学向量样本。
232.第五获取模块1350，用于根据普通话标注文本、方言标注文本和方言声学向量样本训练匹配度判别器，并根据匹配度判别器、方言无监督音频样本和方言无监督音频样本对应的文本，获取第一方言置信度。
233.迭代训练模块1360，用于根据第一方言置信度对方言无监督音频样本进行筛选降权，并将经过筛选降权的方言无监督音频样本作为新的方言无监督音频样本，返回执行根据普通话训练数据和方言训练数据训练声学模型的步骤，直至声学模型的准确率满足预设条件为止。
234.在本申请一些实施例中，如图14所示，图14是根据本申请另一个实施例的语音识别的模型训练装置的结构框图，该语音识别的模型训练装置1400中，还包括：第四训练模块1470，第二降权模块1480，其中：
235.第四训练模块1470，用于在根据普通话训练数据和方言训练数据训练声学模型时，根据普通话标注文本、方言标注文本和方言无监督音频样本对应的文本，训练统计语言模型；统计语言模型包括第二普通话文本输入层、第二方言文本输入层、第二语言共享网络层、普通话语言输出层、方言语言输出层；其中，第二方言文本输入层、第二语言共享网络层和方言语言输出层构成方言统计语言模型。
236.第二降权模块1480，用于在根据第一方言置信度对方言无监督音频样本进行筛选降权时，根据第一方言置信度对方言无监督音频样本对应的文本进行筛选降权，并将经过筛选降权的方言无监督音频样本对应的文本作为新的方言无监督音频样本对应的文本。
237.其中，图14中1410
‑
1460和图13中1310
‑
1360具有相同功能和结构。
238.关于上述实施例中的系统，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
239.根据本申请的实施例，本申请还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
240.图15示出了可以用来实施本申请的实施例的示例电子设备1500的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
241.如图15所示，设备1500包括计算单元1501，其可以根据存储在只读存储器(rom)1502中的计算机程序或者从存储单元1508加载到随机访问存储器(ram)1503中的计算机程序，来执行各种适当的动作和处理。在ram 1503中，还可存储设备1500操作所需的各种程序和数据。计算单元1501、rom 1502以及ram 1503通过总线1504彼此相连。输入/输出(i/o)接口1505也连接至总线1504。
242.设备1500中的多个部件连接至i/o接口1505，包括：输入单元1506，例如键盘、鼠标等；输出单元1507，例如各种类型的显示器、扬声器等；存储单元1508，例如磁盘、光盘等；以
及通信单元1509，例如网卡、调制解调器、无线通信收发机等。通信单元1509允许设备1500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
243.计算单元1501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1501的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1501执行上文所描述的各个方法和处理，例如语音识别方法，或语音识别的模型训练方法。例如，在一些实施例中，语音识别方法，或语音识别的模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1508。在一些实施例中，计算机程序的部分或者全部可以经由rom 1502和/或通信单元1509而被载入和/或安装到设备1500上。当计算机程序加载到ram 1503并由计算单元1501执行时，可以执行上文描述的语音识别方法，或语音识别的模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行语音识别方法，或语音识别的模型训练方法。
244.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
245.用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
246.在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
247.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用
任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
248.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网和区块链网络。
249.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
250.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
251.上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。