语音合成方法、装置、电子设备及可读存储介质与流程

1.本发明属于语音技术领域，特别是涉及一种语音合成方法、装置、电子设备及可读存储介质。


背景技术：

2.随着计算机技术的不断发展，人机语音交互技术也有了很大的进展，而在人机语音交互领域，又有语音识别和语音合成两项关键技术。语音合成，即将输入的文本信息转换为相应的语音，在语音合成的应用场景中，经常会遇到长文本合成，比如新闻类场景。
3.现有技术中，一般是对文本进行强行断句后进行语音合成，这种合成方法，会导致最终的合成效果较差。


技术实现要素：

4.本发明提供一种语音合成方法、装置、电子设备及可读存储介质，以便解决在合成长文本时合成效果较差的问题。
5.为了解决上述技术问题，本发明是这样实现的：
6.第一方面，本发明提供一种语音合成方法，所述方法包括：
7.获取待合成文本的音素特征；
8.将所述音素特征作为已训练声学模型的输入，并基于所述声学模型中的处理层生成所述音素特征对应的声学信息；所述处理层中包含至少一对第一采样模块和第二采样模块；所述第一采样模块用于降低特征维度，所述第二采样模块用于恢复特征维度；所述已训练声学模型基于长度不小于预设长度阈值的样本文本训练得到；
9.基于所述声学信息，获取所述待合成文本对应的语音。
10.第二方面，本发明提供一种语音合成装置，所述装置包括：
11.第一获取模块，用于获取待合成文本的音素特征；
12.生成模块，用于将所述音素特征作为已训练声学模型的输入，并基于所述声学模型中的处理层生成所述音素特征对应的声学信息；所述处理层中包含至少一对第一采样模块和第二采样模块；所述第一采样模块用于降低特征维度，所述第二采样模块用于恢复特征维度；所述已训练声学模型基于长度不小于预设长度阈值的样本文本训练得到；
13.第二获取模块，用于基于所述声学信息，获取所述待合成文本对应的语音。
14.第三方面，本发明提供一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述语音合成方法。
15.第四方面，本发明提供一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述语音合成方法。
16.在本发明实施例中，通过获取待合成文本的音素特征；将音素特征作为已训练声学模型的输入，并基于声学模型中的处理层生成音素特征对应的声学信息；处理层中包含
至少一对第一采样模块和第二采样模块；第一采样模块用于降低特征维度，第二采样模块用于恢复特征维度；已训练声学模型基于长度不小于预设长度阈值的样本文本训练得到；基于声学信息，获取待合成文本对应的语音。这样，通过在声学模型中的第一采样模块和第二采样模块对音素序列参与计算的特征维度先降低，在处理之后再恢复，这样可以在确保为后续操作提供充足的特征信息的同时，降低参与计算的元素个数，从而一定程度上可以不对长文本进行强行断句直接进行语音合成。
17.同时，由于在声学模型中设置了第一采样模块和第二采样模块，使得声学模型的训练过程中也可以不限于模型结构和显存限制，直接使用长文本进行训练，从而一定程度上可以确保声学模型对长文本的处理效果。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明实施例提供的一种语音合成方法的步骤流程图；
20.图2是本发明实施例提供的一种初始声学模型中的处理层的示例图；
21.图3是本发明实施例提供的一种初始声学模型的处理过程示例图；
22.图4是本发明实施例提供的一种语音合成装置的框图；
23.图5是本发明实施例提供的一种电子设备的结构图。
具体实施方式
24.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.图1是本发明实施例提供的一种语音合成方法的步骤流程图，所述方法包括：
26.步骤101、获取待合成文本的音素特征。
27.其中，待合成文本即为需要进行语音合成的文本。待合成文本的音素特征是基于待合成文本通过一系列处理得到的，处理过程可以由前端和前处理结构(encoder pre-net)完成，本发明实施例对此不作限制。具体的，待合成文本可以通过前端处理得到音素序列，音素序列进入编码器的前处理结构进行预处理，得到待合成文本的音素特征。具体的，预处理操作可以是对输入的音素序列进行整形，音素特征可以是一个特征矩阵。
28.步骤102、将所述音素特征作为已训练声学模型的输入，并基于所述声学模型中的处理层生成所述音素特征对应的声学信息；所述处理层中包含至少一对第一采样模块和第二采样模块；所述第一采样模块用于降低特征维度，所述第二采样模块用于恢复特征维度；所述已训练声学模型基于长度不小于预设长度阈值的样本文本训练得到。
29.其中，声学模型可以由编码器、时长预测模块(length regulator)、解码器组成，处理层可以是编码器和\或解码器。具体的，编码器负责对输入的音素特征进行编码，时长
预测模块用于预测每个音素所需的帧长，并将编码器的输出按照所预测的时长进行扩展，解码器对时长预测模块的输出结果进行解码处理，得到待合成文本对应的声学信息，声学信息也就是声学特征，可以包括音色的能量集中区、共振峰频率、共振峰强度等信息。
30.其中，在编码器和解码器中，各存在至少一对第一采样模块和第二采样模块。具体的，第一采样模块也叫做下采样模块，主要用于降低参与计算的特征矩阵维度，示例的，可以采用avgpooling进行降维操作。第二采样模块也叫做上采样模块，主要用于将输入的特征矩阵的维度进行恢复，恢复之后再输出给下一层，具体可以采用deconvolution进行。本步骤通过第一采样模块在降低了本层内计算量的同时，通过第二采样模块确保了输出给下一层的特征矩阵包含充足的信息。由于模型结构和显存限制，文本长度越长，计算量就会越大，相应地，模型占用的显存也会随着文本长度的增加而倍数增长。本发明实施例中，通过设置第一采样模块以及第二采样模块可以在确保后续处理能够拿到充足信息的同时，降低处理层中处理模块的计算量，从而一定程度上可以降低对显存的占用。这样，即使是对长文本进行处理，可以不对长文本进行强行断句，而是直接对长文本进行处理，从而确保对长文本的语音合成效果。
31.其中，预设长度阈值可以根据需要自行设置。具体的，可以设置预设长度阈值是一般场景文本长度的2倍，比如20～50字。长度不小于预设长度阈值的文本可以表征长文本。具体的，可以采用长度等于或略小于预设长度阈值的文本作为训练样本。
32.步骤103、基于所述声学信息，获取所述待合成文本对应的语音。
33.具体的，音素特征经过上述声学模型的处理，最终得到相对应的声学特征，上述声学特征可以通过声码器转换成可播放的语音波形，得到最终的目标语音，即待合成文本对应的语音。具体的，可以采用基于神经网络的声码器直接把声学特征和语音波形做映射，从而确保合成的音质。
34.综上所述，本发明实施例提供的语音合成方法，通过获取待合成文本的音素特征；将音素特征作为已训练声学模型的输入，并基于声学模型中的处理层生成音素特征对应的声学信息；处理层中包含至少一对第一采样模块和第二采样模块；第一采样模块用于降低特征维度，第二采样模块用于恢复特征维度；已训练声学模型基于长度不小于预设长度阈值的样本文本训练得到；基于声学信息，获取待合成文本对应的语音。这样，通过在声学模型中的第一采样模块和第二采样模块对音素序列参与计算的特征维度先降低，在处理之后再恢复，这样可以在确保为后续操作提供充足的特征信息的同时，降低参与计算的元素个数，从而一定程度上可以不对长文本进行强行断句，直接进行语音合成。
35.同时，由于在声学模型中设置了第一采样模块和第二采样模块，使得声学模型的训练过程中也可以不限于模型结构和显存限制，直接使用长文本进行训练，从而一定程度上可以确保声学模型对长文本的处理效果。
36.可选的，本发明实施例中，所述处理层可以包括编码层和/或解码层；任一所述处理层中均包含至少一对所述第一采样模块和第二采样模块。
37.具体的，编码层即为编码器，解码层即为解码器。在编码器和解码器中，各包含至少一对上下采样模块用以降低参与计算的特征维度和恢复降低后的特征维度。这样，在编码层和解码层中均可以通过第一采样模块和第二采样模块对音素序列参与计算的特征维度先降低，再恢复，由此在编码和解码的过程中都可以降低参与计算的元素个数，从而可以
降低显存占用，确保语音合成效果。
38.可选的，本发明实施例中，所述声学模型通过下述方式预先训练得到的：
39.步骤s31、获取所述样本文本的音素特征以及声学信息，得到样本音素特征以及样本声学信息。
40.其中，上述声学信息可以通过工程模块进行提取，本发明实施例对此不作限制。具体的，可以选取预设时间段内的语音数据集作为训练样本集，从样本集中提取出成对的音素特征和声学特征作为训练样本。可选地，该预设时间段可以为10小时，技术人员也可根据经验自行选取，本发明实施例对此不作限制。
41.步骤s32、将所述样本音素特征作为初始声学模型的输入，基于所述初始声学模型中处理层中的第一采样模块降低所述处理层的输入特征的特征维度，基于所述处理层中的处理模块对降低后的所述输入特征进行处理，并基于所述处理层中的第二采样模块恢复处理后的所述输入特征的特征维度，以获取所述处理层的输出特征；所述输入特征基于所述初始声学模型得到。
42.其中，初始声学模型中处理层中的处理模块可以采用fft block模块，或者是fft block的其他变种，例如，sparse transformer、preformer等等。该处理层中可以存在多个fft block模块，fft block模块和第一、第二采样模块的数量均可以根据输入特征的特征维度的增加而增加。
43.示例的，图2是一种初始声学模型中的处理层的示例图，该处理层可以称为u-shape fft block。参照图2，假设初始声学模型的处理层中的处理模块(fft block)数为3，则可设置1对上下采样模块，且处理模块与上下采样模块呈间隔设置，downsampling即为第一采样模块或下采样模块，upsampling即为第二采样模块或上采样模块。具体的，初始声学模型中的处理模块和第一、第二采样模块呈对称结构。
44.具体的，初始声学模型中还可以包括预处理模块，上述处理层为编码层时，上述处理层的输入特征就是经过预处理模块处理后的音素特征。上述处理层为解码层时，上述处理层的输入特征就是经过时长预测模块扩展后的特征矩阵。解码层中的处理模块与编码层中的处理模块所执行的操作可以不同。
45.步骤s33、基于所述输出特征获取所述初始声学模型的预测声学信息，并基于所述预测声学信息以及所述样本声学信息，训练得到所述已训练声学模型。
46.具体的，初始声学模型中还可以包括后处理模块，用以对解码器的输出进行平滑处理，以得到优化平滑后的声学信息。上述输出特征即为解码器的输出。训练模型的过程中，可以将样本音素特征输入至初始声学模型，得到预测声学信息，然后基于样本声学信息与预测声学信息计算初始声学模型当前的损失值，并基于损失值对初始声学模型进行优化，如此反复直至初始声学模型收敛，即可得到训练后的声学模型。需要说明的是，模型训练操作与语音合成操作可以由同一个主体执行，或者，也可以由不同的主体执行，本发明实施例对此不作限制。
47.本发明实施例中，通过获取样本文本的音素特征以及声学信息，得到样本音素特征以及样本声学信息；将样本音素特征作为初始声学模型的输入，基于初始声学模型中处理层中的第一采样模块降低处理层的输入特征的特征维度，基于处理层中的处理模块对降低后的输入特征进行处理，并基于处理层中的第二采样模块恢复处理后的输入特征的特征
维度，以获取处理层的输出特征；输入特征基于初始声学模型得到；基于输出特征获取初始声学模型的预测声学信息，并基于预测声学信息以及样本声学信息，训练得到已训练声学模型。这样，对包含上下采样模块的初始声学模型进行训练，从而使得在模型训练过程中也可以直接使用长文本进行训练，从而使得训练所得到的声学模型可以直接对长文本进行语音合成，从而确保合成效果。
48.可选的，本发明实施例中，任一对所述第一采样模块和第二采样模块之间设置有残差连接；上述基于所述处理层中的第二采样模块恢复处理后的所述输入特征的特征维度的操作之前，还可以包括下述步骤：
49.步骤s41、获取所述第一采样模块输出的残差信息，并为所述处理后的所述输入特征增加所述残差信息。
50.其中，残差信息可以是第一采样模块未经过处理模块处理的输出，增加残差信息可以是将第一采样模块未经过处理模块处理的输出直接与处理模块处理后的特征相加，从而保证更多的数据传输到下一层，提高模型的训练效果。
51.具体的，在处理模块之间也可设置残差连接，如图2所示，第一个处理模块将特征数据向下采样模块传输的同时，可以将残差信息直接传输至第三个处理模块，将该残差信息添加至上采样模块恢复维度后的特征矩阵中，再对添加残差信息后的特征矩阵进行相应处理。
52.本发明实施例中，任一对第一采样模块和第二采样模块之间设置有残差连接，且通过获取第一采样模块输出的残差信息，并为处理模块处理后的特征增加残差信息。这样，通过在上下采样模块之间增加残差结构，保证更多的数据传输到下一层，从而一定程度上可以提高模型训练的效果。
53.可选的，本发明实施例中，所述任一对所述第一采样模块的第一采样参数和第二采样模块的第二采样参数之间互为倒数。
54.其中，第一采样模块主要用于对特征矩阵进行降维，第一采样模块对应的第一采样参数即为降维的倍数。相应地，第二采样模块用于恢复处理模块处理后的特征矩阵的维度，第二采样参数即为恢复维度的倍数。具体的，第一采样参数和第二采样参数可以由本领域人员自行设定。可选的，第一采样参数和第二采样参数可以互为倒数关系，如图2所示，由于fft block(处理模块)之间也存在残差连接，即经过upsampling(第二采样模块)处理后的特征矩阵在输入第三个fft block时需要与第一个fft block传输的残差信息相加，而第一个fft block传输的残差信息的矩阵维度等于未经过downsampling(第一采样模块)的降维处理的特征维度，因此，第二采样参数与第一采样参数互为倒数可以将经过upsampling处理后的特征矩阵恢复至降维前的特征矩阵维度，从而保证上述处理模块之间的残差网络在相加计算时的维度相同。
55.示例的，可以将第一采样参数和第二采样参数设置为1/2和2，则在模型的前向计算中，特征矩阵的维度通过第一采样模块会直接变为原来的1/2，经过处理模块处理后，再通过第二采样模块将特征矩阵的维度恢复至降维前的特征矩阵维度。
56.可选的，本发明实施例中，上述将所述样本音素特征作为初始声学模型的输入的操作之前，还可以包括下述步骤：
57.步骤s61、检测所述样本音素特征的特征维度是否为采样参数之积的整数倍；所述
采样参数之积为所述处理层中各第一采样参数之间的乘积或各第二采样参数之间的乘积。
58.具体的，由于处理层中的第一、第二采样模块可以为多对，相应的，第一、第二采样参数也为多对。其中，第一采样参数为降维的倍数，则需要确保多个第一采样参数之积对于音素特征的特征维度可以整除，从而一定程度上使特征矩阵在多次降维的过程中，每次降维后的特征矩阵维度均为整数，由此可以确保参与计算的特征维度始终保持为整数，保持模型计算过程中的稳定。可选的，第一采样参数与第二采样参数互为倒数，相应地，第二采样参数之积对于音素特征的特征维度也可以整除。
59.步骤s62、若不为所述采样参数之积的整数倍，则扩充所述样本音素特征的特征维度，直至所述样本音素特征的特征维度为所述采样参数之积的整数倍。
60.具体的，若多个采样参数之积对于音素特征的特征维度不可整除，为了确保参与计算的特征维度始终保持为整数，则需要对音素特征数据进行补充，使其维度可以被多个采样参数之积整除。可选的，对音素特征数据进行补充可以为在特征数据的末尾进行补零操作，从而使特征维度可以被多个采样参数之积整除的同时，尽可能减少对处理结果产生影响。示例性地，可以针对训练过程中的每个batch进行补零。
61.本发明实施例中，在将样本音素特征作为初始声学模型的输入之前，检测样本音素特征的特征维度是否为采样参数之积的整数倍；采样参数之积为处理层中各第一采样参数之间的乘积或各第二采样参数之间的乘积；若不为采样参数之积的整数倍，则扩充样本音素特征的特征维度，直至样本音素特征的特征维度为采样参数之积的整数倍。这样，通过对音素特征数据进行补充，使特征矩阵维度可以被第一采样参数之积整除，从而确保特征矩阵在多次降维的过程中，每次降维后的特征矩阵维度均为整数，从而确保参与计算的特征维度始终保持为整数，保证在计算过程中系统的稳定性。
62.图3是本发明实施例的一种初始声学模型的处理过程示例图，如图3所示：
63.该模型主要由编码器，时长预测模块和解码器三部分组成，模型的训练过程如下：
64.步骤a、选取10小时的语音合成(text to speech，tts)数据集，从中提取出成对的音素序列和声学特征；设定第一、第二采样参数，基于第一、第二采样参数对音素序列进行补零操作；
65.步骤b、将上述补零后的音素特征序列输入至该声学模型中；
66.步骤c、将上述音素特征，先输入至模型中的phoneme embedding(前处理结构)中进行处理，再与上述音素序列对应的position embedding(位置编码信息)相加得到预处理后的音素特征；
67.步骤d、将预处理后的音素特征，输入至编码器进行编码。编码器为u-shape fft block1结构，该结构中存在若干对第一采样模块和第二采样模块；
68.步骤e、时长预测模块(length regulator)接收编码器的输出，预测每个输入音素的时长，并将编码器输出的特征矩阵按照上述预测时长扩展为新的矩阵，与位置编码信息相加，作为解码器的输入；
69.步骤f、解码器结构为u-shape fft block2结构，该结构中存在若干对第一采样模块和第二采样模块，解码器对输入特征进行解码，得到声学特征；
70.步骤g、经解码器解码的声学特征经过linear layer(后处理)，得到优化平滑后的声学特征；
71.步骤h、结合损失函数、梯度以及后向传播的计算，重复上述步骤，直至模型收敛，得到最终的声学模型。
72.具体的，在实际部署使用模型时，经语音合成前端将输入文本处理为音素特征序列，经由上述声学模型生成声学特征，最后声学特征通过声码器得到合成的语音。
73.下面对本发明实施例涉及的一种应用场景进行说明。在语音合成的应用场景中，一些特定场景需要长文本合成，比如新闻类、百科类等场景。这些场景中的文本长度一般是其他场景的2～3倍，且因其固定词语搭配较多，无法形成有效合理的断句，增加了语音合成的难度。目前该类场景的解决方案一般分为两类：一、对句子进行字数控制，根据特定语义信息强行断句合成。但强行断开的部分则不够连贯，语音合成效果较差。二、不断句，直接强行合成。这种方式中，由于模型结构和显存限制，模型在训练过程中一般会用10～25字的短句子进行训练。例如，处理模块：fft block内部，特征会经由multi-head attention(多头注意力机制)模块自编码(self-attention)后接ffn和add&norm进行整形和归一化。ffn可以为conv1d模块。而其中的重要模块multi-head attention在时间和空间复杂度均为o(n^2)。这也意味着随着训练文本长度的增加，模型占用的显存将呈现出平方倍数的增长。因此，在训练过程中需要使用短句子训练，但是，这种方式会容易降低训练过程的稳定性，导致模型收敛困难。因此，在合成阶段，直接合成长文本会造成声音变形、语速错乱等问题，无法达成流畅饱满的长文本合成效果。
74.本发明实施例中，设计了一个基于u形结构的transformer(声学模型)端到端语音合成方案，在模型前向计算过程中成倍降低输入特征维度，再逐级恢复，形成一个u形结构，从而使模型在计算过程中有效降低显存，达成长文本参与训练的目的，从而一定程度上可以在合成阶段实现效果自然的长文本合成。
75.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。
76.图4是本发明实施例的一种监控装置的框图，所述装置应用于客户端，如图4所示，所述装置40包括：
77.第一获取模块401，用于获取待合成文本的音素特征；
78.生成模块402，用于将所述音素特征作为已训练声学模型的输入，并基于所述声学模型中的处理层生成所述音素特征对应的声学信息；所述处理层中包含至少一对第一采样模块和第二采样模块；所述第一采样模块用于降低特征维度，所述第二采样模块用于恢复特征维度；所述已训练声学模型基于长度不小于预设长度阈值的样本文本训练得到；
79.第二获取模块403，用于基于所述声学信息，获取所述待合成文本对应的语音。
80.可选的，所述装置40中的所述处理层包括编码层和/或解码层；任一所述处理层中均包含至少一对所述第一采样模块和第二采样模块。
81.可选的，所述装置40中的所述声学模型通过下述模块预先训练得到的：
82.获取子模块，用于获取样本文本的音素特征以及声学信息，得到样本音素特征以及样本声学信息；
83.处理子模块，将所述样本音素特征作为初始声学模型的输入，基于所述初始声学模型中处理层中的第一采样模块降低所述处理层的输入特征的特征维度，基于所述处理层中的处理模块对降低后的所述输入特征进行处理，并基于所述处理层中的第二采样模块恢复处理后的所述输入特征的特征维度，以获取所述处理层的输出特征；所述输入特征基于所述初始声学模型得到；
84.训练子模块，用于基于所述输出特征获取所述初始声学模型的预测声学信息，并基于所述预测声学信息以及所述样本声学信息，训练得到所述已训练声学模型。
85.可选的，所述装置40中任一对所述第一采样模块和第二采样模块之间设置有残差连接；
86.所述处理子模块，还用于基于所述处理层中的第二采样模块恢复处理后的所述输入特征的特征维度之前，获取所述第一采样模块输出的残差信息，并为所述处理后的所述输入特征增加所述残差信息。
87.可选的，所述装置40中任一对所述第一采样模块的第一采样参数和第二采样模块的第二采样参数之间互为倒数。
88.可选的，所述装置40还包括：
89.检测模块，用于将所述样本音素特征作为初始声学模型的输入之前，检测所述样本音素特征的特征维度是否为采样参数之积的整数倍；所述采样参数之积为所述处理层中各第一采样参数之间的乘积或各第二采样参数之间的乘积；
90.扩充模块，用于若不为所述采样参数之积的整数倍，则扩充所述样本音素特征的特征维度，直至所述样本音素特征的特征维度为所述采样参数之积的整数倍。
91.本实施例提供的语音合成装置，通过获取待合成文本的音素特征；将音素特征作为已训练声学模型的输入，并基于声学模型中的处理层生成音素特征对应的声学信息；处理层中包含至少一对第一采样模块和第二采样模块；第一采样模块用于降低特征维度，第二采样模块用于恢复特征维度；基于声学信息，获取待合成文本对应的语音。这样，通过在声学模型中的第一采样模块和第二采样模块对音素序列参与计算的特征维度先降低，在处理之后再恢复，这样可以在确保为后续操作提供充足的特征信息的同时，降低参与计算的元素个数，从而一定程度上可以不对长文本进行强行断句直接进行语音合成。
92.本发明还提供了一种电子设备，参见图5，包括：处理器501、存储器502以及存储在所述存储器上并可在所述处理器上运行的计算机程序5021，所述处理器执行所述程序时实现前述实施例的语音合成方法。
93.本发明还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的语音合成方法。
94.对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
95.在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
96.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
97.类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
98.本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
99.本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明的排序设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
100.应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
101.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
102.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
103.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵
盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。