一种语音增强方法、装置及存储介质与流程

本发明涉及语音处理领域，尤其是一种语音增强方法、装置及存储介质。
背景技术：
：目前，手机、服务机器人和翻译机等等具有语音交互功能的电子产品的应用范围越来越广泛，能应用于不同的环境中。而在使用语音交互功能时，环境当中会具有噪声从而影响用户的体验。相关技术中，为了消除噪声，将带噪声的语音输入至深度神经网络模型(例如cnn(convolutionalneuralnetworks，卷积神经网络)进行训练，利用训练后的深度神经网络模型进行语音噪声的过滤。然而，现有的深度神经网络模型的训练过程中，当网络模型的层次达到一深度后，其只能保留短期记忆，存在无法灵活输出等长序列的问题，因此有必要设计一种新的语音处理方法。技术实现要素：有鉴于此，为了解决上述技术问题，本发明的目的是提供一种语音增强方法、装置及存储介质。本发明采用的技术方案是：一种语音增强方法，包括：获取训练数据集；所述训练数据集包括纯净语音数据以及噪声语音数据；将所述纯净语音数据输入判别网络进行训练，使得所述判别网络的输出结果表征真实结果，得到判别网络模型；根据所述噪声语音数据对生成网络进行训练，得到生成网络模型；所述生成网络模型的输出结果输入至所述判别网络模型使得所述判别网络模型的输出结果表征真实结果，所述判别网络以及所述生成网络中的至少一个基于时域卷积网络进行训练；将待处理语音输入所述生成网络模型，得到增强语音。进一步，所述根据所述噪声语音数据对生成网络进行训练，得到生成网络模型，包括：对噪声语音数据进行数据处理，得到噪声语音数据的幅度谱和相位谱；将所述幅度谱输入所述生成网络提取语音特征；根据所述相位谱和所述语音特征进行语音重构；将语音重构结果输入至所述判别网络模型，并根据所述判别网络模型的输出结果对所述生成网络的网络参数进行调整，根据调整后的生成网络生成所述生成网络模型。进一步，所述幅度谱包括帧序列，所述将所述幅度谱输入所述生成网络提取语音特征，包括：通过第一二维因果卷积层集合对所述帧序列进行因果卷积处理，得到不同尺寸的第一因果卷积处理结果；所述第一二维因果卷积层集合包括若干个第一二维因果卷积层，每一所述第一二维因果卷积层输入的帧数和输出的帧数相同；对所述第一因果卷积处理结果进行第一处理，得到一维信号；所述第一处理包括批归一化和非线性处理；通过时域卷积模块对所述一维信号进行处理，得到所述语音特征。进一步，所述时域卷积模块包括膨胀块，所述通过时域卷积模块对所述一维信号进行处理，根据处理结果得到所述语音特征，包括：通过膨胀块对所述一维信号进行膨胀卷积处理，得到所述语音特征；所述膨胀卷积处理基于膨胀因子定义，所述膨胀因子用于调整所述时域卷积网络的接收范围。进一步，所述膨胀块包括第一残差块和第二残差块，所述通过膨胀块对所述一维信号进行膨胀卷积处理，包括：通过第一残差块对所述一维信号进行第一残差处理，并通过第二残差块对第一残差处理结果进行第二残差处理，其中所述第一残差块和所述第二残差块的所述膨胀因子按照预设规则递增；所述通过第一残差块对所述一维信号进行第一残差处理，包括：通过第一残差块对所述一维信号进行第一卷积处理；对第一卷积处理结果进行第一批量归一化；对第一批量归一化结果进行非线性处理；对非线性处理结果进行第二批量归一化；对第二批量归一化结果进行第二卷积处理。进一步，根据所述相位谱和所述语音特征进行语音重构，包括：根据所述相位谱与所述语音特征，通过第二二维因果卷积层集合进行因果转置卷积处理实现语音重构；所述第二二维因果卷积层集合包括若干个第二二维因果卷积层，每一所述第二二维因果卷积层与所述第一二维因果卷积层集合中对称的第一二维因果卷积层的输出连接。进一步，所述根据所述噪声语音数据对生成网络进行训练，包括：根据所述噪声语音数据对生成网络进行训练，并在训练过程中根据预设丢包率对生成网络进行网络正则化。本发明还提供一种语音增强装置，包括：获取模块，用于获取训练数据集；所述训练数据集包括纯净语音数据以及噪声语音数据；第一训练模块，用于将所述纯净语音数据输入判别网络进行训练，使得所述判别网络的输出结果表征真实结果，得到判别网络模型；第二训练模块，用于根据所述噪声语音数据对生成网络进行训练，得到生成网络模型；所述生成网络模型的输出结果输入至所述判别网络模型使得所述判别网络模型的输出结果表征真实结果，所述判别网络以及所述生成网络中的至少一个基于时域卷积网络进行训练；增强模块，用于将待处理语音输入所述生成网络模型，得到增强语音。本发明还提供一种语音增强装置，包括处理器以及存储器；所述存储器存储有程序；所述处理器执行所述程序以实现所述方法。本发明还提供一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行时实现所述方法。本发明的有益效果是：将所述纯净语音数据输入判别网络进行训练，使得所述判别网络的输出结果表征真实结果，得到判别网络模型，根据所述噪声语音数据对生成网络进行训练，得到生成网络模型；所述生成网络模型的输出结果输入至所述判别网络模型使得所述判别网络模型的输出结果表征真实结果，通过引入生成对抗网络保证生成网络模型输出结果为所需要的真实结果，从而使得待处理语音输入所述生成网络模型后得到的增强语音为去除噪声的纯净语音；而通过时域卷积网络对所述判别网络以及所述生成网络中的至少一个进行训练，可以使得所训练过程稳定，训练过程中能够保留更加长期的记忆且更加灵活。附图说明图1为本发明语音增强方法的步骤流程示意图；图2为本发明具体实施例残差块处理过程示意图；图3为本发明具体实施例训练过程的示意图。具体实施方式为了使本
技术领域：
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。本发明实施例中所涉及的生成对抗网络(gan网络)指的是包含生成网络(g网络)以及判别网络(d网络)的网络。语音增强技术指的是指当语音信号被各种各样的噪声干扰、甚至淹没后，从噪声背景中提取有用的语音信号，从而抑制、降低噪声干扰的技术，即从含噪语音中提取尽可能纯净的原始语音的技术。如图1所示，本发明实施例提供一种语音增强方法，包括步骤s100-s400：s100、获取训练数据集。具体地，所述训练数据集包括纯净语音数据以及噪声语音数据。本发明实施例中，噪声语音数据指的是混杂有纯净语音以及对纯净语音具有干扰作用的噪声的语音信号。可选地，噪声包括单不限于干扰噪声或者背景噪声，干扰噪声可以指外界噪声或是由房间围护结构传递来的噪声，背景噪声可以指听者周围的噪声，一般的室内噪声或自室外传人室内的交通噪声均属于背景噪声，它是难于避免的一般噪声，传输噪声是指就是指数据传输过程中周围各种干扰对数据产生的影响，用示波器可以看到，例如数字和模拟电路都会出现的噪声。另外，纯净语音数据指的是没有噪声或者含有噪声低于一定程度(自定义)的语音信号。s200、将所述纯净语音数据输入判别网络进行训练，使得所述判别网络的输出结果表征真实结果，得到判别网络模型。具体地，将纯净语音数据输入判别网络进行训练，在训练过程中调整判别网络的模型参数，使得当纯净语音数据输入至判别网络中，而判别网络的输出结果表征真实结果时，将当前的模型参数作为判别网络的模型参数，得到训练后的判别网络，即判别网络模型。可选地，当判别网络的输出结果为1时，表征真实结果；而当判别网络的输出结果为0时，表征非真实结果，需要继续对判别网络的模型参数进行调整，继续训练，直至判别网络的输出结果为1。s300、根据所述噪声语音数据对生成网络进行训练，得到生成网络模型；判别网络以及生成网络中的至少一个基于时域卷积网络进行训练。具体地，利用噪声语音数据对生成网络进行训练，将生成网络的输出结果输入至判别网络模型，调整生成网络的模型参数，直至生成网络的输出结果输入至判别网络模型后，判别网络模型的输出结果为1，即表征真实结果，然后将生成网络当前的模型参数作为模型参数确定生成网络模型。可以理解的是，此时生成网络模型的输出结果输入至所述判别网络模型使得所述判别网络模型的输出结果表征真实结果。本发明实施例中，判别网络以及生成网络均采用时域卷积网络(tcn)进行训练，判别网络和生成网络均使用时域卷积网络的框架。需要说明的是，判别网络以及生成网络采用的时域卷积网络的架构相同，本发明实施例中以时域卷积网络在生成网络中的训练过程为例进行说明，判别网络的训练过程类似不再赘述。s400、将待处理语音输入所述生成网络模型，得到增强语音。本发明实施例中，将待处理语音输入生成网络模型后得到的增强语音即为去除一定程度噪声后的纯净的原始语音。需要说明的是，生成网络模型可以包括步骤s311所实现的功能，或者待处理语音也可以为经过步骤s311处理后的语音。具体地，步骤s300包括步骤s311-s314：s311、对噪声语音数据进行数据处理，得到噪声语音数据的幅度谱和相位谱。本发明实施例中，数据可以包括分帧加窗处理和短时傅里叶变换。具体地，将噪声语音数据进行分帧加窗处理，然后进行短时傅里叶变换，得到噪声语音数据的幅度谱和相位谱。可以理解的是，幅度谱包括帧序列。s312、将所述幅度谱输入所述生成网络提取语音特征。本发明实施例中，生成网络采用时域卷积网络的框架，时域卷积网络的框架采用一维全卷积网络(fcn)架构，让每个隐藏层的长度与输入层的长度相同，使得网络产生的输出长度与输入长度相同，并且添加了零填充长度(zeropadding)以保留后续层与以前的长度相同。本发明实施例中，时域卷积网络包括编码器、解码器和tcm(temporalconvolutionalmodule，时域卷积模块)，编码器和解码器分别由第一二维因果卷积层集合和第二二维因果卷积层集合构成，而tcm由一维因果卷积层和膨胀卷积层组成，编码器将有噪声的上述帧序列作为输入。可选地，第一二维因果卷积层集合包括若干个第一二维因果卷积层，第二二维因果卷积层集合包括若干个第二二维因果卷积层，其中第一二维因果卷积层集合和第二二维因果卷积层集合镜像对称，二维因果卷积层的数量相同。需要说明的是，生成网络被设计成g网络被设计成完全卷积的，以至于根本没有全连接的网络层，这迫使网络在输入信号中和整个分层过程中关注时间上紧密的相关性，此外卷积网络还可以减少训练的参数和训练时间。具体地，步骤s312包括步骤s501-s503：s501、通过第一二维因果卷积层集合对所述帧序列进行因果卷积处理，得到不同尺寸的第一因果卷积处理结果。本发明实施例中，编码器的输入大小即位于第一层的第一二维因果卷积层的输入大小为t×320×1，其中t为第一帧数，320为第二帧数，1为输入通道数，第一层的第一二维因果卷积层将通道数从1增加到64，其输出维度是t×320×16，接下来依次连接的7层第一二维因果卷积层沿着框架维度使用卷积以2步的步幅依次减小尺寸，因此每一层的第一二维因果卷积层可以对其输入进行因果卷积处理，从而得到不同尺寸的第一因果卷积处理结果，编码器的最终输出尺寸为t×4×64，即最后一层的输出尺寸为t×4×64，即在编码阶段输入信号被投影，通过多个strided(步长)卷积层进行因果卷积处理实现压缩。需要说明的是，生成网络中，例如编码器的第一二维因果卷积层集合中任何层都不会修改时间维度的大小，因此输出的帧数与输入的帧数相同，即每一所述第一二维因果卷积层输入的帧数和输出的帧数相同，即t相同不会产生变化。需要说明的是，利用第一二维因果卷积层集合进行因果卷积处理直至抽取得到思维向量c的向量表示，与潜在向量z相连接。而潜在向量z指输入语音的特征表，主要由生成网络的编码器进行特征提取得到。需要说明的是，时域卷积网络的卷积网络层层之间是因果关系，通过引入时域卷积网络的进行因果卷积处理使得时间t的输出仅与时间t或更早的上一层中的元素卷积，即tcn＝1d(一维)的fcn，从过去到将来都不会发生信息“泄漏”，tcn可以留住更长远以前的记忆，并且整个框架设计上比cnn(convolutionalneuralnetworks，卷积神经网络)更为简单和精确，tcn可以采用任意长度的序列并将其映射到相同长度的输出序列，非常灵活。同时，利用时域卷积网络的架构进行训练，能够解决现有gan网络存在训练不稳定、信息“泄露”等问题，以及解决现有gan网络的g和d存在网络层次太深或者cnn存在网络层次太深时，只能保留短期记忆，框架较为复杂，无法灵活输出等长序列的问题。s502、对所述第一因果卷积处理结果进行第一处理，得到一维信号。本发明实施例中，第一处理包括批归一化和非线性处理，对第一因果卷积处理结果进行第一处理，即每一第一二维因果卷积层之后均进行第一处理，使得编码器的输出被重塑为尺寸为t×256的一维信号。s503、通过时域卷积模块对所述一维信号进行处理，得到所述语音特征。本发明实施例中，时域卷积模块用于对一维信号进行操作处理，并产生与一维信号相同大小的输出作为语音特征。具体地，所述时域卷积模块包括若干个堆叠连接的膨胀块，每一膨胀块包括若干个依次序连接的残差块，本发明实施例中膨胀块的数量为三个，残差块的数量为六个，其他实施例中膨胀块以及残差块的数量可以根据需要调整。需要说明的是，本发明实施例中残差块的结构相同，示例性地一个膨胀块，并以一个膨胀块包含两个残差块即第一残差块和第二残差块进行说明，当残差块的数量为六个或者膨胀块为多个时原理类似，不再赘述。可选地，步骤s503包括步骤s5031:s5031、通过膨胀块对所述一维信号进行膨胀卷积处理，得到所述语音特征。本发明实施例中，所述膨胀卷积处理基于膨胀因子定义，所述膨胀因子用于调整所述膨胀块的接收范围。本发明实施例中，为解决tcn应用于较长历史的任务时网络深度的问题，采用膨胀卷积处理以实现指数增大的感受野，对于一维信号输入，对膨胀卷积处理f(s)定义为：其中，x为一维信号输入，x∈rn和滤波器f:{0,…,k-1}→r，r为实数集，rn为n维的实数集，s为一维信号中的元素，d是膨胀因子(膨胀率)，k是滤波器大小，s-d·i代表过去的方向，xs-d·i为过去的方向的一维信号输入，n为网络深度，i为滤波器大小取值,范围是(0，k-1)，f(i)为第i个滤波器。因此，膨胀等效于在每两个相邻的滤波器之间引入一个固定的阶跃。可以理解的是，编码器中的第一二维因果卷积层相当于滤波器。当d＝1时，表示输入时每个点都采样，膨胀卷积减小为规则卷积。当d＝2时，表示输入时每2个点采样一个作为输入，因此使用较大的膨胀因子可使顶层的输出代表更大范围的输入，从而有效地扩展了时域卷积网络的接收范围。具体地，通过膨胀块对所述一维信号进行膨胀卷积处理可以包括以下步骤：通过第一残差块对所述一维信号进行第一残差处理，并通过第二残差块对第一残差处理结果进行第二残差处理，其中所述第一残差块和所述第二残差块的所述膨胀因子按照预设规则递增；如图2所示，可选地，所述通过第一残差块对所述一维信号进行第一残差处理，包括：通过第一残差块对所述一维信号进行第一卷积处理；对第一卷积处理结果进行第一批量归一化；对第一批量归一化结果进行非线性处理；对非线性处理结果进行第二批量归一化；对第二批量归一化结果进行第二卷积处理。具体地，输入为一维信号，输出为另一残差块的输入。具体地，所述第一残差块和所述第二残差块的所述膨胀因子按照预设规则递增，例如膨胀因子以指数增长的方式递增，例如指数2，则第一残差块和第二残差块的膨胀因子分别为1、2。可以理解的是，当残差块数量为六个时，膨胀因子分别为1、2、4、8、16、32。本发明实施例中，残差块可以使得网络之间以跨层的方式传递信息，tcn中使用一个残差块来连接一层的卷积，例如膨胀卷积。每个残差块包含两层的卷积(第一卷积处理和第二卷积处理)和非线性映射(非线性处理)。可选地，在每层中还可以加入weightnorm(权重归一化)和dropout(丢包)来正则化网络。需要说明的是，每一残差块的结构相同，均可以包含两次卷积，第一卷积处理和第二卷积卷处理可以为1×1卷积处理，第一批量归一化和第二批量归一化均可以为相同的batchnormalization(批量归一化)，非线性处理可以为prelu非线性。可选地，第一卷积处理和第二卷积卷处理之间可以包括深度卷积，第一卷积处理使输入信道的数目增加一倍，第二卷积卷处理用于回到原始通道数，使输入和输出的加法兼容，而利用深度卷积可以进一步减少了参数的数量。需要说明的是，在深度卷积中通道的数量保持不变，每个输入通道只使用一个滤波器用于输出计算；而在一个正常的卷积中，每个输出通道使用与输入通道数量相同的滤波器。s313、根据所述相位谱和所述语音特征进行语音重构。具体地，步骤s313包括步骤s3131：s3131、根据所述相位谱与所述语音特征，通过第二二维因果卷积层集合进行因果转置卷积处理实现语音重构。具体地，所述第二二维因果卷积层集合包括若干个第二二维因果卷积层，每一所述第二二维因果卷积层与所述第一二维因果卷积层集合中对称的第一二维因果卷积层的输出连接，相当于编码阶段直接将波形的细粒度信息传递给解码阶段，而避免强制所有的信息都流过压缩瓶颈，因为这样为了正确地重构语音波形会丢失许多低级一点的细节；而跳过连接直接将波形的细粒度信息传递给解码阶段还提供了更好的训练行为，因为梯度可以在整个结构中流动得更深，而不会遭受太多的损失。需要说明的是，第二二维因果卷积层集合相当于解码器，其为第一二维因果卷积层集合的镜像，第一二维因果卷积层集合和第二二维因果卷积层集合享相同的底层结构；因果转置卷积处理相当于反卷积处理。本发明实施例中，每一第二二维因果卷积层后都进行批归一化和参数relu(rectifiedlinearunit)非线性。需要说明的是，利用步骤s311得到的相位谱作为增强后的相位并结合因果转置卷积处理，进行语音信号的重构，得到语音重构结果，即增强后的语音。s314、将语音重构结果输入至所述判别网络模型，并根据所述判别网络模型的输出结果对所述生成网络的网络参数进行调整，根据调整后的生成网络生成所述生成网络模型。本发明实施例中，将步骤s3131得到的语音重构结果进行检验，输入至判别网络模型中，获得判别网络模型的输出结果，从而根据输出结果对所述生成网络的网络参数进行调整，例如，当判别网络模型输出0时说明语音重构结果的增强效果没有达到要求，此时调整生成网络的网络参数使得语音重构结果输入判别网络模型后，判别网络模型的输出结果为1时，说明此时的语音重构结果达到要求，将当前的网络参数作为生成网络的网络参数，生成得到生成网络模型，可应用于待处理语音的增强。需要说明的是，在生成网络调整网络参数的过程中，可以参照生成网络的损失函数：其中x为纯净语音数据，为生成的增强语音，z为提取的语音特征，vgan(g)为生成网络的损失函数，min代表取最小值，e为求期望值，pdata为在训练数据集中取值，xc为条件参数，pz()为条件参数，λ为条件参数，d()为d网络(判别网络)的输出值，g()为g网络(生成网络)的输出值，||||1为采用l1范数正则化。可选地，根据所述噪声语音数据对生成网络进行训练，包括步骤：根据所述噪声语音数据对生成网络进行训练，并在训练过程中根据预设丢包率对生成网络进行网络正则化。具体地，利用所述噪声语音数据在生成网络进行训练的过程中，通过预设丢包率(包括但不限于dropout＝0.3)，对生成网络进行网络正则化，例如在编码器的各个层中或者时域卷积模块的各个构成部分中引入dropout(丢包)进行网络正则化。如图3所示，为本发明具体实施例时域卷积网络的训练过程步骤示意图,包括步骤:将训练数据集中的纯净语音和带噪语音分别输入利用时域卷积网络架构的d网络和利用时域卷积网络架构的g网络，即d(tcn)和g(tcn)；对d网络进行训练并调整网络参数直至d网络的输出结果为real，记为1，并将当前网络参数保留作为当前的保留的d网络；将g网络输出的增强语音输入至保留的d网络，当保留的d网络的输出结果为real，记为1，此时g网络的输出的增强语音即为最终获得的增强语音；而保留的d网络的输出结果为fake，记为0，表明当前的增强语音不满足要求，根据该fake的输出结果继续对g网络进行训练，调整g网络的网络参数，直至保留的d网络的输出结果为real，记为1，此时将g网络的输出的增强语音作为最终获得的增强语音。如表1所示，未经过处理的带噪语音、经过现有gan网络的增强语音和经过基于tcn的gan网络的增强语音pesq指标测评结果。pesq(perceptualevaluationofspeechquality，主观语音质量评估)，pesq得分越高，表示语音的主观质量评价效果越好，从表1中可以看出本发明实施例提出的基于tcn的gan网络得分比现有gan网络的高，即说明本发明实施例的语音增强方法的效果更好。表1算法带噪语音gan基于tcn的ganpesq1.51671.62731.6842本发明实施例还提供一种语音增强装置，包括：获取模块，用于获取训练数据集；所述训练数据集包括纯净语音数据以及噪声语音数据；第一训练模块，用于将所述纯净语音数据输入判别网络进行训练，使得所述判别网络的输出结果表征真实结果，得到判别网络模型；第二训练模块，用于根据所述噪声语音数据对生成网络进行训练，得到生成网络模型；所述生成网络模型的输出结果输入至所述判别网络模型使得所述判别网络模型的输出结果表征真实结果，所述判别网络以及所述4生成网络中的至少一个基于时域卷积网络进行训练；增强模块，用于将待处理语音输入所述生成网络模型，得到增强语音。上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。本发明实施例还提供了一种语音增强装置，该设备包括处理器以及存储器；存储器用于存储程序；处理器用于执行程序实现本发明实施例的语音增强方法。本发明实施例的装置可以实现语音增强的功能。该装置可以为包括手机、平板电脑、电脑、个人数字助理(personadigitalassistant，简称pda)、销售终端(pointofsales，简称pos)、车载电脑等任意智能终端。上述方法实施例中的内容均适用于本装置实施例中，本装置实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序，该程序被处理器执行完成如前述发明实施例的语音增强方法。本发明实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述发明实施例的语音增强方法。本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，简称rom)、随机存取存储器(randomaccessmemory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。当前第1页12