基于循环帧级特征融合的端到端猕猴声纹验证方法及系统与流程

1.本发明涉及计算机技术领域，特别涉及基于循环帧级特征融合的端到端猕猴声纹验证方法及系统。


背景技术：

2.灵长类动物正面临着严重的生存危机。为了有效开展灵长类动物保护，了解动物个体活动范围及种群变化非常重要。而这些都依赖于动物个体验证与跟踪。同时，动物个体验证，作为一项基础性研究，是实现动物个体跟踪的重要基础，具有重要研究价值。
3.目前常用的动物个体验证技术主要有人工观察法、dna指纹法、标记法、图像验证法和语音验证法。灵长类动物多生活在高山密林之中，很难通过视觉有效的观察动物，且灵长类动物警惕性很高，人类难以接近，使得直接观察法、dna指纹法及标记法难以实施。


技术实现要素：

4.本发明的目的在于克服现有技术缺陷，提出了基于循环帧级特征融合的端到端猕猴声纹验证方法及系统。
5.为了实现上述目的，本发明提出了一种基于循环帧级特征融合的端到端猕猴声纹验证方法，所述方法包括：
6.对待验证的猕猴语音对进行预处理；所述猕猴语音对为两段猕猴语音段；
7.将预处理后的猕猴语音对输入预先训练好的猕猴声纹验证模型，得到待验证的猕猴语音对是否属于同一个体猕猴的结论，从而实现声纹验证；
8.所述猕猴声纹验证模型包括依次连接的骨干网络、特征融合网络和特征压缩网络；其中，所述骨干网络，用于进行帧级别的特征提取；所述特征融合网络，用于对特征提取的帧级别特征矢量进行循环帧截取并分组，再基于通道加权融合机制将帧级别特征映射为融合帧特征；所述特征压缩网络，用于对融合帧特征进行压缩，得到猕猴语音段对应的句子级特征。
9.作为上述方法的一种改进，所述对待验证的猕猴语音对进行预处理；具体为：
10.将待验证的两段语音段中的静音段裁剪掉，得到预处理后的语音格式数据。
11.作为上述方法的一种改进，所述骨干网络的输入为预处理后的语音格式数据，输出为帧级别特征矢量；所述骨干网络包括依次连接的：1个可学习带通滤波器卷积层，6个一维残差卷积块，1个1
×
1通道转换卷积层和2个多头转换块；具体处理过程为：
12.所述可学习带通滤波器卷积层将语音格式数据的时域信息转化为频域信息，并结合6个一维残差卷积块及其池化操作，在提取特征的同时缩小特征维度，由1个1
×
1的通道转换卷积层对残差卷积块的输出特征进行通道转换，然后再进行多头转换输出帧级别特征矢量。
13.作为上述方法的一种改进，所述特征融合网络的输入为帧级别特征矢量，输出为融合帧特征矢量，所述特征融合网络包括循环帧截取分组单元和通道组，所述循环帧截取
分组单元将帧级别特征矢量首尾相连，得到特征序列f，以预设步长对f进行分组，得到特征序列的分组表示fg；所述通道组，用于基于通道加权融合机制将fg映射为融合帧特征；所述通道组包括若干个cfm层，每个cfm层包括并联的第一分支和第二分支；其中，所述cfm层的具体处理过程为：
14.将分组后的帧级别特征矢量经第一分支进行转置处理，得到融合帧特征的第一部分；将分组后的帧级别特征矢量经第二分支的2个fc处理后，分别经过1个最大池化层和1个平均池化层，将最大池化层和平均池化层的输出进行矩阵加法计算，然后由sigmoid层进行激活处理，得到融合帧特征的第二部分；将融合帧特征的第一部分与融合帧特征的第二部分进行点乘计算，得到融合帧特征矢量。
15.作为上述方法的一种改进，所述特征压缩网络的输入为融合帧特征矢量，输出为维度为d的句子级特征矢量，所述特征压缩网络包括依次连接的1个门控循环单元和1个全连接层；
16.所述特征压缩网络的输出为维度为d的句子级特征矢量e：
17.e＝h(x)e∈r
d
18.len(x)＝l
19.其中，r表示实数，e包括d个实数，x表示帧级的特征矢量矩阵，l为x的长度，h()表示嵌入映射函数，len()表示特征矢量矩阵中的帧数。
20.作为上述方法的一种改进，所述方法还包括猕猴声纹验证模型的训练步骤和测试步骤；具体包括：
21.步骤1)对猕猴语料库的语音段进行预处理，所述预处理后的猕猴语料库包括t只猕猴的若干语料；
22.步骤2)从预处理后的猕猴语料库随机选取t1只猕猴的语音段作为训练语料库，剩余t
‑
t1只猕猴的语音段作为测试语料库；
23.步骤3)从训练语料库选取数据建立训练集；将训练集数据随机划分为q组，每组包含m只猕猴，每只猕猴有n个语音段；
24.步骤4)从测试语料库抽取数量相等的正样本语音对和负样本语音对构成测试集，所述正样本语音对为同一只猕猴的两段不同语音，所述负样本语音对为两只猕猴各自的一段语音；
25.步骤5)将训练集中的q组数据依次输入猕猴声纹验证模型，设置学习率为0.001，衰减率为0.0001，使用斜率为
‑
0.3的leaky relu激活函数，采用amsgrad进行训练，计算损失函数，通过反向传播算法将损失值反向传播，进行网络参数更新，当q组数据全部输入一遍后，完成一个训练周期；
26.步骤6)将测试集数据依次输入当前训练周期得到的猕猴声纹验证模型，计算得到当前训练周期的准确率结果；
27.步骤7)重复步骤5)和步骤6)，直至完成p个训练周期；从p个准确率结果中选取最大值对应的网络参数组合为猕猴声纹验证模型的最优参数组合，从而得到训练好的猕猴声纹验证模型。
28.作为上述方法的一种改进，所述计算损失函数的具体过程为：
29.根据每组猕猴语音段的句子级特征，计算余弦距离dist(a,a')为：
[0030][0031]
其中，a表示一个句子级特征，a'表示另一个句子级特征，||
·
||表示二阶范数；
[0032]
根据余弦距离dist(a,a')，计算类内损失和类间损失，如下式：
[0033][0034]
其中，j表示第i只猕猴的一段语音，k表示另一个语音段，j＝k表示两个语音段属于同一只猕猴i，计算得到的损失值s
ji,k
为类内损失；j≠k表示两个语音段属于不同猕猴，计算得到的损失值s
ji,k
为类间损失；w为加权值，b为偏置；
[0035]
由下式计算猕猴声纹验证模型的损失函数loss
ji
为：
[0036][0037]
一种基于循环帧级特征融合的端到端猕猴声纹验证系统，所述系统包括：训练好的猕猴声纹验证模型、数据处理模块和验证模块；其中，
[0038]
所述数据处理模块，用于对待验证的猕猴语音对进行预处理；所述猕猴语音对为两段猕猴语音段；
[0039]
所述验证模块，用于将预处理后的猕猴语音对输入预先训练好的猕猴声纹验证模型，得到待验证的猕猴语音对是否属于同一个体猕猴的结论，从而实现声纹验证。
[0040]
与现有技术相比，本发明的优势在于：
[0041]
1、本发明通过将猕猴语音处理为语音对及设计的骨干网络可以实现自动对猕猴语音对的采样数据进行帧级别的特征提取，利用设计的特征融合网络可将帧级别特征映射为融合帧特征，再利用特征压缩网络，对融合帧特征进行压缩，得到猕猴语音段对应的句子级特征，通过这一系列的特征映射与融合，提取到了更为全面有效的猕猴语音特征，大大提高了猕猴声纹验证的准确性；
[0042]
2、本发明提出的猕猴声纹验证方法实现了由封闭数据集多分类模型转向句子级嵌入特征表示模型的设计，拓展了现有基于声音的动物验证算法的局限性。将动物个体验证任务的定义由多分类任务转换为特征表示。使得声纹验证算法能够适应更多应用场景的需求，并能够使用训练完成的模型对未知目标进行验证或识别；
[0043]
3、本发明的方法，不仅可以应用于猕猴的声纹验证，后续可以应用到其他动物的声纹识别，具有指导意义。
附图说明
[0044]
图1是本发明提供的基于循环帧级特征融合的端到端猕猴声纹验证方法的流程示意图；
[0045]
图2是本发明提供的骨干网络的结构示意图；
[0046]
图3是本发明提供的基于循环帧级特征融合的端到端猕猴声纹验证网络的整体结构示意图；
[0047]
图4是本发明提供的基于循环帧级特征融合的端到端猕猴声纹验证系统的结构框
图。
[0048]
附图标记
[0049]
410、数据处理模块
ꢀꢀꢀꢀꢀꢀ
420、骨干网络
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
430、特征融合网络
[0050]
440、特征压缩网络
ꢀꢀꢀꢀꢀꢀ
450、网络参数更新模块
ꢀꢀꢀꢀ
460、验证模块
具体实施方式
[0051]
下面结合附图和实施例对本发明的技术方案进行详细的说明。
[0052]
实施例1
[0053]
如图1所示，本发明的实施例1提出了一种基于循环帧级特征融合的端到端猕猴声纹验证方法，该方法包括如下步骤：
[0054]
步骤110：将预处理后的猕猴语料库按规则选取语音对，构建出训练集和测试集。其中，将训练集数据随机划分为q组，每组包含m只猕猴的语音段。
[0055]
现有技术中通常在预处理阶段对语音数据进行特征提取，得到mfcc、lpc或语谱图等用于分类模型进行分类。而本发明的预处理是对有效地语音段进行截取，即裁剪掉原始语音中的静音段，而并非特征提取，预处理后的猕猴语料仍为语音格式的数据。
[0056]
步骤120：随机读取测试集中的一组猕猴语音段，输入骨干网络中，进行特征提取，得到猕猴语音段的帧级别特征矢量。
[0057]
本发明提出的骨干网络基于cnn进行设计，可采用vgg或resnet等特征提取网络。本发明设计了结合sincnet、resnet及transforms的新的骨干网络来对猕猴语音进行帧级别特征的提取。
[0058]
步骤130：将骨干网络输出的帧级别特征矢量进行循环帧截取后输入至特征融合网络，进行特征融合，得到猕猴语音段的融合帧特征矢量。
[0059]
本发明提出的特征融合网络是基于通道融合机制设计的，通过将相邻多个通道特征的加权融合，将帧级特征映射为融合帧特征。
[0060]
步骤140：将特征融合网络输出的融合帧特征矢量输入至特征压缩网络，进行特征压缩，得到猕猴语音段对应的句子级特征矢量。
[0061]
步骤150：根据该组猕猴语音段的句子级特征矢量，利用向量的余弦距离，进行类内损失和类间损失计算，并采用amsgrad对骨干网络、特征融合网络和特征压缩网络中的参数进行更新。
[0062]
步骤160：重复步骤120
‑
步骤150，反复迭代，直至训练出的网络在所述测试集上得到的准确率最高时，得到网络的最优参数组合。
[0063]
从构建的训练集中一组一组随机不重复地选择数据输入至骨干网络，重复执行步骤120至步骤150，当训练集中所有的数据都被使用一次，则完成了一个训练周期，此时，每完成一个训练周期，则将网络模型在测试集上进行一次测试，记录测试的准确率。当完成预设训练周期数时，将测试集上得到的测试准确率最高时的网络模型参数确定为网络的最优参数组合。
[0064]
步骤170：基于最优参数网络，对任意的猕猴语音对是否为同一个体进行验证。
[0065]
利用参数设置为最优参数组合的网络模型对除训练集和测试集外的猕猴语音对进行检测，可以判定出语音对中的两段语音是否为同一只猕猴所发出，实现猕猴的声纹验
证。
[0066]
本实施例通过将猕猴语音处理为语音对及设计的骨干网络可以实现自动对猕猴语音对的采样数据进行帧级别的特征提取，利用设计的特征融合网络可将帧级别特征映射为融合帧特征，再利用特征压缩网络，对融合帧特征进行压缩，得到猕猴语音段对应的句子级特征，通过这一系列的特征映射与融合，提取到了更为全面有效的猕猴语音特征，大大提高了猕猴声纹验证的准确性。
[0067]
可选地，假设预处理后的猕猴语料库包含t只猕猴的声音，随机选取其中t1只猕猴语料作为训练语料库，剩余t
‑
t1只猕猴语料作为测试语料库；分别对训练语料库和测试预料库进行正样本对和负样本对的抽取，构建所述训练集和所述测试集；其中，所述正样本对为从同一只猕猴的语料中随机选取两段语音，所述负样本对为从两只不同的猕猴语料中分别随机选取一段语音。
[0068]
例如，语料库包括144只0
‑
2岁的猕猴声音，每只猕猴的语音时长为5
‑
30分钟，语音总时长为2143.11分钟，经裁剪静音段后的有效时长为171.35分钟，猕猴叫声总段数为18309段。训练时可选取前100只猕猴语料作为训练集，后44只猕猴语料作为测试集。正样本语音对的构建方法为从一只猕猴语料中随机选取两段语音。负样本语音对的构建方法为从测试集语料中随机选取两个目标(即两个不同猕猴的语音文件目录)，再从两个目标语料中各随机选取一段语音。最终，构建80000条语音对作为猕猴声纹验证的测试集，其中正负样本比例为1：1，即正样本语音对40000条，负样本语音对40000条。将80000条语音对按照预设数量b进行分组，得到n＝80000/b组测试数据。测试集采用与训练集相同方式来抽取语音对。
[0069]
在跨数据集测试时，为解决不同数据集的语音时长差异，可将测试语音通过裁剪或复制的形式压缩或拓展至固定的长度。公式表述如下：
[0070][0071]
可选地，根据每组猕猴语音段的句子级特征，利用向量的余弦距离，进行类内损失和类间损失计算。其中，向量的余弦距离计算表示为：
[0072][0073]
其中，a表示一个句子级特征，a'表示另一个句子级特征，||
·
||表示二阶范数；
[0074]
类内损失和类间损失计算表示为：
[0075][0076]
其中，a表示第i只猕猴的第j段语音，k表示语音对中的另一个语音段，记作a’，j＝k表示两个语音段属于同一只猕猴，计算得到类内损失，反之，表示两个语音段属于不同猕猴，用b表示另一个语音段，计算得到类间损失。本发明所构建网络的总损失函数的计算表示为：
[0077]
[0078]
vgg和resnet在说话人验证上得到了广泛应用，但输入数据的差异对特征提取网络有不同的结构需求，因此，本发明设计了针对猕猴语音进行特征提取的骨干网络。图2为骨干网络的结构示意图，该骨干网络由一个可学习的带通滤波器sincnet层、6层残差卷积块(resblock)、1个通道转换卷积层和两层transforms块组成。
[0079]
所述sincnet层依次由1个sinc一维卷积，1个最大池化层，池化窗口大小为3，1个bn层和leakyrelu激活构成；所述resblock由两组卷积单元、1个最大池化层和1个特征权重缩放层(fms)构成，其中所述最大池化层的池化窗口为3，所述卷积单元依次由1个bn和leakyrelu激活及1个二维卷积conv构成，所述二维卷积的卷积核大小为3，步长为1；所述通道转换卷积层的卷积核大小为1，步长为1；所述transforms block由2组全连接单元构成，所述全连接单元依次由1个多头注意力机制(mha)、和2组fc和droupout层构成。骨干网络的各层网络参数及数据维度如表1所示。
[0080]
表1
[0081][0082]
其中，fms为特征权重缩放机制，其为每帧赋予一个不同的权重，若不增加该机制，则resblock为每帧赋予的权重是一样的。mha为多头注意机制。
[0083]
本发明实施例中随机读取测试集中的一组猕猴语音段，将其语音采样数据值输入骨干网络中，由sincnet层将猕猴语音的时域信息转化为频域信息，并结合6层一维残差卷积块及其池化操作，在提取特征的同时缩小特征维度。为便于transforms block多头设计，数据输入transforms block前使用1层1
×
1的通道转换卷积对残差卷积块的输出特征进行通道转换，最终骨干网络输出二维特征图作为特征融合网络的输入。
[0084]
通过由一维卷积残差单元和池化层组成的残差结构，可实现从原始语音中提取出帧级特征表示，并实现不同卷积层之间的特征传递，有利于网络学习过程中增强前后语义特征融合。为后续transform结构设计时多头数量的选择，添加1
×
1卷积层用于连接残差模块和transform模块，转换特征图通道数。通过增加transform结构，进一步增强了骨干网络的特征提取能力，实现了端到端的特征提取，自动对猕猴语音进行帧级别特征的提取，简化了复杂的人工设计算法提取特征的步骤。
[0085]
图3为本发明实施例提供的猕猴声纹验证网络的整体结构示意图，其中，图3最左端的波形表示输入的语音对采样数据，cnn表示上述骨干网络，骨干网络输出的帧级别特征矢量表示为m＝[m1,m2,...，n
t
]，其中m
i
∈r
n
，n为帧级特征维度，t表示帧的数量；将骨干网络输出的帧级别特征输入特征融合网络之前进行循环帧截取。具体的，将所述帧级别特征矢量首尾相连，得到特征序列f如下：
[0086]
f＝[f1,f2,...f
n
,f1,f2,，...f
c
‑1]
[0087]
以预设步长对f进行分组，得到特征序列的分组表示fg：
[0088]
fg＝([f1,f2,...f
c
],[f2,f3,
…
f
c 1
],
…
，[f
t
,f1,f2，...f
c
‑1])
[0089]
其中，c表示每一个特征组的帧数。将fg中分组后的帧级别特征矢量输入至特征融合网络，进行特征融合，从而得到猕猴语音段的融合帧特征矢量。
[0090]
如图3所示，为进行更有效的特征融合，本发明设计了基于通道加权融合机制(channel fusion mechanism，cfm)的特征融合网络。该特征融合网络包括两个分支，所述第一分支为转置操作，所述第二分支依次包括包括2个串联的fc，一个最大池化(maxpool)层和一个平均池化(avgpool)层并联，1个sigmoid层；
[0091]
将分组后的帧级别特征矢量经第一分支进行转置处理，得到融合帧特征的第一部分；将分组后的帧级别特征矢量经第二分支的2个fc处理后，分别经过一个maxpool层和一个avgpool层，将maxpool层和avgpool层的输出进行矩阵加法计算，即对应位相加，之后由sigmoid层进行激活处理，得到所述融合帧特征的第二部分；将融合帧特征的第一部分与融合帧特征的第二部分进行点乘计算，得到语音段的融合帧特征矢量。
[0092]
所述融合帧特征矢量的计算过程可表示为：
[0093]
fg
i
'＝g(f(fg
i
))＝w2(w1(fg
i
) b1) b2[0094]
m＝maxp(fg
i
',c)
[0095]
a＝avgp(fg
i
',c)
[0096]
w
i
＝σ(m a)
[0097]
f
i*
＝tp(fg
i
)
·
w
i
[0098]
其中，f，g分别表示两层全连接结构映射函数，两层fc的参数分别为ω1,b1和ω2,b2，maxp和avgp分别表示最大值池化和平均值池化，σ为sigmoid函数，tp表示转置，
·
表示点乘。最终第i个特征组fg
i
被映射为特征f
i*
，表示融合后的第i个特征矢量，其中fg
i
∈r
c
×
n
，f
i*
∈r
n
。
[0099]
在声纹验证任务中，需要将时
‑
频二维特征每一帧(时刻)的特征表示与最终句子级特征相关性表示出来，因此，本发明提出了通道加权融合机制，通过相邻多个通道特征的加权融合得到新的帧级特征表示，有效的增强特征图的帧间关联度，借此实现了有效的帧级特征至融合帧特征的映射。
[0100]
如图3所示，特征压缩网络包括一个门控循环单元gru和一个全连接fc层；融合帧特征矢量依次经所述gru单元和一个fc层处理后，被映射为维度为d的句子级特征矢量e：
[0101]
e＝h(x)e∈r
d
[0102]
len(x)＝l
[0103]
其中，r表示实数，e包括d个实数，x表示帧级的特征矢量矩阵，l为x的长度，h()表示嵌入映射函数，len()表示特征矢量矩阵中的帧数。其中，特征压缩网络的目的在将输入的二维特征映射为一维特征，该过程可以看做是对原始语音段数据的一种嵌入。
[0104]
本发明设计的网络模型输入大小为m
×
n
×
l的语音数据，其中m表示每组数据中选择的猕猴数，n表示从每只猕猴语料中选择的语音段数，l表示每段语音数据的帧数。通过骨干网络、特征融合网络和特征压缩网络处理后，可得到m
×
n
×
d的特征输出。其中d表示句子级特征维度，可以设置d＝256。另外，网络中可使用斜率为
‑
0.3的leaky relu激活函数，amsgrad优化器的学习率可设置为0.001，衰减率可设置为0.0001，每个语音组中猕猴个数
可设置为m＝8，每只猕猴语音段数可设置为n＝10。
[0105]
本发明提出的猕猴声纹验证方法实现了由封闭数据集多分类模型转向句子级嵌入特征表示模型的设计，拓展了现有基于声音的动物验证算法的局限性。将动物个体验证任务的定义由多分类任务转换为特征表示。使得声纹验证算法能够适应更多应用场景的需求，并能够使用训练完成的模型对未知目标进行验证或识别。
[0106]
实施例2
[0107]
如图4所示，本发明的实施例2提出了一种猕猴声纹验证系统，该系统基于上述猕猴声纹验证方法实现，在训练测试阶段该系统具体包括：
[0108]
数据处理模块410，用于将预处理后的猕猴语料库按规则选取语音对，构建出训练集和测试集，并对所述训练集和测试集进行分组；
[0109]
骨干网络420，用于对输入的猕猴语音段进行特征提取，得到猕猴语音段的帧级别特征矢量；
[0110]
特征融合网络430，用于将骨干网络输出的帧级别特征矢量进行循环帧截取后，再进行特征融合，得到猕猴语音段的融合帧特征矢量；
[0111]
特征压缩网络440，用于将特征融合网络输出的句子级特进行特征压缩，得到猕猴语音段对应的句子级特征矢量
[0112]
网络参数更新模块450，用于根据猕猴语音段的句子级特征矢量，利用向量的余弦距离，进行类内损失和类间损失计算，并采用amsgrad对骨干网络、特征融合网络和特征压缩网络中的参数进行更新，反复迭代，直至训练出的网络在所述测试集上得到的准确率最高时，得到网络的最优参数组合
[0113]
验证模块460，用于根据最优参数网络的输出，对任意的猕猴语音对是否属于同一个体进行验证。
[0114]
本发明提供的猕猴声纹验证系统将猕猴语音处理为语音对，通过设计的骨干网络可以实现自动对猕猴语音对的采样数据进行帧级别的特征提取，利用设计的特征融合网络可将帧级别特征映射为融合帧特征，再利用特征压缩网络，对融合帧特征进行压缩，得到猕猴语音段对应的句子级特征，通过这一系列的特征映射与融合，提取到了更为全面有效的猕猴语音特征，大大提高了猕猴声纹验证的准确性。
[0115]
可选地，数据处理模块410还包括：
[0116]
语料库划分单元，用于从预处理后的猕猴语料库包含的t只猕猴声音中，随机选取其中t1只猕猴语料作为训练语料库，剩余t
‑
t1只猕猴语料作为测试语料库。
[0117]
语音对提取单元，用于分别对训练语料库和测试预料库进行正样本对和负样本对的抽取，构建所述训练集和所述测试集；其中，所述正样本对为从同一只猕猴的语料中随机选取两段语音，所述负样本对为从两只不同的猕猴语料中分别随机选取一段语音。
[0118]
骨干网络420基于cnn进行设计，可采用vgg或resnet等特征提取网络。本发明设计了结合sincnet、resnet及transforms的新的骨干网络来对猕猴语音进行帧级别特征的提取，其具体结构如图2和表1所示，此处不再赘述。另外，特征融合网络430和特征压缩网络440的具体结构如图3所示，具体可参考方法部分的详细说明，此处也不再赘述。
[0119]
当完成训练测试后，得到训练好的猕猴声纹验证模型，进入实际应用阶段。则该系统包括：训练好的猕猴声纹验证模型、数据处理模块410和验证模块460；其中，
[0120]
所述数据处理模块，用于对待验证的猕猴语音对进行预处理；所述猕猴语音对为两段猕猴语音段；
[0121]
所述验证模块，用于将预处理后的猕猴语音对输入预先训练好的猕猴声纹验证模型，得到待验证的猕猴语音对是否属于同一个体猕猴的结论，从而实现声纹验证。
[0122]
训练好的猕猴声纹验证模型包括依次连接的骨干网络420、特征融合网络430和特征压缩网络440。
[0123]
需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部内容。一些示例性实施例被描述成作为流程示意图描绘的处理或方法，虽然流程示意图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。
[0124]
最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。