一种视频去模糊方法及计算机可读存储介质

1.本发明涉及视频去模糊技术领域，尤其涉及一种视频去模糊方法及计算机可读存储介质。


背景技术：

2.视频作为一种重要的信息载体，在人类生活和生产活动中有着重要的作用。然而，由于相机抖动、镜头散焦、物体运动等原因，获取得到的视频往往会发生模糊，导致质量下降。视频去模糊算法则能将退化的模糊视频进行重建，得到高质量的清晰视频，是计算机视觉中一个非常重要且基础的任务，在视频稳定、手机拍照、跟踪和自动驾驶任务中起到十分重要的作用。传统的视频去模糊算法主要是基于人工设计的先验规则和假设，然而这些算法的表达能力和泛化性较差，因此无法取得令人满意的视频去模糊效果。而新兴的基于卷积神经网络的算法，可以取得更好的重建效果，然而，受限于卷积神经网络有限的感受野，目前的算法无法捕获视频序列中的长距离依赖关系，难以对相距较远的特征进行信息融合，导致无法取得理想的去模糊效果，鲁棒性欠佳。
3.因此，本发明中缺乏一种高效、鲁棒的视频去模糊方法。
4.以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本技术的新颖性和创造性。


技术实现要素：

5.本发明为了解决现有的问题，提供一种视频去模糊方法及计算机可读存储介质。
6.为了解决上述问题，本发明采用的技术方案如下所述：
7.一种视频去模糊方法，包括如下步骤：s1：获取待处理视频并提取所述待处理视频的视频特征；s2：将所述待处理视频输入光流网络估计所述待处理视频的视频帧间的光流图；s3：将所述视频特征和所述光流图输入自注意力网络获得残差视频；s4：将所述残差视频与所述待处理视频进行相加得到去模糊的清晰视频。
8.优选地，将所述待处理视频输入光流网络估计所述待处理视频的视频帧间的光流图具体包括如下：将所述待处理视频的两个视频帧作为所述光流网络的输入，提取到两个所述视频帧之间的运动信息，具体为:
9.o＝fo(f1,f2)，
10.其中，fo代表光流网络，f1,f2代表相邻视频帧，o代表光流图。
11.优选地，采用空间金字塔网络或光场卷积神经网络作为所述光流网络对所述待处理视频帧进行特征提取，将所述待处理视频的视频信息从彩色空间映射到特征空间，按照从粗到细的方式学习每个金字塔水平的光流，最终算出两个所述视频帧之间精确的光流图。
12.优选地，将所述视频特征和所述光流图输入光流引导自注意力网络获得残差视
频，所述光流引导自注意力网络使用光流对自注意力机制进行引导，融合视频帧间信息。
13.优选地，所述光流引导自注意力网络使用光流对自注意力机制进行引导，融合视频帧间信息标识为：
[0014][0015]
其中，q代表查询元素，ω代表地址元素的集合，通过光流信息来进行引导选取得到；a
nqk
代表索引元素和地址元素之间的相似度，通过自相似机制计算得到，wn和w'n为映射矩阵，是可学习参数，自相似机制的计算公式为：
[0016]anqk
＝softmax(q
tut
vk)
[0017]
其中，u,v为映射矩阵，是可学习参数。
[0018]
优选地，将所述视频特征和所述光流图输入光流引导自注意力网络获得残差视频，所述光流引导自注意力网络使用光流对窗口注意力机制进行引导融合视频帧间信息。
[0019]
可选地，将所述视频特征切分成均匀分布的窗口，对于所述窗口中的每一个查询元素，不仅参考所述查询元素对应的地址元素，也会参考所述窗口中其它查询元素对应的地址元素，该过程用以下公式表示：
[0020]
fgsw-msa(φ,ψ)＝{fgs-msa(q,ψ)|q∈φ}
[0021]
其中，q代表查询元素，φ代表窗口中的查询元素集合，ψ代表所述查询元素集合对应的地址元素。
[0022]
优选地，所述自注意力网络还包括：循环嵌入机制，所述循环嵌入机制在计算所述光流引导所述自注意力网络前，将前一视频帧信息存于循环嵌入特征中，与当前帧的查询元素进行拼接，再进行所述注意力机制计算，实现将信息传递给后续视频帧，逐帧迭代，进而建立时间维度长距离依赖。
[0023]
优选地，在所述循环嵌入机制中，需将上一视频帧的特征对齐到当前帧，再与当前视频帧信息在通道维度进行连接，作为查询元素，输入自注意力机制中，该过程可通过以下式子进行表示：
[0024][0025][0026]
其中，x
f-1
,xf分别代表第f-1和f个视频帧特征，fw,fc代表对齐和拼接操作。
[0027]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
[0028]
本发明的有益效果为：提供一种视频去模糊方法及计算机可读存储介质，通过光流引导的自注意力机制，建模长距离依赖关系，在全局范围内捕获像素间的自相似性，解决了当前视频去模糊算法无法建模全局依赖关系的问题，有着更好的去模糊效果和鲁棒性。
[0029]
进一步地，本发明提出了一种全新的利用光流信息的模式，不采用双线性插值操作对特征进行对齐，而是将运动补偿与特征融合进行有机结合，对光流图进行更加灵活的应用，因此不会破坏视频帧原有的先验信息，保留了特征的自相似性和清晰纹理。
附图说明
[0030]
图1是本发明实施例中一种视频去模糊方法的示意图。
[0031]
图2是本发明实施例中一种光流引导的稀疏自注意力模块的示意图。
[0032]
图3是本发明实施例中一种循环嵌入机制的示意图。
[0033]
图4是本发明实施例中由由自注意力机制和循环嵌入机制构成的网络的示意图。
具体实施方式
[0034]
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0035]
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
[0036]
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0037]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0038]
如图1所示，本发明提供一种视频去模糊方法，包括如下步骤：
[0039]
s1：获取待处理视频并提取所述待处理视频的视频特征；
[0040]
s2：将所述待处理视频输入光流网络估计所述待处理视频的视频帧间的光流图；
[0041]
s3：将所述视频特征和所述光流图输入自注意力网络获得残差视频；
[0042]
s4：将所述残差视频与所述待处理视频进行相加得到去模糊的清晰视频。
[0043]
本发明通过自注意力机制，建模长距离依赖关系，在全局范围内捕获像素间的自相似性，解决了当前视频去模糊算法无法建模全局依赖关系的问题，有着更好的去模糊效果和鲁棒性。
[0044]
本发明提出了一种全新的利用光流信息的模式，不采用双线性插值操作对特征进行对齐，而是将运动补偿与特征融合进行有机结合，对光流图进行更加灵活的应用，因此不会破坏视频帧原有的先验信息，保留了特征的自相似性和清晰纹理。
[0045]
此外，将自注意力机制直接用于视频去模糊会存在一些问题。一方面，当使用原有的全局注意力(global attention)机制时，计算代价与视频序列的像素个数成平方关系，因此会带来过大的计算和显存负担。此外，全局注意力机制会参考所有的特征，容易导致模型难以收敛(non-convergence)和过度平滑(over-smooth)的结果。另一方面，当采用局部注意力(local attention)机制时，注意力机制被限制在局部的窗口内部，当视频帧间存在较大的相对运动时，容易错过相似且清晰的特征，并且无法建立长距离的空间依赖关系。这
两个问题可以总结为：在计算注意力机制时缺少运动信息的引导。
[0046]
光流估计(optical flow estimation)是评估视频帧间运动信息的一项重要技术。早期的光流估计被视为一个能量优化问题，基于人工设计的能量准则等来进行优化，找到数据项(data term)和正则化项(regularization term)之间的平衡。随着深度学习的发展，人们提出端到端的学习算法，使用光流网络直接预测出图片之间的光流信息，取得了更好的效果和更快的速度。近年来，光流网络被广泛应用于视频去模糊领域，用来评估视频帧间的运动信息，进行运动补偿。当前的基于光流(flow-based)的视频去模糊算法主要是基于这样一种模式：首先采用光流网络评估出视频帧间的运动信息，接着通过双线性插值(interpolation)对相邻帧进行扭曲(warp)操作，使相邻帧对齐到当前帧，再将对齐后的相邻帧和当前帧进行连接和信息聚合，得到清晰图片。在这种模式下，扭曲模块中的插值操作会改变图片原有的先验信息，导致图片中原有的自相似性和清晰纹理可能会被破坏，并且，这种模式中的帧间对齐和信息聚合是分开的，因此是不灵活的，也无法对光流信息进行充分的利用。此外，这种模式的表现也容易受到光流估计网络性能的影响。因此，基于深度学习的光流估计是评估视频帧间运动信息的一种有效方法，但当前的视频去模糊算法利用光流信息的方式的鲁棒性和可靠性有待提高。本发明将光流估计引入自注意力机制中，并提出了一种更加鲁棒性和有效的方式对光流信息进行利用。
[0047]
在视频去模糊算法中，建立视频中时间维度上的长距离依赖关系能够使得在视频重建过程中利用到更多的信息，显著提升视频去模糊效果。基于循环神经网络(rnn-based)的视频去模糊算法将特征信息通过隐特征(latent feature)的形式进行传播，以一种迭代的形式使得信息能够逐帧传递，从而建立起时间维度上的长距离依赖。因此，本发明也将这种迭代机制引入光流引导自注意力网络中，提出了循环嵌入特征(recurrent embedding)，辅助光流引导自注意力网络进行时间维度上长距离依赖关系建模。
[0048]
在一种具体的实施例中，将所述待处理视频输入光流网络估计所述待处理视频的视频帧间的光流图具体包括如下：
[0049]
将所述待处理视频的两个视频帧作为所述光流网络的输入，提取到两个所述视频帧之间的运动信息，具体为:
[0050]
o＝fo(f1,f2)，
[0051]
其中，fo代表光流网络，f1,f2代表相邻视频帧，o代表光流图。
[0052]
具体地，采用空间金字塔网络或光场卷积神经网络作为所述光流网络对所述待处理视频帧进行特征提取，将所述待处理视频的视频信息从彩色空间映射到特征空间，按照从粗到细的方式学习每个金字塔水平的残差光流，最终算出两个所述视频帧之间精确的光流图。
[0053]
自注意力机制通过计算查询元素(query element)和地址元素(key elements)集合中每个元素之间的相似度，通过归一化指数函数(softmax)对相似度进行放缩(rescale)，得到每个地址元素的权重，根据该权重对地址元素进行信息聚合，作为对查询元素的信息补充。自注意力机制的内存占用和计算代价与元素个数成平方关系。在自注意力机制中，由于地址元素的选取范围是全局的，因此，通过自注意力机制，可以建模空间维度的长距离依赖关系，解决了现有去模糊算法无法建模长距离依赖关系的问题。
[0054]
然而，自注意力机制的内存占用和计算代价与选取的元素个数成平方关系，如果
使用原有的自注意力机制，全局选取所有的像素作为地址元素进行参考，将来带来极大的计算代价，并不可行。为了降低计算代价和内存占用，本发明使用光流图对自注意力机制进行引导，使得注意力机制聚焦于具有高度对应关系的特征中。对于参考帧中的每一个查询元素，不会与所有的地址元素都进行相似度计算，而只与稀疏分布的、光流指定的地址元素进行相似度计算，并根据计算得到的相似度，对这些光流指定的地址元素进行信息聚合，对查询元素的特征进行补充。这显著降低了自注意力机制的计算代价和内存占用，使得注意力聚焦于具有高度对应关系的特征中，变得更加高效；同时，由于选取的地址元素是光流指定的元素，因此可以使得自注意力机制聚焦于具有高度对应关系的元素之中，可以保证自注意力机制的效果不会受到影响。
[0055]
在计算自注意力机制时，为了降低计算代价和内存占用，本发明使用光流图对自注意力机制进行引导，使得注意力机制聚焦于具有高度对应关系的特征中。对于参考帧中的每一个查询元素(query element)，不会与所有的地址元素(key element)都进行相似度计算，而只与稀疏的光流指定的地址元素进行相似度计算，并根据计算得到的相似度，对这些光流指定的地址元素进行信息聚合，对查询元素的特征进行补充。这显著降低了自注意力机制的计算代价和内存占用，使得注意力聚焦于具有高度对应关系的特征中，变得更加高效。
[0056]
本发明使用光流信息引导地址元素的选取，每一个查询元素只与若干稀疏分布、高度相关的地址元素进行自相似性计算，能够使得注意力聚焦于具有高度对应关系的内容中，本发明提出的自注意力机制计算速度快、占用内存小。
[0057]
光流引导的稀疏注意力机制(fgs-msa)进行引导融合视频帧间信息：
[0058]
在一种具体的实施例中，将所述视频特征和所述光流图输入光流引导自注意力网络获得残差视频，所述光流引导自注意力网络使用光流对自注意力机制进行引导融合视频帧间信息。
[0059]
所述光流引导自注意力网络使用光流对自注意力机制进行引导融合视频帧间信息标识为：
[0060][0061]
其中，q代表查询元素，ω代表地址元素的集合，通过光流信息来进行引导选取得到；a
nqk
代表索引元素和地址元素之间的相似度，通过自相似机制计算得到，wn和w'n为映射矩阵，是可学习参数，自相似机制的计算公式为：
[0062]anqk
＝softmax(q
tut
vk)
[0063]
其中，u,v为映射矩阵，是可学习参数。
[0064]
在光流引导的稀疏注意力机制中，对于当前帧中的每一个查询元素(query element)，只会参考每个相邻帧中一个光流指定的地址元素(key element)，当光流估计不准确时，这种机制的性能会受到较大的影响。因此，本发明进一步提出了光流引导的窗口稀疏注意力机制。将特征图切分成均匀分布的不重叠窗口，对于窗口中的每一个查询元素，不仅参考该查询元素对应的光流指定的地址元素，也会参考该窗口中其它查询元素对应的地址元素。这种情况下，当窗口中的某一个查询元素的对应的光流信息不准确时，该机制的表现不会受到较大影响，因此具有更好的鲁棒性。
[0065]
在另一种具体的实施例中，将所述视频特征和所述光流图输入光流引导自注意力网络获得残差视频，所述光流引导自注意力网络使用光流对窗口注意力机制进行引导融合视频帧间信息。
[0066]
将所述视频特征切分成均匀分布的窗口，对于所述窗口中的每一个查询元素，不仅参考所述查询元素对应的地址元素，也会参考所述窗口中其它查询元素对应的地址元素，该过程用以下公式表示：
[0067]
fgsw-msa(φ,ψ)＝{fgs-msa(q,ψ)|q∈φ}
[0068]
其中，q代表查询元素，φ代表窗口中的查询元素集合，ψ代表所述查询元素集合对应的地址元素。
[0069]
本发明提出的光流引导的窗口稀疏自注意力机制，采用光流图对自注意力机制进行引导，每个查询元素只参考光流指定的若干地址元素，解决了普通的注意力机制存在的显存过大以及缺少运动信息引导的问题。与当前主流自注意力机制相比，本发明提出的稀疏自注意力机制具备计算速度快、占用内存小等优势，并且能够使得注意力聚焦于具有高度对应关系的内容中，从而取得更加锋利(sharp)的结果。
[0070]
本发明提出光流引导的稀疏自注意力机制，使用光流网络估计帧间的运动关系，用以引导自注意力机制选取高度相关、稀疏分布的地址元素，进行自相似性计算，从而高效地捕获空间维度的长距离依赖关系。
[0071]
如图2所示，是本发明的一种光流引导的稀疏自注意力模块的示意图，模块包括光流估计模块和自注意力模块，在使用光流信息对自注意力机制进行引导时，根据步骤s2估计的光流图，在相邻帧上采样获得地址元素，将地址元素与查询元素输入自注意力机制计算。为了防止对地址元素进行索引过程中导致的信息损失，使用最近邻插值的方式对地址元素进行索引。将查询元素的坐标与光流偏置进行相加，从而得到地址元素位置，再使用最近邻插值，索引出距离该位置最近的地址元素，作为查询元素的参考，进行自注意力计算，自注意力计算的结果作为当前地址元素的信息补充，进行相加。
[0072]
可选地，可加入循环嵌入机制对光流引导的稀疏注意力机制进行补充，增强时间维度的长距离依赖关系的建模能力。
[0073]
循环迭代机制将信息以隐特征(latent feature)的形式进行传播，通过逐帧迭代的方式，将信息逐帧进行传播，从而建立时间维度上的长距离依赖关系。
[0074]
具体地，本发明的自注意力网络还包括：
[0075]
循环嵌入机制，所述循环嵌入机制在计算所述光流引导所述自注意力网络前，将前一视频帧信息存于循环嵌入特征中，与当前帧的查询元素进行拼接，在进行所述注意力机制计算，实现将信息传递给后续视频帧，逐帧迭代，进而建立时间维度长距离依赖。
[0076]
在所述循环嵌入机制中，需将上一视频帧的特征对齐到当前帧，再与当前视频帧信息在通道维度进行连接，作为查询元素，输入自注意力机制中，该过程可通过以下式子进行表示：
[0077][0078][0079]
其中，x
f-1
,xf分别代表第f-1和f个视频帧特征，fw,fc代表对齐和拼接操作。
[0080]
如图3所示，是本发明一种循环嵌入机制的示意图，将上一帧特征通过扭曲模块，与当前帧进行对齐，与当前帧特征进行拼接，通过卷积层融合二者信息，作为查询元素，输入注意力模块，进行自注意力计算。由于循环嵌入特征可以逐帧传递，因此可以建立时间维度上的长距离依赖关系，进一步增强鲁棒性。
[0081]
如图4所示，为了在多尺度下进行视频去模糊，提升算法效果，所述光流引导自注意力网络采用多尺度结构，使用降采样、上采样模块，改变特征分辨率，在不同分辨率下进行循环嵌入机制和光流引导自注意力机制计算，并通过跳级连接防止降采样操作的信息损失。其中，降采样模块使用步长为2的卷积层，上采样模块采用步长为2的反卷积层。
[0082]
本发明提出循环嵌入机制，将视频信息以一种循环嵌入的机制，逐帧传递，从而建立时间维度的长距离依赖关系。综合这两种技术，本发明提出的视频去模糊算法，在计算代价相当甚至减少的情况下，可以超越目前主流的视频去模糊算法，有着更好的去模糊效果和鲁棒性。
[0083]
循环嵌入(recurrent embedding)，通过利用已重建视频帧来增强当前帧的重建，建立时间维度上的长距离依赖关系。同时，由于靠后帧的重建都是建立在靠前帧的重建结果基础之上，因此可以减低重建难度，以一个较小的计算代价取得理想的重建效果。
[0084]
循环嵌入机制将前一视频帧信息存于循环嵌入特征中，传递给后续视频帧，逐帧迭代，从而建立了时间维度上的长距离依赖，提升了视频去模糊效果。
[0085]
继续如图4所示，首先使用1个卷积成和5个堆叠残差块进行特征提取，将视频信息由彩色空间转换为特征空间；接着使用多尺度的光流引导注意力网络，在三个尺度下进行光流引导注意力机制与循环嵌入机制计算，获得残差视频；最后，将残差视频与输入视频进行相加，输出清晰去模糊视频。将本发明公开提出的光流引导自注意力网络(fgst)与4个主流视频去模糊算法对比，包括：时空滤波自适应网络(stfan)、增强可变形卷积网络(edvr)、深度视频去模糊算法(su)、级联清晰度先验去模糊网络(tsp)等主流视频去模糊算法进行对比，如表1所示，是上述实验的对比结果。
[0086]
表1实验的对比结果
[0087][0088]
由表1可见，本发明的方法所获清晰视频的峰值信噪比达到32.90db、结构相似性达到0.961,显著优于目前的主流算法，具体地，stfan、edvr、su、tsp输出视频的峰值信噪比分别为28.59、26.83、27.31、31.67db，结构相似度指标分别为：0.861、0.843、0.826、0.928.此外，在参数量和计算量上，本算法与edvr、tsp等主流算法相比，也有着明显的优势，本算法的参数量仅为edvr、tsp的41.4％和59.9％，计算量仅为edvr、tsp的82.7％和36.8％，但可以取得更好的去模糊效果；进一步地，在存在光流引导的稀疏窗口自注意力机制(fgsw-msa)的情况下，存在较大运动偏移和模糊的区域特征会有更显著的响应，这说明本发明提出的注意力机制可以使得模型对运动信息更加敏感，并将注意力更多地聚焦于具有高度对
应关系的模糊区域。这证明了本算法的高效性和鲁棒性。
[0089]
本发明提出了一种全新的视频去模糊算法，以一种高效的方式，建模空间维度和时间维度上的长距离依赖关系，从而显著提升了视频去模糊算法的效率和鲁棒性。
[0090]
本发明提出的算法可以以一个较小的计算代价，在合成数据集和真实数据集上取得目前最优的视频去模糊效果。
[0091]
本技术实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
[0092]
本技术实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
[0093]
本技术实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
[0094]
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic randomaccess memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，randomaccess memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static randomaccess memory)、同步静态随机存取存储器(ssram，synchronous static randomaccess memory)、动态随机存取存储器(dram，dynamic randomaccess memory)、同步动态随机存取存储器(sdram，synchronous dynamic randomaccess memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic randomaccess memory)、增强型同步动态随机存取存储器(esdramenhanced synchronous dynamic randomaccess memory)、同步连接动态随机存取存储器(sldram，sync link dynamic randomaccess memory)、直接内存总线随机存取存储器(drram，direct rambus randomaccess memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
[0095]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0096]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0097]
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可
以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0098]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0099]
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0100]
本技术所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
[0101]
本技术所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
[0102]
本技术所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
[0103]
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。