基于改进DeblurGAN模型的去运动模糊方法、介质及设备与流程

基于改进deblurgan模型的去运动模糊方法、介质及设备
技术领域
1.本发明涉及一种生成对抗网络模型的去运动模糊方法，具体涉及一种基于改进 deblurgan模型的去运动模糊方法、介质及设备。


背景技术：

2.在各种复杂因素的影响下，如运动、失焦、噪声等，会使采集到的图像质量退化，甚至严重影响下一步的检测识别。在扶梯出入口由于目标快速移动极易形成模糊，这样会给扶梯异常检测工作带来很大干扰。
3.传统去模糊普遍是通过已知的模糊核和模糊图片进行卷积，并添加加性噪声去除模糊。但运动模糊核的估计较为复杂，对清晰图像的先验假设也不具备泛化性，很难实现目标。鄢化彪等提出一种基于图像相邻列灰度一致性的算法，融合无参考图像质量评价算子对反卷积后的图像质量进行优化，根据融合的评价指标与图像自变量之间的单峰关系求得复原图像。
4.在深度学习领域内对去除运动模糊的研究近几年比较流行，尤其是以deblurgan为主流的算法，但是该方法在重构图片的清晰度方面和算法复杂度方面欠佳。因此，提供一种清晰度更高性能更好的去模糊算法是亟待解决的问题。


技术实现要素：

5.有鉴于此，本发明实施例的目的在于提供一种基于改进deblurgan模型的去运动模糊方法、装置、介质及设备，以提高去除运动模糊图像速度和图像的清晰度。
6.为达上述目的，第一方面，本发明实施例提供了一种基于改进deblurgan模型的去运动模糊方法，包括：
7.获取待检测的模糊图像；
8.将所述待检测的模糊图像输入预先训练好的对抗网络模型，获得清晰图像；
9.对所述清晰图像的精确度进行验证和对比。
10.在一些可能的实施方式中，在所述的获取待检测的模糊图像之前，还可以包括：
11.获取模糊图像样本和所述模糊图像样本对应的真实清晰图像；
12.通过生成器网络对所述的模糊图像样本进行重建图像；
13.通过判别器网络对所述重建图像与所述真实清晰图像进行对比，挑选出与所述真实清晰图像质量相同的重建图像；
14.对所述判别器网络的损失和所述生成器网络的损失交替训练，获得所述对抗网络模型。
15.在一些可能的实施方式中，所述的通过生成器网络对所述的模糊图像进行重建图像，具体可以包括：
16.通过所述生成器网络的卷积层提取模糊图像的浅层特征；
17.通过所述生成器网络的密集残差块提取密集残差特征；
18.通过所述生成器网络的上采样层对提取的浅层特征和密集残差特征进行双线性插值后再卷积上采样，获得像素均匀分布的重建图像。
19.在一些可能的实施方式中，所述的通过所述生成器网络的密集残差块提取密集残差特征，具体可以包括：
20.通过所述密集残差块的连续记忆机制把上一个所述密集残差块获取的特征信息输入到当前所述密集残差块；
21.通过所述密集残差块的局部密集连接机制获取每层卷积信息；
22.通过所述密集残差块的局部残差机制自适应地保留累积所述的每层卷积信息。
23.在一些可能的实施方式中，所述的通过判别器网络对所述重建图像与所述真实清晰图像进行对比，挑选出与所述真实清晰图像质量相同的所述重建图像，具体可以包括：
24.将所述重建图像随机剪裁获取多个局部图像块；
25.通过所述判别器网络对所述多个局部图像块进行判别；
26.分别计算每个所述局部图像块与所述真实清晰图像相同的概率值，将所述每个局部图像块的概率值求平均处理，获取所述重建图像的概率值；
27.将所述重建图像的概率值与预设概率阈值比较，将大于所述预设概率阈值的重建图像判别为清晰图像。
28.在一些可能的实施方式中，所述的对所述判别器网络的损失和所述生成器网络的损失交替训练，获取对抗网络模型，具体可以包括：
29.采用交替训练方式对所述生成器网络的损失和所述判别器网络的损失进行训练；
30.当训练所述判别器网络损失时，所述生成器网络损失停止训练；
31.当训练所述生成器网络损失时，所述判别器网络损失停止训练。
32.在一些可能的实施方式中，所述的对所述清晰图像的精确度进行验证和对比，具体可以包括：
33.通过模糊图像数据集对所述对抗网络模型获得的清晰图像的精确度进行验证；
34.使用tiny yolov3网络对所述对抗网络模型获得的清晰图像的精确度进行对比。
35.第二方面，本发明提供了一种基于改进deblurgan模型的去运动模糊的检测装置，包括：
36.获取模块，用于获取待检测的模糊图像；
37.图像处理模块，用于将所述待检测的模糊图像输入预先训练好的对抗网络模型，获得清晰图像；
38.验证和对比模块，用于对获得的清晰图像的精确度进行验证和对比。
39.第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任意一种所述的一种基于改进deblurgan模型的去运动模糊方法。
40.第四方面，本发明提供了一种基于改进deblurgan模型的去运动模糊的检测设备，其特征在于，其包括：
41.一个或多个处理器；
42.存储装置，用于存储一个或多个程序；
43.当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处
理器实现上述任意一种所述的一种基于改进deblurgan模型的去运动模糊方法。
44.上述技术方案具有如下有益效果：
45.本发明实施例通过获取待检测的模糊图像，将待检测的模糊图像输入预先训练好的对抗网络模型，获得清晰图像，同时对所述清晰图像的精确度进行验证和对比。本发明实施例提供的一种改进deblurgan模型的去运动模糊方法，能够快速的去除图像的运动模糊，增加图像的精确度。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1是本发明实施例的一种基于改进deblurgan模型的去运动模糊方法的流程图；
48.图2a是本发明实施例的一种获取对抗网络模型的流程图；
49.图2b为本发明实施例一种生成器网络结构的示意图；
50.图2c是本发明实施例的一种残差密集块结构的示意图；
51.图2d是本发明实施例的残差密集块的上采样过程中双线性插值模块的示意图；
52.图3a是本发明实施例通过判别器网络生成重建图像的流程图；
53.图3b是本发明实施例的一种判别器网络结构的示意图；
54.图3c本发明实施例中对判别器网络的损失和生成器网络的损失交替训练的流程图；
55.图4是本发明实施例的依据公有数据集gopro进行训练和测试的全图对比结果；
56.图5是本发明实施例的依据公有数据集gopro进行训练和测试的局部图对比结果；
57.图6是传统的算法与本发明改进deblurgan算法应用于tiny yolov3网络检测结果；
58.图7是发明实施例的一种基于改进deblurgan模型的去运动模糊装置的功能框图；
59.图8是本发明实施例的一种计算机可读存储介质的功能框图；
60.图9是本发明实施例的一种基于改进deblurgan模型的去运动模糊设备的功能框图。
具体实施方式
61.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
62.实施例一
63.图1是本发明实施例的一种基于改进deblurgan模型的去运动模糊方法的流程图。如图1所示，该方法包括如下步骤：
64.s110，获取待检测的模糊图像。
65.s120，将待检测的模糊图像输入预先训练好的对抗网络模型，获得清晰图像。
66.图2a是本发明实施例的一种获取对抗网络模型的流程图，如图2a所示，获取对抗网络模型具体包括如下步骤：
67.步骤s121，获取模糊图像样本和模糊图像样本对应的真实清晰图像。
68.步骤s122，通过生成器网络对模糊图像样本进行重建图像。
69.图2b为本发明实施例一种生成器网络结构示意图，如图2b所示，该生成器网络包括卷积层(3*3conv in relu)、残差密集块(residual
‑
in
‑
residual dense block，rrdb) 和上采样模块(upsampling)，在生成器网络的头部和尾部的卷积层都使用3*3的卷积核代替7*7的卷积核，如图2b中的改进
①
，通过该卷积层提取模糊图像的浅层特征，减小了参数量的同时增加网络的非线性。
70.在头部卷积层的后面连接若干个残差密集块(residual
‑
in
‑
residual dense block， rrdb)，如图2b中的改进
②
，利用残差密集块提取残差密集特征本发明实施例中，残差密集块的数量为9个；图2c是本发明实施例的一种残差密集块结构示意图，如图2c所示，每一个残差密集块由卷积层、实例归一化层、激活层经过从前向后依次跳跃连接形成的，残差密集块能够通过连续记忆(contiguous memory)机制从前一个残差密集块读取状态，还可以通过局部密集连接充分利用其中的所有层，然后通过局部特征融合自适应地保留累积的特征。
71.可以理解的，残差密集块包括密集连接层和带有局部残差学习的局部特征融合，残差密集块还支持每个残差密集块之间的连续记忆(contiguous memory)功能，可以在每个卷积层之间利用密集连接(dense connections)的方式，尽量利用这些层提取的信息；一个残差密集块的输出可以直接访问下一个残差密集块各卷积层，从而使状态连续传递，残差密集块每个卷积层(3*3conv in lrelu)都可以访问所有的后续卷积层 (3*3conv in lrelu)，传递需要保留的信息。将前面的残差密集块与当前残差密集块的所有前面层的状态连接，通过局部特征融合自适应地保存信息来提取局部密集特征，在提取多层局部密集特征后，我们进一步进行全局特征融合，以全局方的式自适应地保留分层特征。作为一个举例说明，为了避免造成信息冗余，提取一个残差密集块里面更有效的特征用于局部残差学习(local residual learning)。为避免参数过多难以训练，将最后的残差信息乘0.2，同时减小初始化参数。
72.由于针对模糊图像的去运模糊需要对关注单个图像的均值，在残差密集网络层中去掉批量归一化层(batch normalization，bn)，而采用实例归一化(instance normalization， in)对单张图片的宽和高进行归一化，可以避免批量归一化产生的伪影。通过局部残差密集块能够获取更多的卷积层信息，丰富细节信息，提高重建图像的质量。
73.在rrdb后面为上采样模块如图2b中的改进
③
，在上采样过程中，舍弃原算法中使用的转置卷积，使用双线性插值法(bilinear interpolation)，避免转置卷积插0引起重构图像中出现棋盘格子的问题，图2d是本发明实施例的残差密集块的上采样过程中双线性插值模块的示意图。
74.s123，通过判别器网络对重建图像与真实清晰图像进行对比，挑选出与真实清晰图像质量相同的重建图像。
75.图3a是本发明实施例通过判别器网络生成重建图像的流程图，如图3a所示，本实
施例中通过判别器网络生成重建图像包括如下步骤：
76.s123
‑
1，将重建图像随机剪裁获取多个局部图像块；
77.s123
‑
2，通过判别器网络对多个局部图像块进行判别；
78.s123
‑
3，分别计算每个局部图像块与真实清晰图像相同的概率值，将每个局部图像块的概率值求平均处理，获取重建图像的概率值；
79.s123
‑
4，将重建图像的概率值与预设概率阈值比较，将大于预设概率阈值的重建图像判别为清晰图像。
80.在本实施例中，将模糊图像输入生成器网络，通过生成器网络重建图像，获取一张近似清晰的图像，将近似清晰图像送入判别器网络，通过判别器网络的判别结果指导生成器网络生成近似真实的清晰图像。
81.图3b是本发明实施例的一种判别器网络结构示意图，如图3b所示，判别器网络采用 6个卷积层构造网络架构，因为在处理图像修复增强问题时，实例归一化是针对单张图像求均值效果更好，因此去掉了批量归一化层，而采用实例归一化是针对单张图像求均值，但是去掉了批量归一化层还会导致梯度爆炸，为了防止训练发生梯度爆炸，将生成器网络生成的重建图像输入到判别器网络之前，首先将整张重建图像随机裁剪成多个f
×
f的局部图像块，可以先将多个局部图像块中的随机几个局部图像块加入梯度惩罚项，例如，在输入到判别器网络的重建图像上随机选取256x 256大小的局部图像块，加入梯度惩罚就是为了避免训练时出现梯度爆炸，将结果参数限制在一定范围防止出现爆炸。
82.把全部的局部图像块输入判别器网络，分别计算每个局部图像块与真实清晰图像相同的概率值，将每个局部图像块的概率值求平均处理，获取重建图像的概率值；将重建图像的概率值与预设概率阈值比较，将大于预设概率阈值的重建图像判别为清晰图像，作为一个举例说明，当阈值设置为0.5时，将重建图像的概率值大于等于0.5时的图像为真即高清图像，反之为模糊图像。通过判别器网络对生成器网络中生成的重建图像与清晰图像进行对抗，直至判别器网络分辨不出重建图像和清晰图像的真假。
83.s124，对判别器网络的损失和生成器网络的损失交替训练，获得对抗网络模型。
84.图3c本发明实施例中对判别器网络的损失和生成器网络的损失交替训练的流程图，如图3c所示，具体包括如下步骤：
85.s124
‑
1，采用交替训练方式对生成器网络和判别器网络进行损失训练；
86.s124
‑
1，当训练判别器网络损失时，生成器网络损失训练停止；
87.s124
‑
1，当生成器网络训练时，对判别器网络的训练停止。
88.在本实施例中，判别器网络的任务是让清晰图像的判别结果接近于1(即接近于真实)，生成的伪清晰图像判别结果接近于0，另外，为了避免训练崩溃，在对判别器网络损失训练时，增加了梯度惩罚项，增加了梯度惩罚项之后判别器网络损失函数l
adv
为：
[0089][0090]
生成器网络的损失训练是让判别器网络将重建图像判断为真实图像的概率最大化，生成器网络的损失函数l
g
为条件损失l
condition
和优化的内容损失l
content
之和：
[0091]
l
g
＝l
condition
λ*l
content
[0092]
生成器网络的条件损失函数为l
condition
为：
[0093][0094]
式中，表示图片取自重建图像集，x～p
r
表示图片取自真实清晰图像集，d代表模糊图像输入到判别器网络后得到的概率值，e代表将判别器网络对输入模糊图像的多个局部图像块块概率值求平均处理，b代表输入的模糊图像。
[0095]
生成器网络的条件损失函数保证生成器网络在给定模糊图像作为输入的情况下，保证输出和输入保持一致，避免偏离真实图像太多，作为一个举例说明，输入指的是模糊图像，输出指的是模糊图像经过生成器网络的重建图像。这里一致指的是像素尺寸大小一致，一致是通过上采样实现的，即生成器网络通过上采样增大尺寸，增加到跟输入尺寸一致即可。
[0096]
在一些实施例中，对于生成器网络的优化内容损失的训练，为保证重建图像的内容真实性，在内容损失函数中保留原算法的感知损失l
percepual
外，在内容损失中引入重建图像和真实图像之间的梯度范数，即梯度图像损失函数l
gard
，使重建图像边缘细节更加清晰，因此，生成器网络的优化内容损失函数l
content
包括感知损失函数l
perceptual
和梯度图像损失函数l
gard
：
[0097]
l
content
＝l
perceptual
αlgard
[0098]
式中，优选系数α取0.5。
[0099]
在一些实施例中，感知损失l
percepual
是指将重建图像和清晰图像输入到训练好的vgg19 网络，通过分别提取重建图像与清晰图像的特征进行对比，作为梯度惩罚项来惩罚对抗网络损失函数，在卷积层经过激活之后所得到的两个特征图之间的感知损失函数，感知损失侧重于恢复一般内容，更高层次的卷积层代表更抽象的特征，感知损失函数为：
[0100][0101]
式中，φ
i,j
表示将生成器网络得到的特征图和对应的真实清晰的图像送到vgg19网络的第i个卷积块、第j个卷积层后的特征图，w
i,j
、h
i,j
为特征图的宽和高，s为真实清晰图像，g(b)是重建图像的输出图像，x、y分别是横坐标和纵坐标。
[0102]
在一些实施例中，由于原算法中并没有为内容损失提供边缘信息，重建后的图像在边缘部分不够清晰，模糊图像的边缘是不规则的，而清晰图片具有显著的边缘，因此，引入重建图像和真实清晰图像的梯度距离作为生成器网络的内容损失的梯度惩罚项约束，可以丰富边缘信息和结构信息，梯度计算公式为：
[0103]
grad＝|d
x
| |d
y
|
[0104]
式中，d
x
代表横轴方向的梯度，d
y
代表纵轴方向的梯度，grad是梯度图。
[0105]
梯度图像损失函数为:
[0106][0107]
式中，l
gard
代表梯度图像损失函数，grad
s
代表清晰图像的梯度图像，grad
g(b)
代表
yolov3网络检测对图6(a)的原始模糊图像进行检测的结果。
[0117]
由检测结果可以看出，deblurgan算法和nah改进算法均有所漏检，改进的deblurgan 算法处理后的图片边缘细节更丰富，有效改善了漏检的问题。
[0118]
同时，又针对各种方法在tiny yolov3网络检测的准确率和召回率进行了比较，结果如表2所示：
[0119]
表2不同方法的结果对比
[0120][0121]
由表2中的数据可以看出，本发明实施例中改进的deblurgan方法与deblurgan方法、和nah改进方法相比，去模糊后的准确率和召回率相比均最高，对比其他两种方法精确度有很大提升。其中，正确率是指所有检测出来的目标里面检测正确的占检测出来的比率，召回率是指检测出来的目标占所有目标数的比率。
[0122]
实施例三
[0123]
图7是本发明实施例的一种基于改进deblurgan模型的去运动模糊装置的功能框图 700，包括：
[0124]
获取模块710，用于获取待检测的模糊图像；
[0125]
图像处理模块720，用于将待检测的模糊图像输入预先训练好的对抗网络模型，获得清晰图像；
[0126]
验证和对比模块730，用于对获得的清晰图像的精确度进行验证和对比。
[0127]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将该装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0128]
实施例三
[0129]
本发明实施例还提供了一种计算机可读存储介质800，计算机可读存储介质800内存储有计算机程序810，计算机程序810被处理器执行时，实现：
[0130]
获取待检测的模糊图像；
[0131]
将待检测的模糊图像输入预先训练好的对抗网络模型，获得清晰图像；
[0132]
对获得的清晰图像的精确度进行验证和对比。
[0133]
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0134]
实施例四
[0135]
本发明实施例还提供了一种电子设备900，如图9所示，包括一个或多个处理器901、通信接口902、存储器903和通信总线904，其中，处理器901，通信接口902，存储器903 通过通信总线904完成相互间的通信。
[0136]
存储器903，用于存放计算机程序；
[0137]
处理器901，用于执行存储器903上所存放的程序时，实现：
[0138]
获取待检测的模糊图像；
[0139]
将待检测的模糊图像输入预先训练好的对抗网络模型，获得清晰图像；
[0140]
对获得的清晰图像的精确度进行验证和对比。
[0141]
上述电子设备提到的通信总线可以是外设部件互连标准(peripheral componentinterconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa) 总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于上述电子设备与其他设备之间的通信。
[0142]
总线904包括硬件、软件或两者，用于将上述部件彼此耦接在一起。举例来说，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数 (lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci
‑
express (pci
‑
x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
[0143]
存储器可以包括随机存取存储器(random access memory，ram)，也可以包括非易失性存储器(non
‑
volatile memory，nvm)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0144]
存储器903可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器903 可包括硬盘驱动器(hard disk drive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，usb)驱动器或者两个或更多个以上这些的组合。在
合适的情况下，存储器903可包括可移除或不可移除(或固定)的介质。在特定实施例中，存储器903是非易失性固态存储器。在特定实施例中，存储器903包括只读存储器 (rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom) 或闪存或者两个或更多个以上这些的组合。
[0145]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signalprocessing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0146]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0147]
虽然本技术提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。
[0148]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0149]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0150]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0151]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在
包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0152]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备及可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0153]
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。