基于视觉对抗重构的DeepFake防御方法和系统与流程

基于视觉对抗重构的deepfake防御方法和系统
技术领域
1.本发明属于deepfake 防御领域，尤其涉及基于视觉对抗重构的deepfake防御方法和系统。


背景技术：

2.随着复杂的图像和视频合成技术的出现，尤其是生成对抗网络 (generative adversarial network, gan)~\cite{goodfellow2014generative}，生成高质量、令人信服的假视频变得越来越容易。 deepfake~\cite{choi2018stargan,karras2019style,karras2020analyzing}是一种新的合成视频流派，其中主体的面部被修改为目标面部，以在特定环境中模拟目标主体，并创建令人信服的真实事件视频。为此，应制定有效措施打击此类deepfake，以保护的个人安全和隐私。
3.现有的 deepfake 防御技术主要侧重于被动检测，即利用生成后的假脸中的伪影对其进行检测。具体来说，给定一张人脸图像，deepfake 检测器提取各种有效特征，并根据这些特征将图片分类为真假。尽管它们具有相当高的准确性，但这些检测器只是针对deepfake 攻击的被动措施，因为它们无法消除已生成并广泛传播的虚假内容的负面影响。此外，最近的研究表明这些检测器容易受到有意和无意的攻击。
4.与其无穷尽地提高 deepfake 检测的能力，一个更为重要但尚未得到充分研究的问题是，如何在此类威胁发生之前进行主动预防。最近，ruiz等人~\cite{ruiz2020disrupting} 试图通过在人脸图像中添加对抗性噪声来主动破坏deepfake生成。然而，注入的扰动是显而易见的，这会大大降低图像质量并降低个人数据的可用性。
5.现有技术：deepfake生成根据不同的目标，现有的 deepfake 方法可以分为三类：i) 身份交换，ii) 属性编辑，和 iii) 表情操控。身份交换表示将一个人的脸与另一个人的脸进行交换。这一类工作，包括 face2face(thies et al., 2016)、faceswap (korshunova et al., 2017) 和 simswap (chen et al., 2020)，他们使用自动编码器或者gan 作为主干架构以产生逼真的结果。在属性编辑中，头发和性别等面部属性通过 gan 进行自动编辑。stargan (choi et al., 2018)、stgan (liu et al., 2019)和attgan (he et al., 2019)可以对属性进行细粒度的编辑，例如改变头发颜色、戴眼镜等。类似地，表情操控修改人的面部表情。例如，ganimation (pumarola et al., 2019) 和interfacegan (shen et al., 2020) 可以将输入图像更改为不同的表达水平。
6.deepfake防御由于其被动方式，deepfake 检测被证明不足以防御恶意操作。与其无休止地提高被动检测 deepfake 的准确性，不如在数据被操纵之前主动防御 deepfake。最近，研究人员添加难以察觉的对抗性噪声(szegedy et al., 2014)来破坏基于 gan 的图像合成。这一系列工作(ruiz et al.,2020;yeh et al.,2020;huang et al.,2021;yang et al.,
2021)旨在编辑面部图像，以便在推理阶段扰乱模型。然而，在破坏 deepfake 的同时，增加的对抗性扰动很容易被检测器发现并且很容易被破坏。更重要的是，这种对抗性噪声防御的合理性值得怀疑，因为考虑到作用在噪声上的范数约束与人类感知是不相符的，这些噪声的幅度是过大的。上述问题促使在保持人脸高质量的同时，探索更合理更强力的防御方法。


技术实现要素：

7.为解决上述技术问题，本发明提出一种基于视觉对抗重构的deepfake防御方法的技术方案，在保持人脸高质量的同时，探索更合理更强力的防御方法，以解决上述技术问题。
8.本发明第一方面公开了一种基于视觉对抗重构的deepfake防御方法；所述方法包括：步骤s1、准备人脸数据集；人脸生成器，记做g(
•
)；步骤s2、设计一个人脸编码器，记做e(
•
)；设计一个人脸判别器，记做d(
•
)；应用所述人脸数据集中的样本x做所述人脸编码器与所述人脸判别器的对抗训练；应用对抗训练后的所述人脸编码器获取初始隐空间编码z0，以所述初始隐空间编码为初始点对所述对抗训练后的所述人脸编码器做微调；应用微调后的所述人脸编码器，获取隐空间编码z；步骤s3、以所述隐空间编码z为中心，在所述隐空间编码的近邻域进行对抗搜索，获取与所述隐空间编码z相近的近邻域隐空间编码z’；设计保护人脸图像的内容的面部内容目标函数和保护人脸图像的身份信息的身份信息目标函数，对近邻域隐空间编码z’进行优化搜索，得到优化后的隐空间编码z
*
；步骤s4、将所述优化后的隐空间编码z
*
输入人脸生成器，重构图像。
9.根据本发明第一方面的方法，在所述步骤s2中，所述人脸编码器e(
•
)的训练目标函数为：其中，θe为所述人脸编码器e(
•
)的优化参数，v(
•
)是vgg神经网络，为数学期望，表示二范数距离，p为真实人脸图像分布，λ
vgg
和λ
adv
人为设定的超参数。
10.根据本发明第一方面的方法，在所述步骤s2中，所述人脸判别器d(
•
)的训练目标函数为：其中，θd为所述人脸判别器d(
•
)的优化参数，
∇
x
表示对x的梯度，为数学期望，表示二范数距离，p为真实人脸图像分布，λ
reg
为人为设定的超参数。
11.根据本发明第一方面的方法，在所述步骤s2中，所述以所述初始隐空间编码为初始点对所述对抗训练后的所述人脸编码器做微调的训练目标函数为：
其中，z为隐空间编码，表示二范数距离。
12.根据本发明第一方面的方法，在所述步骤s3中，所述面部内容目标函数为：其中，z’为近邻域隐空间编码，表示二范数距离。
13.根据本发明第一方面的方法，在所述步骤s3中，所述身份信息目标函数为：其中，cos(
•
)为余弦相似度，h(
•
)为人脸识别模型，f(
•
)为目标deepfake模型。
14.根据本发明第一方面的方法，在所述步骤s3中，所述对近邻域隐空间编码z’进行优化搜索，更新z'的更新方式为：其中，clip(
•
)为剪切函数，z
t’为更新前的变量，表示对z
t’的梯度，l表示所述面部内容目标函数或者所述身份信息目标函数，
ɑ
为人为设定的超参数，
ɛ
为人为设定的超参数。
15.本发明第二方面公开了一种基于视觉对抗重构的deepfake防御系统；所述系统包括：第一处理模块，被配置为，准备人脸数据集；人脸生成器，记做g(
•
)；目标deepfake模型，记做f(
•
)；第二处理模块，被配置为，设计一个人脸编码器，记做e(
•
)；设计一个人脸判别器，记做d(
•
)；应用所述人脸数据集中的样本x做所述人脸编码器与所述人脸判别器的对抗训练；应用对抗训练后的所述人脸编码器获取初始隐空间编码z0，以所述初始隐空间编码为初始点对所述对抗训练后的所述人脸编码器做微调；应用微调后的所述人脸编码器，获取隐空间编码z；第三处理模块，被配置为，以所述隐空间编码z为中心，在所述隐空间编码的近邻域进行对抗搜索，获取与所述隐空间编码z相近的近邻域隐空间编码z’；根据不同的保护目标，设计保护人脸图像的内容的面部内容目标函数和保护人脸图像的身份信息的身份信息目标函数，对近邻域隐空间编码z’进行优化搜索，得到优化后的隐空间编码z
*
；第四处理模块，被配置为，将所述优化后的隐空间编码z
*
输入人脸生成器，重构图像。
16.本发明第三方面公开了一种电子设备。电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本公开第一方面中任一项的一种基于视觉对抗重构的deepfake防御方法中的步骤。
17.本发明第四方面公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，实现本公开第一方面中任一项的一种基于视觉对抗重构的deepfake防御方法中的步骤。
18.本发明提出的方案能够，(1) 通过搜索最佳潜在代码，重建真实的人脸数据以抵抗 deepfake的恶意操作;(2) 训练编码器将真实人脸图像转化为令人满意的初始点并优化临近域内的潜在代码；(3) 对三种类型的deepfake进行了实验，包括人脸属性编辑、人脸表情处理和人脸交换；实验结果证明了在保留高质量原始人脸图像的同时抵抗deepfake生成的有效性。
附图说明
19.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为根据本发明实施例的一种基于视觉对抗重构的deepfake防御方法的流程图；图2为根据本发明实施例的在重构图像导致 deepfake失效示例图；图3为根据本发明实施例的隐空间对抗搜索示意图；图4为根据本发明实施例的本方法在人脸属性编辑模型stargan上的效果图；图5为根据本发明实施例的本方法在在人脸表情操控模型ganimation上的效果图；图6为根据本发明实施例的本方法在在换脸模型simswap上的效果图；图7为根据本发明实施例的一种基于视觉对抗重构的deepfake防御系统的结构图；图8为根据本发明实施例的一种电子设备的结构图。
具体实施方式
21.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
23.在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
24.应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离
本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
25.在本技术中，深入研究了在不损失质量的情况下精心创建一张与真实人脸相似的重构人脸图像，这会导致 deepfake 在这张重构图像上失效，如图2所示。提出了一种搜索潜在人脸空间以生成替代人脸数据的方法。具体来说，利用编码器将真实人脸嵌入到潜在空间中，然后在其邻近域中搜索对抗人脸嵌入以欺骗 deepfake 生成模型。这样，个人人脸图像/视频可以通过仅发布的方法所创建的重构数据来获得保护。恶意用户只能访问重建的人脸数据，且deepfake 模型的性能在这些数据上会显著下降。为此，期望所重建的人脸：（1）在视觉上与真实人脸保持一致，（2）可以使 deepfake 模型失效。
26.使deepfake失效的方法是破坏它的功能，而非降低其生成图像的质量。例如图1顶行中的重构输出仍然是现实的，但在编辑“金发”时失败了。如图3所示，提出一种称为潜在对抗性探索 (latent adversarial exploration, lae) 的两阶段方法。在第一阶段，将真实人脸数据转化为潜在编码，它能够通过一个生成器逼真地重建真实图像。将这个问题看做 gan 的逆向问题~\cite{xia2021gan,zhu2020domain,zhu2016generative,abdal2019image2stylegan}，训练一个编码器来生成潜在嵌入，将其作为初始化，然后再对其进行微调。在第二阶段，在第一阶段获得的潜在嵌入的临近域中搜索，以获得最优嵌入，该嵌入可以产生完美的重建并且使 deepfake 失效。此过程中，潜在嵌入使用来自目标 deepfake 模型的梯度信息进行优化，并限制在一个小的修改范围中，以满足视觉相似性要求。
27.实施例1：本发明公开了一种基于视觉对抗重构的deepfake防御方法，其中deepfake为深度伪造。图1为根据本发明实施例的一种基于视觉对抗重构的deepfake防御方法的流程图，如图1所示，所述方法包括：步骤s1、准备人脸数据集；人脸生成器，记做g(
•
)；目标deepfake模型，记做f(
•
)；所述人脸生成器和目标deepfake模型为结构已知的现有网络；步骤s2、设计一个人脸编码器，记做e(
•
)；设计一个人脸判别器，记做d(
•
)；应用所述人脸数据集中的样本x做所述人脸编码器与所述人脸判别器的对抗训练；应用对抗训练后的所述人脸编码器获取初始隐空间编码z0，以所述初始隐空间编码为初始点对所述对抗训练后的所述人脸编码器做微调；应用微调后的所述人脸编码器，获取隐空间编码z；步骤s3、以所述隐空间编码z为中心，在所述隐空间编码的近邻域进行对抗搜索，获取与所述隐空间编码z相近的近邻域隐空间编码z’；根据不同的保护目标，设计保护人脸图像的内容（包括面部属性、表情等等）的面部内容目标函数和保护人脸图像的身份信息（可以包括五官大小和形状，身份信息包括可以从一张人脸图像中识别出该人脸所属身份的所有特征）的身份信息目标函数，对近邻域隐空间编码z’进行优化搜索，得到优化后的隐空间编码z
*
；其中，z的近邻域定义为，在某种距离度量下（我们采用无穷范数距离），与z距离不超过一个小正常数
ɛ
的区域范围。
28.步骤s4、将所述优化后的隐空间编码z
*
输入人脸生成器，重构图像。
29.在步骤s1，准备人脸数据集；人脸生成器，记做g(
•
)；目标deepfake模型，记做f(
•
)；所述人脸生成器和目标deepfake模型为结构已知的现有网络。
30.在一些实施例中，在所述步骤s1中，人脸数据集为celeba-hq，一个高清人脸数据集。
31.在一些实施例中，在所述步骤s1中，在人脸数据集上，使用开源的方法预训练好的生成器即可，其功能为将一个隐空间的编码映射为一张人脸图像，该人脸图像接近真实人脸图像，例如，stylegan, 一种高分辨图像生成器。
32.在一些实施例中，在所述步骤s1中，目标deepfake模型的内部参数和结构已知，目标是保护人脸模型免受此目标模型的操控；例如，各种公开的deepfake模型，包括stargan, ganimation, simswap等等在步骤s2，设计一个人脸编码器，记做e(
•
)；设计一个人脸判别器，记做d(
•
)；应用所述人脸数据集中的样本x做所述人脸编码器与所述人脸判别器的对抗训练；应用对抗训练后的所述人脸编码器获取初始隐空间编码z0，以所述初始隐空间编码为初始点对所述对抗训练后的所述人脸编码器做微调；应用微调后的所述人脸编码器，获取隐空间编码z。
33.在一些实施例中，所述人脸编码器e(
•
)和所述人脸判别器d(
•
)的结构可采用常规的深度神经网络编码器和解码器，例如，resnetencoder和resnetdecoder。
34.在一些实施例中，在所述步骤s2中，所述人脸编码器e(
•
)的训练目标函数为：其中，θe为所述人脸编码器e(
•
)的优化参数，v(
•
)是vgg神经网络，为数学期望，表示二范数距离，p为真实人脸图像分布，λ
vgg
和λ
adv
人为设定的超参数，1e-5≤λ
vgg
≤1e-4， 0.05≤λ
adv
≤0.2。
35.在一些实施例中，在所述步骤s2中，所述人脸判别器d(
•
)的训练目标函数为：其中，θd为所述人脸判别器d(
•
)的优化参数，
∇
x
表示对x的梯度，为数学期望，表示二范数距离，p为真实人脸图像分布，λ
reg
为人为设定的超参数，1≤λ
reg
≤10，为x-p的数学期望。
36.在一些实施例中，在所述步骤s2中，所述以所述初始隐空间编码为初始点对所述对抗训练后的所述人脸编码器做微调的训练目标函数为：其中，z为隐空间编码，表示二范数距离。
37.在步骤s3，以所述隐空间编码z为中心，在所述隐空间编码的近邻域进行对抗搜索，获取与所述隐空间编码z相近的近邻域隐空间编码z’；根据不同的保护目标，设计保护人脸图像的内容的面部内容目标函数和保护人脸图像的身份信息的身份信息目标函数，对
近邻域隐空间编码z’进行优化搜索，得到优化后的隐空间编码z
*
。
38.在一些实施例中，在所述步骤s3中，所述面部内容目标函数为：其中，z’为近邻域隐空间编码，表示二范数距离。
39.在一些实施例中，在所述步骤s3中，所述身份信息目标函数为：其中，cos(
•
)为余弦相似度，h(
•
)为人脸识别模型, 为结构已知的现有网络，例如，arcface，一种人脸识别模型。
40.在一些实施例中，在所述步骤s3中，所述对近邻域隐空间编码z’进行优化搜索，更新z'的更新方式为：其中，clip(
•
)为剪切函数，z
t’为更新前的变量，
∇
zt’表示对z
t’的梯度，l表示所述面部内容目标函数或者所述身份信息目标函数，
ɑ
为人为设定的超参数，0.01≤
ɑ
≤0.05，
ɛ
为人为设定的超参数，0.01≤
ɛ
≤0.05。
41.在步骤s4，将所述隐空间编码z
*
输入人脸生成器，重构图像。
42.在一些实施例中，将所述隐空间编码z
*
输入人脸生成器，重构图像具体位置：。
43.如图4所示，在人脸属性编辑模型stargan上的效果，第一行是原始生成效果，第二行是防御效果，的方法使模型不能修改source图像的各种人脸属性，从而保护图像。
44.如图5所示，在人脸表情操控模型ganimation上的效果，第一行是驱动视频，第二行是原始生成效果，第三行是防御效果，的方法是模型不能修改source图像的表情，从而保护图像。
45.如图6所示，在换脸模型simswap上的效果，第一行是原始换脸效果，第二行是防御效果，的方法使模型不能进行正确的换脸，从而保护图像中人脸的身份信息。
46.综上，本发明提出的方案能够，(1) 通过搜索最佳潜在代码，重建真实的人脸数据以抵抗 deepfake 的恶意操作;(2) 训练编码器将真实人脸图像转化为令人满意的初始点并优化临近域内的潜在代码；(3) 对三种类型的 deepfake 进行了实验，包括人脸属性编辑、人脸表情处理和人脸交换；实验结果证明了在保留高质量原始人脸图像的同时抵抗 deepfake 生成的有效性。
47.实施例2：本发明公开了一种基于视觉对抗重构的deepfake防御系统。图7为根据本发明实施例的一种基于视觉对抗重构的deepfake防御系统的结构图；如图7所示，所述系统100包括：
第一处理模块101，被配置为，准备人脸数据集；人脸生成器，记做g(
•
)；目标deepfake模型，记做f(
•
)；所述人脸生成器和目标deepfake模型为结构已知的现有网络；第二处理模块102，被配置为，设计一个人脸编码器，记做e(
•
)；设计一个人脸判别器，记做d(
•
)；应用所述人脸数据集中的样本x做所述人脸编码器与所述人脸判别器的对抗训练；应用对抗训练后的所述人脸编码器获取初始隐空间编码z0，以所述初始隐空间编码为初始点对所述对抗训练后的所述人脸编码器做微调；应用微调后的所述人脸编码器，获取隐空间编码z；第三处理模块103，被配置为，以所述隐空间编码z为中心，在所述隐空间编码的近邻域进行对抗搜索，获取与所述隐空间编码z相近的近邻域隐空间编码z’；根据不同的保护目标，设计保护人脸图像的内容（包括面部属性、表情等等）的面部内容目标函数和保护人脸图像的身份信息（五官大小和形状）的身份信息目标函数，对近邻域隐空间编码z’进行优化搜索，得到优化后的隐空间编码z
*
；第四处理模块104，被配置为，将所述优化后的隐空间编码z
*
输入人脸生成器，重构图像。
48.根据本发明实施例2的系统，所述第一处理模块101具体被配置为，人脸数据集为celeba-hq，一个高清人脸数据集；在人脸数据集上，使用开源的方法预训练好的生成器即可，其功能为将一个隐空间的编码映射为一张人脸图像，该人脸图像接近真实人脸图像，例如，stylegan, 一种高分辨图像生成器；目标deepfake模型的内部参数和结构已知，目标是保护人脸模型免受此目标模型的操控；例如，各种公开的deepfake模型，包括stargan, ganimation, simswap等等。
49.根据本发明实施例2的系统，所述第二处理模块102具体被配置为，所述人脸编码器e(
•
)和所述人脸判别器d(
•
)的结构可采用常规的深度神经网络编码器和解码器，例如，resnetencoder和resnetdecoder；所述人脸编码器e(
•
)的训练目标函数为：其中，θe为所述人脸编码器e(
•
)的优化参数，v(
•
)是vgg神经网络，为数学期望，表示二范数距离，p为真实人脸图像分布，λ
vgg
和λ
adv
人为设定的超参数，1e-5≤λ
vgg
≤1e-4， 0.05≤λ
adv
≤0.2；所述人脸判别器d(
•
)的训练目标函数为：其中，θd为所述人脸编码器d(
•
)的优化参数，
∇
x
表示对x的梯度，为数学期望，表示二范数距离，p为真实人脸图像分布，λ
reg
为人为设定的超参数，1≤λ
reg
≤10；所述以所述初始隐空间编码为初始点对所述对抗训练后的所述人脸编码器做微调的训练目标函数为：
其中，z为隐空间编码，表示二范数距离。
50.根据本发明实施例2的系统，所述第二处理模块103具体被配置为，所述面部内容目标函数为：其中，z’为近邻域隐空间编码，表示二范数距离。
51.所述身份信息目标函数为：其中，cos(
•
)为余弦相似度，h(
•
)为人脸识别模型, 为结构已知的现有网络，例如，arcface，一种人脸识别模型。
52.所述对近邻域隐空间编码z’进行优化搜索，更新z'的更新方式为：其中，clip(
•
)为剪切函数，z
t’为更新前的变量，
∇
zt’表示对z
t’的梯度，l表示所述面部内容目标函数或者所述身份信息目标函数，
ɑ
为人为设定的超参数，0.01≤
ɑ
≤0.05，
ɛ
为人为设定的超参数，0.01≤
ɛ
≤0.05。
53.根据本发明实施例2的系统，所述第二处理模块104具体被配置为，将所述隐空间编码z
*
输入人脸生成器，重构图像具体位置：。
54.实施例3：本发:公开了一种电子设备。电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时，实现本发明公开实施例1中任一项的一种基于视觉对抗重构的deepfake防御方法中的步骤。
55.图8为根据本发明实施例的一种电子设备的结构图，如图8所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、近场通信（nfc）或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
56.本领域技术人员可以理解，图8中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
57.实施例4：本发明公开了一种计算机可读存储介质。计算机可读存储介质上存储有计算机程
序，计算机程序被处理器执行时，实现本发明的实施例1中任一项的一种基于视觉对抗重构的deepfake防御方法中的步骤中的步骤。
58.请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。
59.本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。
60.本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如fpga（现场可编程门阵列）或asic（专用集成电路）来执行，并且装置也可以实现为专用逻辑电路。
61.适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理（pda）、移动音频或视频播放器、游戏操纵台、全球定位系统（gps）接收机、或例如通用串行总线（usb）闪存驱动器的便携式存储设备，仅举几例。
62.适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备（例如eprom、eeprom和闪存设备）、磁盘（例如内部硬盘或可移动盘）、磁光盘以及cd rom和dvd-rom盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。
63.虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此
外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。
64.类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。
65.由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。
66.以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。