训练样本的获取方法、装置、计算机设备及存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种训练样本的获取方法、装置、计算机设备及存储介质。


背景技术：

2.现有神经网络模型由于其尺寸巨大、计算和训练成本昂贵，在实际生产环境中很难得到应用。知识蒸馏（knowledge distillation，kd）是一种对神经网络模型进行压缩，同时保持神经网络模型的预测性能的方法。在知识蒸馏训练方法中，通常使用卷积层多、参数量大且推理速度慢的高精度重模型作为教师模型来指导轻量化、推理速度快的学生模型训练。但是在实际应用场景中，由于敏感数据无法获取、数据访问不便、数据意外丢失等各种原因，用于训练教师模型的完整数据集在知识蒸馏的过程中可能无法访问或使用。缺乏完整的数据集使得学生模型很难学习训练。在这种情况下，学生模型的训练效果极不理想。如何基于少量样本获取用于对学生模型进行训练的大量样本成为亟需解决的问题。


技术实现要素：

3.为了改善现有的缺乏完整数据集使得训练样本数量不足的问题，本技术提出了一种训练样本的获取方法、装置、计算机设备及存储介质，能够对样本集中的每一个训练样本进行数据增强，通过少量训练样本获取了大量训练样本，极大地扩充了样本量。
4.为了实现上述目的，本发明采用如下的技术方案：第一方面，本技术实施例提供了一种训练样本的获取方法，所述方法包括：获取多个原始样本；将多个所述原始样本输入教师模型，通过所述教师模型获取各所述原始样本对应的注意力反应数据；根据各所述注意力反应数据获取对应原始样本的关键特征信息；根据各所述关键特征信息生成多个增强样本。
5.在一种可能的实现方式中，所述通过所述教师模型获取各所述原始样本对应的注意力反应数据的步骤，包括：对所述教师模型的预设卷积层输入激活张量，输出一个c
×h×
w的特征层，其中c为所述特征层的层数，所述特征层包括c个特征图，各所述特征图的尺寸为h
×
w；计算各所述特征图中处于相同位置的特征点的平均值；根据所述平均值获取尺寸为h
×
w的初始空间注意力图；将所述初始空间注意力图进行归一化处理，得到修正空间注意力图；通过平均池化函数将所述修正空间注意力图映射到各所述原始样本上的维度上，得到所述注意力反应数据。
6.在一种可能的实现方式中，所述根据各所述注意力反应数据获取对应原始样本的关键特征信息的步骤，包括：
根据各所述注意力反应数据生成尺寸与所述原始样本的尺寸相等的注意力反应遮罩；将各所述注意力反应遮罩与对应原始样本相乘，得到各所述关键特征信息。
7.在一种可能的实现方式中，所述根据各所述注意力反应数据生成尺寸与所述原始样本的尺寸相等的注意力反应遮罩的步骤，包括：计算所述注意力反应数据的所有元素的元素均值；从所述注意力反应数据的各元素中确定小于所述元素均值的第一目标元素，将所述注意力反应数据中的第一目标元素的元素值设置为0，从所述注意力反应数据的各元素中确定大于等于所述元素均值的第二目标元素，将所述注意力反应数据中的第二目标元素的元素值设置为1，以得到所述注意力反应遮罩。
8.在一种可能的实现方式中，所述根据各所述关键特征信息生成多个增强样本的步骤，包括：将所述注意力反应数据中的所述第一目标元素的元素值设置为1，所述第二目标元素的元素值设置为0，得到干扰参数；从多个所述原始样本中随机抽取至少两个原始样本作为多个目标样本，将各所述目标样本分别与所述干扰参数相乘得到多个干扰噪声信息；将各所述关键特征信息分别与各所述干扰噪声信息进行组合，得到多个增强样本。
9.在一种可能的实现方式中，所述根据各所述关键特征信息生成多个增强样本的步骤，包括：生成多个随机值，将各所述关键特征信息分别与所述多个随机值进行组合，得到多个增强样本。
10.在一种可能的实现方式中，将多个所述原始样本与多个所述增强样本输入所述教师模型，得到第一输出结果；将多个所述原始样本与多个所述增强样本输入学生模型，得到第二输出结果；通过预设损失函数计算第一输出结果和第二输出结果的蒸馏损失；将所述蒸馏损失反向梯度传递给所述学生模型，对所述学生模型进行调整。
11.第二方面，本技术实施例提供了一种训练样本的获取装置，所述装置包括：第一获取模块，用于获取多个原始样本；输入模块，用于将多个所述原始样本输入教师模型，通过所述教师模型获取各所述原始样本对应的注意力反应数据；第二获取模块，用于根据各所述注意力反应数据获取对应的原始样本的关键特征信息；生成模块，用于根据各所述关键特征信息生成多个增强样本。
12.第三方面，本技术实施例提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行第一方面所述的训练样本的获取方法。
13.第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的训练样本
的获取方法。
14.相对于现有技术而言，本技术具有以下有益效果：本实施例提供的训练样本的获取方法、装置、计算机设备及存储介质，获取训练集中的原始样本并输入教师模型，通过教师模型获取各原始样本对应的注意力反应数据，根据各所述注意力反应数据获取对应原始样本的关键特征信息，并将所述关键特征信息与干扰噪声信息组合，得到多个增强样本，极大地扩充了样本量。
附图说明
15.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对本技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
16.图1是本发明实施例提供的一种训练样本的获取方法的一流程示意图；图2a是本发明实施例提供的原始样本的一示例图；图2b是本发明实施例提供的注意力反应遮罩处理样本的一示例图；图2c是本发明实施例提供的原始样本的另一示例图；图2d是本发明实施例提供的注意力反应遮罩处理样本的另一示例图；图2e是本发明实施例提供的原始样本的另一示例图；图2f是本发明实施例提供的注意力反应遮罩处理样本的另一示例图；图2g是本发明实施例提供的原始样本的另一示例图；图2h是本发明实施例提供的注意力反应遮罩处理样本的另一示例图；图3a是本发明实施例提供的原始样本的另一示例图；图3b是本发明实施例提供的目标样本的一示例图；图3c是本发明实施例提供的增强样本的一示例图；图4是本发明实施例提供的一种训练样本的获取装置的一结构示意图。
具体实施方式
17.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
18.通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
20.此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示
相对重要性。
21.除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
22.实施例1本实施例提供了一种训练样本的获取方法。以下结合图1对训练样本的获取方法进行说明。
23.请参照图1，本实施例提供训练样本的获取方法包括以下步骤：步骤s110，获取多个原始样本。
24.在本实施例中，知识蒸馏由在完整数据集上训练好的教师模型指导初始化的学生模型训练。但在实际知识蒸馏的过程中，由于敏感数据无法获取、数据访问不便、数据意外丢失等各种原因，用于训练教师模型的完整数据集在知识蒸馏的过程中可能无法访问或使用，导致大量数据丢失，所以本实施例获取的多个原始样本来自样本量较少的不完整的数据集。在一种实施方式中，所述原始样本为图像样本。若只用现有数量的原始样本对学生模型进行知识蒸馏，学生模型训练效果不佳。
25.在现有的知识蒸馏方法中，虽然存在少样本或零样本情况下的知识蒸馏方法，但普遍只适用于教师模型与学生模型的网络结构差异不大的情况，而随着深度学习模型结构研究的发展，需要训练的学生模型与传统的教师模型结构相差较大。现有的知识蒸馏方法不适用于训练新的学生模型，不利于在实际工程中使用。所以本实施例从数据增强的角度出发，通过少量样本获取大量样本，以达到通过大量样本训练与教师模型的网络结构相差较大的学生模型，实现较好的训练效果的目的。
26.步骤s120，将多个所述原始样本输入教师模型，通过所述教师模型获取各所述原始样本对应的注意力反应数据。
27.在一种实施方式中，所述原始样本为图像样本，这代表一个原始样本包括三个维度：高度，宽度，深度。高度和宽度为图像样本的高度和宽度，深度则为色彩通道的数量，如rgb图像样本的深度为3，而灰度图像样本的深度为1。而在计算机中，图像样本以多个二维矩阵的形式存储，以rgb图像为例，图像样本以三个二维矩阵的形式存储，分别对应所述图像样本的红色（red）通道，绿色（green）通道，蓝色（blue）通道，而二维矩阵中的每一个点的元素值代表着所述图像样本的像素强度。
28.在本实施例中，训练良好的教师模型，若用于检测图像样本中的目标，如：一张图中存在多个待检测目标，所述目标可以是但不限于人像、物体、动植物等，待检测目标所在的区域为目标区域。教师模型可以很好地把待检测目标区域和背景区域区分开。即训练良好的教师模型具有较强的目标区域感知能力，对图像样本中的目标区域会产生较高的激活反应，这种激活反应会在原始样本上生成对应的注意力反应数据。所述注意力反应数据，以矩阵的形式存储在计算机设备中。
29.在一种实施方式中，获取各所述原始样本对应的注意力反应数据的步骤，包括：对所述教师模型的预设卷积层输入激活张量，输出一个c
×h×
w的特征层，其中c
为所述特征层的层数，所述特征层包括c个特征图，各所述特征图的尺寸为h
×
w；计算各所述特征图中处于相同位置的特征点的平均值；根据所述平均值获取尺寸为h
×
w的初始空间注意力图；将所述初始空间注意力图进行归一化处理，得到修正空间注意力图；通过平均池化函数将所述修正空间注意力图映射到各所述原始样本上的维度上，得到所述注意力反应数据。
30.在一种实施方式中，所述预设卷积层为教师模型的深层卷积层，激活张量是一个维度为c
×h×
w的多维矩阵。输出的特征层包括c个特征图，特征图为一个尺寸为h
×
w的矩阵，特征图中的每一个元素为特征点。计算各所述特征图中处于相同位置的特征点的平均值，如在c个特征图中，都位于第x行第y列的元素的平均值，将得到的平均值赋予一个新的尺寸为h
×
w的矩阵的第x行第y列，当所有特征点的平均值计算完毕后，最后得到每一个元素都被赋值的矩阵，即初始空间注意力图。
31.初始空间注意力图中的元素值尺度可能不同，如一个元素的取值范围可能是[100，200]，另一个元素的取值范围可能是[
−
0.1，0.2]，在进行计算时，尺度的不同会导致计算结果的不同，尺度大的元素会起决定性作用，而尺度小的元素作用可能会被忽略，为了减小尺度差异的影响，需要对初始空间注意力图进行归一化处理。将初始空间注意力图归一化到预设尺度，如0到1之间，得到修正空间注意力图，具体归一化方式可以将初始空间注意力图中的每一个元素减去均值再除以方差，在此不做限制。
[0032]
所述平均池化函数的数据处理流程如下：为在矩阵的预设范围内求所述范围内所有元素的平均值，再用平均值取代所有元素的数值，用于改变所述修正空间注意力图的维度，将所述修正空间注意力图放大或缩小到原始样本的维度上。放大或缩小根据所述修正空间注意力图与原始样本的大小决定。
[0033]
步骤s130，根据各所述注意力反应数据获取对应原始样本的关键特征信息。
[0034]
通过教师模型良好的目标区域感知能力，可以较准确地确定原始样本的目标区域，并在原始样本上生成对应的注意力反应数据，对注意力反应数据进行计算得到注意力反应遮罩，并将原始原本与注意力反应遮罩相乘得到关键特征信息。
[0035]
在一种实施方式中，根据各所述注意力反应数据获取对应原始样本的关键特征信息的步骤，包括：根据各所述注意力反应数据生成尺寸与所述原始样本的尺寸相等的注意力反应遮罩；将各所述注意力反应遮罩与对应原始样本相乘，得到各所述关键特征信息。
[0036]
在一种实施方式中，根据各所述注意力反应数据生成尺寸与所述原始样本的尺寸相等的注意力反应遮罩的步骤，包括：计算所述注意力反应数据的所有元素的元素均值；从所述注意力反应数据的各元素中确定小于所述元素均值的第一目标元素，将所述注意力反应数据中的第一目标元素的元素值设置为0，从所述注意力反应数据的各元素中确定大于等于所述元素均值的第二目标元素，将所述注意力反应数据中的第二目标元素的元素值设置为1，以得到所述注意力反应遮罩。
[0037]
请参照图2a-2h，图2a、2c、2e、2g为原始样本，图2b、2d、2f、2h为注意力反应遮罩处理样本，即带注意力反应遮罩的原始样本。图2b中的201为图2a对应的注意力反应遮罩，图
2d中的202为图2c对应的注意力反应遮罩，图2f中的203、204、205部分为图2e对应的注意力反应遮罩，图2h中的206为图2g对应的注意力反应遮罩。所述注意力反应遮罩以矩阵的形式存储在计算机设备中。
[0038]
在一实施方式中，可以由公式1确定注意力反应遮罩：公式1：其中，mar表示注意力反应遮罩对应位置的元素值，ar表示注意力反应数据对应位置的各元素值，mean(ar)表示注意力反应数据各元素的均值。
[0039]
以图2a、图2b为例，教师模型检测到图2a中存在目标：狮子，所以对目标所在的区域生成了注意力反应数据，所述注意力反应数据以矩阵的形式储存在计算机设备中，对所述注意力反应数据的所有元素取平均值，得到mean(ar)；制作一个新的尺寸为h
×
w的矩阵，再将所述注意力反应数据的每一个元素值ar与mean(ar)对比，如：将位于注意力反应数据第m行第n列的元素值ar与mean(ar)对比，若ar小于mean(ar)，则赋予新的矩阵第m行第n列的元素值为0；若ar大于等于mean(ar)，则赋予新的矩阵第m行第n列的元素值为1 ；最后得到每一个元素都被赋值的矩阵，即注意力反应遮罩。
[0040]
步骤s140，根据各所述关键特征信息生成多个增强样本。
[0041]
本实施例提取了原始样本的关键特征信息后，和多个干扰噪声信息组合后得到了多个增强样本。由一个原始样本生成了大量增强样本，极大扩充了用于训练学生模型的样本量。
[0042]
在一种实施方式中，根据各所述关键特征信息生成多个增强样本的步骤，包括：将所述注意力反应数据中的所述第一目标元素的元素值设置为1，所述第二目标元素的元素值设置为0，得到干扰参数；从多个所述原始样本中随机抽取至少两个原始样本作为多个目标样本，将各所述目标样本分别与所述干扰参数相乘得到多个干扰噪声信息；将各所述关键特征信息分别与各所述干扰噪声信息进行组合，得到多个增强样本。
[0043]
请参照图3a-3c，图3a为原始样本，图3b为随机抽取的目标样本，图3c为组合后的增强样本，图3c中的302为关键特征信息，301则为干扰噪声信息。所述关键特征信息、干扰噪声信息以矩阵的形式存储在计算机设备中。虽然图3中只给出了一个示例，但在实际应用中，一个关键特征信息可以和多个干扰噪声信息组合，得到多个增强样本，图3在此仅用来说明关键特征信息与干扰噪声信息的组合方式，不能视为对一个关键特征信息只能和一个干扰噪声信息组合的限定。
[0044]
在一种实施方式中，可以由公式2确定所述增强样本：公式2：其中表示增强样本，表示原始样本，表示从数据集中随机抽取的目标样本，表示一个所有元素值都为1的矩阵。所述数据集可以为cifar-100数据集，在此不做限定。
[0045]
该实施方式可以在少量的原始样本中保留关键特征信息，并在此基础上和多个干扰噪声信息结合，获取大量的增强样本。干扰噪声信息具有明显的语义信息，可以有效地提
高学生模型的泛化能力，解决了由于训练样本数量少而导致学生模型学习泛化能力不足的问题。
[0046]
在一种实施方式中，所述根据各所述关键特征信息生成多个增强样本的步骤，还包括：生成多个随机值，将各所述关键特征信息分别与所述多个随机值进行组合，得到多个增强样本。
[0047]
该实施方式相对另一实施方式计算量小，实施简单，但生成的增强样本语义信息不足，训练效果略差于另一实施方式。
[0048]
在一种实施方式中，将多个所述原始样本与多个所述增强样本输入所述教师模型，得到第一输出结果；将多个所述原始样本与多个所述增强样本输入学生模型，得到第二输出结果；通过预设损失函数计算第一输出结果和第二输出结果的蒸馏损失；将所述蒸馏损失反向梯度传递给所述学生模型，对所述学生模型进行调整。
[0049]
所述预设损失函数根据实际工程中采用的知识蒸馏方法而定，不同的知识蒸馏方法对应的损失函数也不同，在此不做限制。
[0050]
现有的小样本知识蒸馏方法包括：（1）使用随机噪声输入生成器模型，生成模拟样本作为知识来源；（2）从教师模型的输出softmax空间中合成伪数据，作为原始训练样本的替代品。（3）通过对教师模型剪枝获得学生模型，在学生模型每个块的末尾添加一个1
×
1卷积层；（4）对教师模型的每一层剪枝并优化，得到学生模型。（5）将学生模型拆解为不同的块并替换教师模型中的某一部分，然后进行优化训练，逐步调整。其中，现有的小样本知识蒸馏方法（1）、（2）均存在着知识的传递只来自于模型的输出分类概率分布，传递的知识量和指导信息不足，且只适用于网络结构差异小的教师模型和学生模型。现有的小样本知识蒸馏方法（3）、（4）严格限定了学生模型需由教师模型剪枝得到，网络结构相似。现有的小样本知识蒸馏方法（5）依然需要教师模型和学生模型网络结构相似，且实施过程复杂。
[0051]
与前述的现有的5种小样本知识蒸馏方法相比，本实施方式不要求教师模型和学生模型具有相似结构，更适合在实际工程中使用，而且可以和不同的知识蒸馏方法结合使用，适用性高。本实施方式通过少量样本获取大量样本，通过大量样本训练与教师模型的网络结构相差较大的学生模型，训练效果较好。
[0052]
本实施例提供的训练样本的获取方法，获取训练集中的原始样本并输入教师模型，通过教师模型获取各原始样本对应的注意力反应数据，根据各所述注意力反应数据获取对应原始样本的关键特征信息，并将所述关键特征信息与干扰噪声信息组合，得到多个增强样本，极大地扩充了样本量。使用大量增强样本对学生模型进行训练，提升了学生模型的训练效果，增强了学生模型的泛化性能。
[0053]
实施例2本实施例还提供一种训练样本的获取装置，请参照图4，该训练样本的获取装置400包括第一获取模块410，输入模块420，第二获取模块430，生成模块440。
[0054]
在本实施例中，所述第一获取模块410用于：获取多个原始样本；所述输入模块420用于：将多个所述原始样本输入教师模型，通过所述教师模型获取各所述原始样本对应的注意力反应数据；所述第二获取模块430用于：根据各所述注意力反应数据获取对应的原始样本的关键特征信息；
所述生成模块440用于：根据各所述关键特征信息生成多个增强样本。
[0055]
在一实施方式中，所述输入模块420具体用于：对所述教师模型的预设卷积层输入激活张量，输出一个c
×h×
w的特征层，其中c为所述特征层的层数，所述特征层包括c个特征图，各所述特征图的尺寸为h
×
w；计算各所述特征图中处于相同位置的特征点的平均值；根据所述平均值获取尺寸为h
×
w的初始空间注意力图；将所述初始空间注意力图进行归一化处理，得到修正空间注意力图；通过平均池化函数将所述修正空间注意力图映射到各所述原始样本上的维度上，得到所述注意力反应数据。
[0056]
在一实施方式中，所述第二获取模块430具体用于：根据各所述注意力反应数据生成尺寸与所述原始样本的尺寸相等的注意力反应遮罩；将各所述注意力反应遮罩与对应原始样本相乘，得到各所述关键特征信息。
[0057]
在一实施方式中，所述第二获取模块430具体还用于：计算所述注意力反应数据的所有元素的元素均值；从所述注意力反应数据的各元素中确定小于所述元素均值的第一目标元素，将所述注意力反应数据中的第一目标元素的元素值设置为0，从所述注意力反应数据的各元素中确定大于等于所述元素均值的第二目标元素，将所述注意力反应数据中的第二目标元素的元素值设置为1，以得到所述注意力反应遮罩。
[0058]
在一实施方式中，所述生成模块440具体用于：将所述注意力反应数据中的所述第一目标元素的元素值设置为1，所述第二目标元素的元素值设置为0，得到干扰参数；从多个所述原始样本中随机抽取至少两个原始样本作为多个目标样本，将各所述目标样本分别与所述干扰参数相乘得到多个干扰噪声信息；将各所述关键特征信息分别与各所述干扰噪声信息进行组合，得到多个增强样本。
[0059]
在一实施方式中，所述生成模块440，还用于生成多个随机值，将各所述关键特征信息分别与所述多个随机值进行组合，得到多个增强样本。
[0060]
在一实施方式中，所述生成模块440，还用于将多个所述原始样本与多个所述增强样本输入所述教师模型，得到第一输出结果；将多个所述原始样本与多个所述增强样本输入学生模型，得到第二输出结果；通过预设损失函数计算第一输出结果和第二输出结果的蒸馏损失；将所述蒸馏损失反向梯度传递给所述学生模型，对所述学生模型进行调整。
[0061]
本实施例提供的训练样本的获取装置400的具体功能，可以参见实施例1中训练样本的获取方法的具体实施过程，在此不再一一赘述。
[0062]
本实施例提供的训练样本的获取装置，获取训练集中的原始样本并输入教师模型，通过教师模型获取各原始样本对应的注意力反应数据，根据各所述注意力反应数据获取对应原始样本的关键特征信息，并将所述关键特征信息与干扰噪声信息组合，得到多个增强样本，极大地扩充了样本量。使用大量增强样本对学生模型进行训练，提升了学生模型的训练效果，增强了学生模型的泛化性能。
[0063]
实施例3
本实施例提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器运行时执行实施例1所述的训练样本的获取方法。
[0064]
本实施例提供的计算机设备可以实现执行实施例1所述的训练样本的获取方法，为避免重复，在此不再赘述。
[0065]
实施例4本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的训练样本的获取方法。
[0066]
本实施例提供的计算机可读存储介质可以实现执行实施例1所述的训练样本的获取方法，为避免重复，在此不再赘述。
[0067]
在本实施例中，计算机可读存储介质可以为只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
[0068]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0069]
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
[0070]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。