一种眼皮运动分析方法及系统与流程

1.本发明涉及信息处理技术领域，特别是涉及一种眼皮运动分析方法及系 统。


背景技术：

2.眼皮运动分析是虚拟现实(virtual reality，vr)系统视线跟踪中重要的环 节。眼皮运动分析是指根据眼图视频，分析出眼皮睁闭的幅度，从而可以将 眼皮运动呈现在虚拟现实系统中虚拟人物上，从而获得高逼真度的用户体验。
3.目前对眼皮运动分析是基于图像处理的方法，通过提取位置信息，得到 上下眼皮之间的距离。
4.但是，基于图像处理的方法利用了眼图的眼部特征和睁眼、闭眼时这些 特征的差异，由于是人工提取特征，容易受到眼睑、眼睫毛和镜片反光等因 素的干扰，准确率较低。


技术实现要素：

5.针对于上述问题，本发明提供一种眼皮运动分析方法及系统，实现了提 升眼皮运动分析的准确性的目的。
6.为了实现上述目的，本发明提供了如下技术方案：
7.一种眼皮运动分析方法，该方法包括：
8.获取待分析的眼图集合的各个眼图图像；
9.将每个所述眼图图像输入至预创建的眼皮检测模式，获得与所述眼图图 像相匹配的上下眼皮距离；
10.依据所述眼图集合对应的各个所述上下眼皮距离，生成眼皮张合程度曲 线；
11.基于所述眼皮张合程度曲线，分析得到眼皮运动数据。
12.可选地，所述方法还包括：
13.获取样本信息，所述样本信息表征若干幅标识了上下眼皮距离的眼图图 像；
14.将各个样本信息分别作为神经网络的训练输入，训练得到眼皮检测模型， 所述眼皮检测模型具有将输入的眼图图像对应的上下眼皮距离趋于所述眼图 图像对应的实际的上下眼皮距离的能力。
15.可选地，所述将各个样本信息分别作为神经网络的训练输入，训练得到 眼皮检测模型，包括：
16.获取样本信息的标注信息，所述标注信息表征了上下眼皮距离信息；
17.对所述标注信息进行预处理，得到处理后的样本信息，所述预处理为使 得样本信息对应的眼图图像中睁眼数据和闭眼数据分布均匀的处理方式；
18.将各个所述处理后的样本信息分别作为神经网络的训练输入，训练得到 眼皮检测模型。
19.可选地，所述训练得到眼皮检测模型，包括：
20.利用预创建的损失函数，训练得到眼皮检测模型；
21.其中，所述预创建的损失函数在所述预创建损 失函数中n表示样本数据量，y
true
表示训练样本中上下眼皮距离与图像高度的 占比的真值，且y
true
＝d/h，d表示上下眼皮的像素距离，h为图像高度，y
predict
为模型的输出值；其中，所述眼皮检测模型为5层结构的卷积神经网络，其 中，前3层为卷积层，后两层为全连接层，所述全连接层后连接sigmoid函数。
22.可选地，所述依据所述眼图集合对应的各个所述上下眼皮距离，生成眼 皮张合程度曲线，包括：
23.对所述上下眼皮距离进行滤波处理，得到处理后的结果；
24.利用预创建的归一化函数，对所述处理后的结果进行归一化处理，得到 眼皮的张合程度信息，其中，所述归一化函数其中x
t
是第t 帧图像通过眼皮检测模型的输出值，x
max
＝max(x
t
),t＝1,
…
,t；t是眼皮运动过 程中的最大值对应的图像帧；
25.依据所述张合程度信息，生成眼皮张合程度曲线。
26.可选地，所述基于所述眼皮张合程度曲线，分析得到眼皮运动数据，包 括：
27.基于所述眼皮张合程度曲线，检测获得目标触发时刻，所述目标触发时 刻表征用户眼皮睁开动作出现的时刻。
28.一种眼皮运动分析系统，所述系统包括：
29.图像获取单元，用于获取待分析的眼图集合的各个眼图图像；
30.模型处理单元，用于将每个所述眼图图像输入至预创建的眼皮检测模型， 获得与所述眼图图像相匹配的上下眼皮距离；
31.曲线生成单元，用于依据所述眼图集合对应的各个所述上下眼皮距离， 生成眼皮张合程度曲线；
32.分析单元，用于基于所述眼皮张合程度曲线，分析得到眼皮运动数据。
33.可选地，所述系统还包括：
34.样本获取单元，用于获取样本信息，所述样本信息表征若干幅标注了上 下眼皮距离的眼图图像；
35.模型训练单元，用于将各个样本信息分别作为神经网络的训练输入，训 练得到眼皮检测模型，所述眼皮检测模型具有将输入的眼图图像对应的上下 眼皮距离趋于所述眼图图像对应的实际的上下眼皮距离的能力。
36.可选地，所述模型训练单元包括：
37.第一获取子单元，用于获取样本信息的标注信息，所述标注信息表征了 上下眼皮距离信息；
38.预处理子单元，用于对所述标注信息进行预处理，得到处理后的样本信 息，所述预处理为使得样本信息对应的眼图图像中睁眼数据和闭眼数据分布 均匀的处理方式；
39.训练子单元，用于将各个所述处理后的样本信息分别作为神经网络的训 练输入，训练得到眼皮检测模型。
40.可选地，所述训练子单元具体用于：
41.利用预创建的损失函数，训练得到眼皮检测模型；
42.其中，所述预创建的损失函数在所述预创建损 失函数中n表示样本数据量，y
true
表示训练样本中上下眼皮距离与图像高度的 占比的真值，且y
true
＝d/h，d表示上下眼皮的像素距离，h为图像高度，y
predict
为模型的输出值；其中，所述眼皮检测模型为5层结构的卷积神经网络，其 中，前3层为卷积层，后两层为全连接层，所述全连接层后连接sigmoid函数。
43.可选地，所述曲线生成单元包括：
44.滤波子单元，用于对所述上下眼皮距离与所述眼图图像高度的占比进行 滤波处理，得到处理后的结果；
45.归一化子单元，用于利用预创建的归一化函数，对所述处理后的结果进 行归一化处理，得到眼皮的张合程度信息，其中，所述归一化函数 其中，x
t
是第t帧图像通过眼皮检测模型的输出值，x
max
＝max (x
t
),t＝1,
…
,t；t是眼皮运动过程中的最大值对应的图像帧；
46.生成子单元，用于依据所述张合程度信息，生成眼皮张合程度曲线。
47.可选地，所述分析单元具体用于：
48.基于所述眼皮张合程度曲线，检测获得目标触发时刻，所述目标触发时 刻表征用户眼皮睁开动作出现的时刻。
49.相较于现有技术，本发明提供了一种眼皮运动分析方法及系统，获取待 分析的眼图集合的各个眼图图像；将每个眼图图像输入至预创建的眼皮检测 模型，获得与眼图图像相匹配的上下眼皮距离；然后根据获得上下眼皮距离， 生成眼皮张合程度曲线，基于该曲线分析得到眼皮运动数据。在本发明中利 用了眼皮检测模型对眼图图像进行处理，而该眼皮检测模型是通过眼图图像 对神经网络训练得到的，相比于对眼图图像的眼皮定位检测对资源的占用率 低，算法效果更鲁棒，从而提升眼皮运动分析的准确性。
附图说明
50.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面 描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不 付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
51.图1为本技术实施例一提供的一种眼皮运动分析方法的流程示意图；
52.图2为本技术实施例二提供的一种模型训练的方法的流程示意图；
53.图3为本技术实施例三提供的一种眼皮张合程度曲线示意图；
54.图4为本技术实施例四提供的一种眼皮运动分析系统的结构示意图。
具体实施方式
55.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其
他实施例，都属于本发明保护的范围。
56.本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是 用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有
”ꢀ
以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或 单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而 是可包括没有列出的步骤或单元。
57.实施例一
58.在本发明实施例中提供了一种眼皮运动分析方法，其中，眼皮运动包括 睁眼、闭眼、眨眼等动作。该方法可以是处理设备针对一张包括眼部特征的 图像进行眼皮运动分析，即识别该图像中的眼睛动作，是睁眼还是闭眼。也 可以是处理设备针对视频流，即包括多张连续的眼图图像的视频片段，进行 眼皮运动分析，从而实现对连续的眼皮运动进行分析。
59.在本技术实施例中对眼皮运动进行分析的处理设备可以是具有信息处理 功能的电子设备，也可以是具有眼图图像采集、信息处理和信息输出功能的 电子设备，即可以实现从眼图图像采集到分析的一体式处理过程。
60.参见图1，其示出了本技术实施例提供的一种眼皮运动分析方法的流程示 意图图，该方法可以包括以下步骤：
61.s101、获取待分析的眼图集合的各个眼图图像。
62.在该实施例中可以通过眼动分析设备，如眼动仪、vr/ar设备，对待分 析用户进行眼图采集，以获得待分析的眼图集合。需要说明的是，可以利用 本技术实施例的眼皮运动分析方法对若干个眼图图像进行分析，也可以对单 独的一幅眼图图像进行分析。为了能够实现分析的连贯性和应用的广泛性， 在本技术实施例中是以对眼图集合进行分析为例对本技术的各个方法及步骤 进行说明。
63.待分析的眼图集合可以是一段视频帧，该段视频帧是对用户的眼部进行 拍摄的视频，每一帧视频帧代表一幅眼图图像。也可以是采集用户的人脸图 像，然后进行眼部特征提取，以得到眼部图像。
64.s102、将每个所述眼图图像输入至预创建的眼皮检测模型，获得与所述 眼图图像相匹配的上下眼皮距离。
65.眼皮运动的分析是vr(virtual reality，虚拟现实)系统视线跟踪中的关 键环节。在本技术实施例中眼皮运动功能是指给出眼图视频，分析出眼皮睁 闭幅度。例如，在vr应用中可以通过眼皮运动分析，vr设备能够准确获得 眼皮的睁闭程度，可以将眼皮运动呈现在虚拟人物上，从而获得高逼真的用 户体验。同样，基于眼皮运动可以提取眼睛的睁闭动作，这又可以成为vr 设备中人机交互的重要方式。
66.为了能够高效地获得人眼睁闭结果，通常是通过分析人眼图像中的上下 眼皮距离来获得该结果。而在本技术实施例中是基于预先创建的眼皮检测模 型来获得上下眼皮距离。即该眼皮检测模型具有能够使得预测得到的眼图图 像的上下眼皮距离趋于实际的上下眼皮距离的能力。
67.在本技术实施例中预先创建的眼皮检测模型是一个轻量级的深度学习网 络模型。该模型包括卷积层、全连接层和sigmoid函数。其是根据训练样本自 动学习获得的，具体的模型创建过程及应用过程请参见实施例二中的具体描 述。
68.s103、依据所述眼图集合对应的各个所述上下眼皮距离，生成眼皮张合 程度曲线。
69.s104、基于所述眼皮张合程度曲线，分析得到眼皮运动数据。
70.在通过预先创建的眼皮检测模型获得眼图集合对应的各个眼图图像的上 下眼皮距离之后，会根据该距离生成眼皮张合程度曲线。即可以通过该眼皮 张合程度曲线获得各个眼图图像的眼皮张合程度。例如，可以获得上下眼皮 的距离占眼图图像高度的比例数据，从而可以得到用户睁眼动作的识别。
71.具体的，可以通过眼皮张合程度曲线，分析得到眼皮运动数据。其中， 眼皮运动数据可以包括用户眼睛睁开的时刻、持续时长、睁开程度等数据。
72.本发明实施例一提供了一种眼皮运动分析方法，获取待分析的眼图集合 的各个眼图图像；将每个眼图图像输入至预创建的眼皮检测模型，获得与眼 图图像相匹配的上下眼皮距离；然后根据获得上下眼皮距离，生成眼皮张合 程度曲线，基于该曲线分析得到眼皮运动数据。在本发明中利用了眼皮检测 模型对眼图图像进行处理，而该眼皮检测模型是通过眼图图像对神经网络训 练得到的，相比于对眼图图像的眼皮定位检测对资源的占用率低，算法效果 更鲁棒，从而提升眼皮运动分析的准确性。
73.实施例二
74.在本发明实施例二中将重点描述眼皮检测模型的创建过程及应用过程。
75.创建眼皮检测模型时，首先需要建立样本信息，然后通过该样本信息进 行神经网络训练获得眼皮检测模型。
76.在实施例二中，创建眼皮检测模型包括：
77.获取样本信息；
78.将各个样本信息分别作为神经网络的训练输入，训练得到眼皮检测模型。
79.其中，样本信息表征若干幅标注了上下眼皮距离的眼图图像。所述眼皮 检测模型具有将输入的眼图图像对应的上下眼皮距离趋于眼图图像对应的实 际的上下眼皮距离的能力。需要说明的是，在标注上下眼皮距离时可以是人 工标注，也可以是采用之前已经标注的眼图图像。例如，现有技术中在建立 目标检测模型中标注的上眼皮位置和下眼皮位置的图像，然后根据该图像可 以计算出上下眼皮距离进行标注的样本。
80.参见图2，其示出了本发明实施例二提供的一种模型训练的方法的流程示 意图，该方法可以包括以下步骤：
81.s201、获取样本信息的标注信息；
82.s202、对标注信息进行预处理，得到处理后的样本信息；
83.s203、将各个处理后的样本信息分别作为神经网络的训练输入，训练得 到所述眼皮检测模型。
84.其中，标注信息表征了上下眼皮距离信息。预处理为使得样本信息对应 的眼图图像中睁眼数据和闭眼数据分布均匀的处理方式。由于通常在进行眼 皮数据标注时，会过多关注睁眼数据的标注，而闭眼数据通常上下眼皮之间 的距离是定值而会忽略其样本所占比例，因此，在该实施例中会增加闭眼数 据的样本所占比例，以使得训练得到的模型更加准确。
85.在本发明中神经网络是指人工神经网络(artificial neural networks， anns)
它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算 法数据模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相 互连接的关系，从而达到处理信息的目的。
86.具体的，在实施例二中创建的眼皮检测模型使用轻量级的神经网络模型， 该模型接收眼图，模型可以直接输出上下眼皮距离。进一步为了能够与输入 的眼图进行比较，模型还可以输出上下眼皮的距离占这幅眼图高度的比例， 对应的输出值的范围是[0,1]。在该实施例中，模型使用了5层结构的卷积神 经网络，其中前3层为卷积层，后2层为全连接层，为使得模型输出的含义 为上下眼皮的距离占眼图比例，在最后一个全连接层后接一个sigmoid函数。 在模型训练时使用dropout随机忽略一部分神经元，以避免模型的过拟合。
[0087]
例如，在该实施例中的卷积神经网络结构。第一层卷积的通道数为64， 后面每做一个最大池化图像的feature map(在每个卷积层，数据都是以三维形 式存在的。可以把它看成许多个二维图片叠在一起，其中每一个称为一个 feature map)缩小一半，紧跟着的卷积的通道数放大一倍，第三层卷积跟着的 是kernel size(过滤器大小)为5*5，stride(指定过滤器的步长)为5的averagepoling(最大池化层)经过第一层全连接，输出一个512维的向量，再对这个 512维的向量做一个全连接，得到一个标量(scalar)，做sigmoid激活函数， 该值为上下眼皮的像素距离。
[0088]
在该实施例中利用预创建的损失函数，训练得到眼皮检测模型。所述预 创建的损失函数在所述预创建损失函数中n表示样 本数据量，y
true
表示训练样本中上下眼皮距离与图像高度的占比的真值，且 y
true
＝d/h，d表示上下眼皮的像素距离，h为图像高度，y
predict
为模型的输出值。
[0089]
在该模型的损失函数loss部分，模型的直接输出时上下眼皮距离与图像 高度的比例。使用该损失函数对模型进行训练，其优势是对异常值不敏感， 对outlier(离群值)更加鲁棒。另外对睁眼和闭眼两种状态，回归目标的值有明 显的差异，睁眼时上下眼皮距离占比约为0.3左右，而闭眼时上下眼皮距离占 比约为0.02，因为眼睛的特性，收集到的睁眼数据明显多于闭眼的数据，为 了解决这个数据分布不均衡的问题，在进行模型训练之前，对模型输出和标 签做平方根处理代替原来模型的输出和标签的值，这样闭眼的数据对损失函 数影响更大。网络模型中loss函数定义为：
[0090][0091]
其中，n表示样本数据量，y
true
表示训练样本中上下眼皮距离与图像高度 的占比的真值，且y
true
＝d/h，d表示上下眼皮的像素距离，h为图像高度，y
predict
为模型的输出值。
[0092]
相对于基于图像处理算法的眼皮定位算法，通过该实施例创建的眼皮检 测模型对上下眼皮距离的回归效果具有更强的鲁棒性。例如，与诸如yolo、 ssd等通用目标检测方法相比，该模型对资源的消耗更低。通过运算发现， 现有算法的cpu占用率为25％-30％，平均处理时间为3ms；而本技术的模型 算法cpu占用率为2-5％，平均处理时间为1.5ms。
[0093]
实施例三
[0094]
在该实施例三中得到上下眼皮距离之后，可以根据上下眼皮距离生成眼 皮张合程度曲线。
[0095]
为了能够使得生成的眼皮张合程度曲线更佳真实的反映用户实际的眼皮 张合程度。在该实施例三中生成眼皮张合程度曲线的过程，包括：
[0096]
对所述上下眼皮距离进行滤波处理，得到处理后的结果；
[0097]
利用预创建的归一化函数，对所述处理后的结果进行归一化处理，得到 眼皮的张合程度信息，其中，所述归一化函数其中x
t
是第t 帧图像通过眼皮检测模型的输出值，x
max
＝max(x
t
),t＝1,
…
,t；t是眼皮运动过 程中的最大值对应的图像帧；
[0098]
依据所述张合程度信息，生成眼皮张合程度曲线。
[0099]
从网络模型(眼皮检测模型)得到上下眼皮距离与图像高度的占比后， 还需要眼皮分析后处理将上下眼皮距离与图像高度的占比转换为眼皮运动的 张合程度度量。
[0100]
定义其中，x
t
是第t帧图像通过眼皮检测模型的输出值， x
max
＝max(x
t
),t＝1,
…
,t；t是眼皮运动过程中的最大值对应的图像帧。
[0101]
为了抑制眼皮检测模型的输出噪声，眼皮轨迹后处理后续通过一个均值 滤波器对眼皮检测模型的输出做平滑。然后通过上述f(x)计算归一化为[0,1] 区间的值，该值定义为眼皮的张合程度。
[0102]
眼皮轨迹后处理也会从眼皮张合程度曲线上检测出眼皮睁开动作。即基 于所述眼皮张合程度曲线，检测获得目标触发时刻，所述目标触发时刻表征 用户眼皮睁开动作出现的时刻。当第t帧图像的眼皮张合程度度量满足下面两 个条件时，输出眼皮睁开动作的有效标志置为true，否则眼皮睁开动作的有 效标志位false。下面公式中x
t-step
表示要检查step帧前面的眼皮张合程度。 thres是张合程度的阈值，delta表示张合程度的阈值上下沿的变化幅度。参见 图3，其示出了本技术实施例提供的一种眼皮张合程度曲线示意图。
[0103][0104]
眼皮轨迹后处理的输出能支持多种应用的需要，比如vr虚拟卡通的眼皮 蒙皮运动效果。使得可以对上下眼皮的距离序列中提取眼皮张合程度以及闭 眼动作的识别。
[0105]
实施例四
[0106]
参见图4，其示出了本技术实施例提供的一种眼皮运动分析系统的结构示 意图，该系统包括：
[0107]
图像获取单元10，用于获取待分析的眼图集合的各个眼图图像；
[0108]
模型处理单元20，用于将每个所述眼图图像输入至预创建的眼皮检测模 型，获得与所述眼图图像相匹配的上下眼皮距离；
[0109]
曲线生成单元30，用于依据所述眼图集合对应的各个所述上下眼皮距离， 生成眼皮张合程度曲线；
[0110]
分析单元40，用于基于所述眼皮张合程度曲线，分析得到眼皮运动数据。
[0111]
对应的，所述系统还包括：
[0112]
样本获取单元，用于获取样本信息，所述样本信息表征若干幅标注了上 下眼皮距离的眼图图像；
[0113]
模型训练单元，用于将各个样本信息分别作为神经网络的训练输入，训 练得到眼
皮检测模型，所述眼皮检测模型具有将输入的眼图图像对应的上下 眼皮距离趋于所述眼图图像对应的实际的上下眼皮距离的能力。
[0114]
对应的，所述模型训练单元包括：
[0115]
第一获取子单元，用于获取样本信息的标注信息，所述标注信息表征了 上下眼皮距离信息；
[0116]
预处理子单元，用于对所述标注信息进行预处理，得到处理后的样本信 息，所述预处理为使得样本信息对应的眼图图像中睁眼数据和闭眼数据分布 均匀的处理方式；
[0117]
训练子单元，用于将各个所述处理后的样本信息分别作为神经网络的训 练输入，训练得到眼皮检测模型。
[0118]
对应的，所述训练子单元具体用于：
[0119]
利用预创建的损失函数，训练得到眼皮检测模型；
[0120]
其中，所述预创建的损失函数在所述预创建损 失函数中n表示样本数据量，y
true
表示训练样本中上下眼皮距离与图像高度的 占比的真值，且y
true
＝d/h，d表示上下眼皮的像素距离，h为图像高度，y
predict
为模型的输出值；其中，所述眼皮检测模型为5层结构的卷积神经网络，其 中，前3层为卷积层，后两层为全连接层，所述全连接层后连接sigmoid函数。
[0121]
对应的，所述曲线生成单元包括：
[0122]
滤波子单元，用于对所述上下眼皮距离与所述眼图图像高度的占比进行 滤波处理，得到处理后的结果；
[0123]
归一化子单元，用于利用预创建的归一化函数，对所述处理后的结果进 行归一化处理，得到眼皮的张合程度信息，其中，所述归一化函数 其中，x
t
是第t帧图像通过眼皮检测模型的输出值，x
max
＝max (x
t
),t＝1,
…
,t；t是眼皮运动过程中的最大值对应的图像帧；
[0124]
生成子单元，用于依据所述张合程度信息，生成眼皮张合程度曲线。
[0125]
对应的，所述分析单元具体用于：
[0126]
基于所述眼皮张合程度曲线，检测获得目标触发时刻，所述目标触发时 刻表征用户眼皮睁开动作出现的时刻。
[0127]
实施例四提供了一种眼皮运动分析系统，获取待分析的眼图集合的各个 眼图图像；将每个眼图图像输入至预创建的眼皮检测模型，获得与眼图图像 相匹配的上下眼皮距离；然后根据获得上下眼皮距离，生成眼皮张合程度曲 线，基于该曲线分析得到眼皮运动数据。在本发明中利用了眼皮检测模型对 眼图图像进行处理，而该眼皮检测模型是通过眼图图像对神经网络训练得到 的，相比于对眼图图像的眼皮定位检测对资源的占用率低，同时，该眼皮检 测模型是从vr眼图到上下眼皮距离端的回归，算法效果更鲁棒，从而提升眼 皮运动分析的准确性。
[0128]
实施例五
[0129]
本发明实施例五提供了一种电子设备，包括：处理器和存储器，其中， 所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执 行如实施例一至三任意
一项所述的眼皮运动分析方法。
[0130]
实施例六
[0131]
本发明实施例七提供了一种计算机存储介质，所述计算机存储介质存储 有多条指令，所述指令适用于由处理器加载并执行如上述实施例一至实施例 三中任意一项的眼皮运动分析方法步骤。
[0132]
本文中的设备可以是服务器、pc、pad、手机等。
[0133]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或 计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、 或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个 其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘 存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0134]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序 产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程 图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流 程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算 机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使 得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现 在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功 能的装置。
[0135]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设 备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器 中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或 多个流程和/或方框图一个方框或多个方框中指定的功能。
[0136]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上， 使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的 处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图 一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步 骤。
[0137]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输 出接口、网络接口和内存。
[0138]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。 存储器是计算机可读介质的示例。
[0139]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由 任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、 程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其 他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读 存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器 (cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁 磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计 算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可 读媒体(transitorymedia)，如调制
的数据信号和载波。
[0140]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备 不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为 这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下， 由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、 商品或者设备中还存在另外的相同要素。
[0141]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机 程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软 件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含 有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0142]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术 人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所 作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。