分拨中心危险行为的监控方法、装置、设备和存储介质与流程

1.本发明属于物流管理的技术领域，尤其涉及一种分拨中心危险行为的监控方法、装置、设备和存储介质。


背景技术：

2.在物流分拨中心的货物分拣环境中，由于作业人员与传送设备的频繁接触，将造成人员的安全风险。不规范的操作行为会增加作业人员安全事故的发生概率，这需要监管人员通过对场地的摄像头拍摄的图像，进行筛选识别出违反安全行为的图像，后对违反安全行为作业人员警示并规范其行为，才能达到保障人员安全的效果。如此，基于海量的图像筛选识别，需要大量的人力才能完成，成本耗费较大。


技术实现要素：

3.本发明的目的是提供一种分拨中心危险行为的监控方法、装置、设备和存储介质，基于深度学习、机器学习技术，采用多人姿态识别框架识别作业人员的身体关节点位置，并结合语义分割框架识别传动设备轮廓，通过分析关节位置与设备轮廓的位置关系来批量判断作业人员是否违反安全操作规范，提高了监控人员的工作效率，降低人工现场监督或者人工筛选海量图像产生的人力成本。
4.为解决上述问题，本发明的技术方案为：
5.一种分拨中心危险行为的监控方法，包括：
6.从物流分拨中心的监控摄像头中获取传送设备所在区域的场景图像，对图像进行预处理，以使每张图像可标记人体关节点位置及传送设备轮廓位置，得到图像数据集；
7.创建初始训练模型，基于深度学习技术及多人姿态识别算法，采用图像数据集对模型进行训练，得到能够识别检测工作人员身体关节点位置的第一目标模型；
8.创建语义分割模型，采用图像数据集对模型进行训练，得到能够识别传送设备轮廓位置的第二目标模型；
9.将训练后的第一目标模型与第二目标模型合并，得到能够判断工作人员身体关节点位置与传送设备轮廓位置之间的相对关系的识别模型；
10.将识别模型用于指示物流分拨中心传送设备所在区域的工作人员的危险行为，当工作人员身体关节点位置与传送设备轮廓位置之间的相对关系属于预设的危险行为时，识别模型输出报警信息，提示工作人员操作不规范。
11.根据本发明一实施例，所述基于深度学习技术及多人姿态识别算法，采用图像数据集对模型进行训练进一步包括：
12.采用深度神经网络同时预测出输入图像中人体每个关节点的热力图和关节点之间的亲和区域；
13.将所述热力图的峰值作为关节点的位置，将关节点相互连接，构成二分图；
14.根据关节点之间的亲和区域，对二分图进行稀疏调节后，进行最优化，实现多人姿
态的估计。
15.根据本发明一实施例，所述采用深度神经网络同时预测出输入图像中人体每个关节点的热力图和关节点之间的亲和区域进一步包括：
16.采用vgg-19模型对输入图像进行特征提取，作为深度神经网络的输入特征；
17.深度神经网络对输入特征采用3
×
3大小的卷积核连续进行三次卷积后，用1
×
1大小的卷积核连续进行两次卷积，输出初步的预测结果；
18.深度神经网络将初步的测试结果与输入特征进行融合后，采用7
×
7大小的卷积核连续进行五次卷积操作，再采用1
×
1大小的卷积核连续两次卷积操作，输出关节点热力图和关节点亲和区域。
19.根据本发明一实施例，所述对二分图进行稀疏调节后，进行最优化，实现多人姿态的估计进一步包括：
20.剔除二分图中跨关节点之间的连接，得到稀疏二分图；
21.根据人体肢体将稀疏后的二分图进行拆解，得到多个简化二分图；
22.将二分图的整体优化转化为对各个简化二分图进行最优化，以使所有简化二分图的权重之和达到最大；
23.将优化后的各个简化二分图中共同的关节点进行整合，得到多人姿态的估计。
24.根据本发明一实施例，所述创建语义分割模型进一步包括：
25.创建语义分割模型的编码器和解码器；
26.所述编码器采用res2net50网络和transformer网络，对输入图像进行特征提取，得到特征图和特征块；
27.所述解码器将特征块进行重塑尺寸后，与特征图合并；对合并后的特征图中感兴趣的物体进行定位聚焦。
28.根据本发明一实施例，所述创建语义分割模型，采用图像数据集对模型进行训练进一步包括：
29.创建基于高斯-拉普拉斯算子的细节引导模块，用于对语义分割模型进行训练。
30.一种分拨中心危险行为的监控装置，包括：
31.图像处理模块，用于从物流分拨中心的监控摄像头中获取传送设备所在区域的场景图像，对图像进行预处理，以使每张图像可标记人体关节点位置及传送设备轮廓位置，得到图像数据集；
32.姿态识别模块，用于创建初始训练模型，基于深度学习技术及多人姿态识别算法，采用图像数据集对模型进行训练，得到能够识别检测工作人员身体关节点位置的第一目标模型；
33.语义分割模块，用于创建语义分割模型，采用图像数据集对模型进行训练，得到能够识别传送设备轮廓位置的第二目标模型；
34.合成模块，用于将训练后的第一目标模型与第二目标模型合并，得到能够判断工作人员身体关节点位置与传送设备轮廓位置之间的相对关系的识别模型；
35.监控模块，用于将识别模型用于指示物流分拨中心传送设备所在区域的工作人员的危险行为，当工作人员身体关节点位置与传送设备轮廓位置之间的相对关系属于预设的危险行为时，识别模型输出报警信息，提示工作人员操作不规范。
36.根据本发明一实施例，所述姿态识别模块包括：
37.第一处理单元，用于采用深度神经网络同时预测出输入图像中人体每个关节点的热力图和关节点之间的亲和区域；
38.第二处理单元，用于将所述热力图的峰值作为关节点的位置，将关节点相互连接，构成二分图；
39.第三处理单元，用于根据关节点之间的亲和区域，对二分图进行稀疏调节后，进行最优化，实现多人姿态的估计。
40.一种分拨中心危险行为的监控设备，包括：存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行本发明一实施例中的分拨中心危险行为的监控方法中的步骤。
41.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行本发明一实施例中的分拨中心危险行为的监控方法中的步骤。
42.本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
43.本发明一实施例中的分拨中心危险行为的监控方法，针对采用人工现场监督或者人工筛选海量图像对员工进行行为监督的方法，太费时费力成本高的问题，通过从物流分拨中心的监控摄像头中获取传送设备所在区域的场景图像，对图像进行预处理，得到图像数据集；创建初始训练模型，基于深度学习技术及多人姿态识别算法，采用图像数据集对模型进行训练，得到能够识别检测工作人员身体关节点位置的第一目标模型；创建语义分割模型，对模型进行训练，得到能够识别传送设备轮廓位置的第二目标模型；将训练后的第一目标模型与第二目标模型合并，得到能够判断工作人员身体关节点位置与传送设备轮廓位置之间的相对关系的识别模型；将识别模型用于指示物流分拨中心传送设备所在区域的工作人员的危险行为，当工作人员身体关节点位置与传送设备轮廓位置之间的相对关系属于预设的危险行为时，识别模型输出报警信息，提示工作人员操作不规范。可大大提高监控人员的工作效率，降低人工现场监督或者人工筛选海量图像产生的人力成本。
附图说明
44.图1为本发明一实施例中的分拨中心危险行为的监控方法流图；
45.图2为本发明一实施例中的稀疏二分图的示意图；
46.图3为本发明一实施例中的简约二分图的示意图；
47.图4为本发明一实施例中的分拨中心危险行为的监控装置框图；
48.图5为本发明一实施例中的分拨中心危险行为的监控设备示意图。
具体实施方式
49.以下结合附图和具体实施例对本发明提出的一种分拨中心危险行为的监控方法、装置、设备和存储介质作进一步详细说明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
50.实施例一
51.本实施例针对采用人工现场监督或者人工筛选海量图像对员工进行行为监督的方法，太费时费力成本高的问题，提供了一种分拨中心危险行为的监控方法，基于深度学习、机器学习技术，采用多人姿态识别框架识别作业人员的身体关节点位置，并结合语义分割框架识别传动设备轮廓，通过分析关节位置与设备轮廓的位置关系来批量判断作业人员是否违反安全操作规范，从而提高监控人员的工作效率，降低人工现场监督或者人工筛选海量图像产生的人力成本。
52.请参看图1，该分拨中心危险行为的监控方法，包括以下步骤：
53.s1：从物流分拨中心的监控摄像头中获取传送设备所在区域的场景图像，对图像进行预处理，以使每张图像可标记人体关节点位置及传送设备轮廓位置，得到图像数据集；
54.s2：创建初始训练模型，基于深度学习技术及多人姿态识别算法，采用图像数据集对模型进行训练，得到能够识别检测工作人员身体关节点位置的第一目标模型；
55.s3：创建语义分割模型，采用图像数据集对模型进行训练，得到能够识别传送设备轮廓位置的第二目标模型；
56.s4：将训练后的第一目标模型与第二目标模型合并，得到能够判断工作人员身体关节点位置与传送设备轮廓位置之间的相对关系的识别模型；
57.s5：将识别模型用于指示物流分拨中心传送设备所在区域的工作人员的危险行为，当工作人员身体关节点位置与传送设备轮廓位置之间的相对关系属于预设的危险行为时，识别模型输出报警信息，提示工作人员操作不规范。
58.在步骤s1中，从物流分拨中心的监控摄像头中获取传送设备所在区域的场景图像，对图像进行预处理，以使每张图像可标记人体关节点位置及传送设备轮廓位置，得到图像数据集。
59.获取预设标准尺寸，并按照预设标准尺寸分别对多张分拨中心监控图像进行尺寸校正，得到多张校正后的图像，对多张校正后的图像依次进行降噪处理、色彩调整和数据增强处理，得到多张预处理后的图像。
60.通过预设标注工具或预设标注模型对多张预处理后的图像进行图像标注，得到样本图像数据集。样本图像数据集中的每张图像采用可扩展标记语言标注文件表示人体关节点位置信息及传送设备轮廓位置信息。
61.按照预设比例将样本图像数据集随机划分为训练图像数据集、验证图像数据集和测试图像数据集。
62.在步骤s2中，创建初始训练模型，基于深度学习技术及多人姿态识别算法，采用图像数据集对模型进行训练，得到能够识别检测工作人员身体关节点位置的第一目标模型。
63.该初始训练模型为深度神经网络模型，该深度神经网络模型可以是任意一种实现多人姿态识别的神经网络模型。下面以自底向上的识别方法为例，进行详细地说明。
64.该深度神经网络模型，基于自底向上的识别方法，即先检测出所有人的关节点，再将关节点进行连接形成图，最后通过图优化的方法剔除错误的连接，实现多人姿态估计。可同时获得关节点位置以及关节点之间的连接置信度，有效稀疏关节点连接图，提高算法运行效率。对于关节点连接置信度，有关节点之间的亲和区域方法，通过在亲和区域上的线性积分计算关节点连接置信度。
65.本实施例采用深度神经网络同时预测出输入图像中人体每个关节点的热力图和
关节点之间的亲和区域；
66.将热力图的峰值作为关节点的位置，将关节点相互连接，构成二分图；
67.根据关节点之间的亲和区域，对二分图进行稀疏调节后，进行最优化，实现多人姿态的估计。
68.其中，采用深度神经网络同时预测出输入图像中人体每个关节点的热力图和关节点之间的亲和区域。
69.这里的关节点热力图是衡量关节点在图像某位置出现的置信度，由一系列二维的点组成，每个点表示关节点出现在该位置的置信度，关节点最终位置定义为置信度最高的位置。对于图像中只有一个人的情况，则某一类型可见的关节点在热力图中只有一个峰值。对于多人情况，某一类型可见的关节点存在多个峰值，表示不同人的同一个类型关节点。
70.这里的关节点亲和区域由一系列单位向量组成，每一段肢体对应一个亲和区域，位于肢体上的像素点都由一个单位向量进行表示，包含了位置和方向信息，所有在肢体上的单位向量构成亲和区域。
71.该深度神经网络模型分为两层，采用vgg-19模型对输入图像进行特征提取，并用符号f表示图像特征。深度神经网络以f作为输入，输出关节点的热力图s1＝ρ1(f)和关节点之间的亲和区域其中ρ1和为网络的映射函数，其本质是一系列的卷积操作。
72.在第一层，对于输入特征采用3
×
3大小的卷积核连续进行三次卷积，之后用1
×
1大小的卷积核连续进行两次卷积，得到初始的预测结果。
73.在第二层，将该第一层的预测结果和原图像特征f进行融合，作为当前的输入，经过卷积操作分别预测出关节点热力图和关节点的亲缘关系程度：
[0074][0075][0076]
其中ρ
t
和分别表示现阶段t的卷积操作，先用大小为7
×
7的卷积核连续进行五次卷积操作，之后用大小为1
×
1的卷积核连续两次卷积操作，最终输出本阶段的关节点热力图和关节点亲和区域。
[0077]
由于关节点热力图和关节点的亲缘关系程度本质有所不同，因此在训练的时候需要分别对关节点位置和亲和区域进行监督，损失函数均采用l2损失。为了避免梯度消失现象发生，在每一层的输出都添加损失函数，起到中继监督作用。
[0078]
另外在样本标注的时候，会存在行人漏标等情况对损失函数造成影响，因此需要对损失函数在各个位置进行掩膜操作。于是，对于关节点位置和亲和区域的损失函数形式如下：
[0079]
[0080][0081]
其中s*j和l*c分别为关节点位置和亲和区域的实际测量值，w为掩膜函数，有标注的位置为1，没标注的位置为0，w(p)＝0表示在位置p处没有标注。
[0082]
整个网络的最终损失为第一层和第二层两个损失之和的累加：
[0083][0084]
将热力图的峰值作为关节点的位置，将关节点相互连接，构成二分图。对热力图采取非极大值抑制得到一系列候选关节点。由于多人或者错误检测，对于每一类型的关节点会存在多个候选关节点。这些候选关节点之间的连接构成二分图，每两个关节点之间的连接置信度通过线积分计算得到。
[0085]
根据关节点之间的亲和区域，对二分图进行稀疏调节后，进行最优化，实现多人姿态的估计包括以下步骤：
[0086]
剔除二分图中跨关节点之间的连接，得到稀疏二分图；
[0087]
根据人体肢体将稀疏后的二分图进行拆解，得到多个简化二分图；
[0088]
将二分图的整体优化转化为对各个简化二分图进行最优化，以使所有简化二分图的权重之和达到最大；
[0089]
将优化后的各个简化二分图中共同的关节点进行整合，得到多人姿态的估计。
[0090]
具体的，优化该二分图即在所有边中选择一组边使得最终二分图的总权重最大，所以目标函数可写为：
[0091][0092]
约束条件为：
[0093][0094][0095]
其中ec为二分图优化之后肢体c的权重，取其中总权重之和最大的；zc为所有骨点连接集合z的子集；约束条件表示一段肢体最多只存在一条连接边。
[0096]
为了提高最优化效率，本实施例采用以下方法降低二分图优化算法的复杂度：
[0097]
首先，剔除跨骨点之间的连接构成如图2所示的稀疏二分图，代替全连接二分图；
[0098]
然后根据肢体将稀疏后的二分图拆解得到图3所示的多个简化二分图。
[0099]
将二分图的整体优化问题转化为对各个简化后的二分图进行最优化。而最优化的目标函数为所有简化二分图的权重之和达到最大：
[0100][0101]
优化之后，将各个简化二分图中共同的骨点进行整合得到最终多人人体姿态估计。这样做的优点是将困难的二分图整体优化问题转化为多个较容易求解的二分图最优化，可以有效逼近全局最优解，同时降低算法复杂度，提高算法的运行效率，达到实时多人姿态估计的目的。
[0102]
本实施例采用以上深度神经网络模型对测试图像数据集进行人体关节点位置的目标识别及训练，得到能够识别检测工作人员身体关节点位置的第一目标模型。
[0103]
在步骤s3中，创建语义分割模型，采用图像数据集对模型进行训练，得到能够识别传送设备轮廓位置的第二目标模型。
[0104]
其中，创建语义分割模型包括创建语义分割模型的编码器和解码器。
[0105]
本实施例中编码器采用res2net50网络和transformer网络，对输入图像进行特征提取，得到特征图和特征块。
[0106]
该编码器包括res2net50网络和transformer网络，res2net50网络和transformer网络对输入图像进行特征提取，得到下采样特征图和特征块。其中，res2net50网络用于融合特征图中不同尺度的信息，提取特征图中的全局和局部信息。transformer网络用于捕捉特征图中的长距离信息，以获取更有效的特征块。
[0107]
解码器将特征块进行重塑尺寸后，与特征图合并；对合并后的特征图中感兴趣的物体进行定位聚焦。
[0108]
该解码器包括上采样模块和coordinate attention机制模块，将特征块重塑尺寸后合并编码器的下采样特征图，上采样模块和coordinate attention机制模块对合并后的特征图中的特征进行聚集，再进行上采样操作，依次类推，直到获取图像的大小。
[0109]
其中coordinate attention机制模块是一种注意力模块，用于多特征图中感兴趣的物体进行定位聚焦。coordinate attention机制模块，将通道注意力分解为两个沿着不同方向聚合特征的一维特征编码过程。这样的好处是可以沿着一个空间方向捕获长程依赖，沿着另一个空间方向保留精确的位置信息。然后，将生成的特征图分别编码，形成一对方向感知和位置敏感的特征图，它们可以互补地应用到输入特征图来增强感兴趣的目标的表示。
[0110]
创建好语义分割模型之后，需要对模型进行训练。本实施例在采用图像数据集对模型进行训练时，创建了基于高斯-拉普拉斯算子的细节引导模块，将测试图像数据集中标记完成的图像，输入高斯-拉普拉斯卷积进行处理，得到细节标记图像，计算细节标记图像与预测图像之间的细节损失，并采用得到的细节损失对语义分割模型进行训练。
[0111]
本实施例采用以上语义分割模型对测试图像数据集进行传送设备轮廓位置的目标识别及训练，得到能够识别传送设备轮廓位置的第二目标模型。
[0112]
在步骤s4中，将训练后的第一目标模型与第二目标模型合并，得到能够判断工作人员身体关节点位置与传送设备轮廓位置之间的相对关系的识别模型。
[0113]
将训练后的第一目标模型与第二目标模型合并，即将识别多人姿态的模型与识别
传送设备轮廓位置的模型进行合并，形成新的识别模型。在该新的识别模型中，第一目标模型与第二目标模型可以是按先后关系排列，也可以是并行关系。
[0114]
也就是说，当图像输入该识别模型后，该识别模型可根据功能的排列，先识别图像中人体的关节点位置，估计人体姿态；再识别传送设备的轮廓位置，根据人体位置与传送设备的轮廓位置在同一张图像中的相对位置，得到它们之间的相对关系。或者先识别传送设备的轮廓位置，再识别图像中人体的关节点位置，估计人体姿态；根据人体位置与传送设备的轮廓位置在同一张图像中的相对位置，得到它们之间的相对关系。
[0115]
当第一目标模型与第二目标模型为并行关系时，识别模型将输入图像复制一份，同时进行人体关节点位置的识别估计人体姿态，及传送设备的轮廓位置的识别，根据识别结果判断人体位置与传送设备的轮廓位置在同一张图像中的相对位置，得到它们之间的相对关系。
[0116]
s5：将识别模型用于指示物流分拨中心传送设备所在区域的工作人员的危险行为，当工作人员身体关节点位置与传送设备轮廓位置之间的相对关系属于预设的危险行为时，识别模型输出报警信息，提示工作人员操作不规范。
[0117]
其中，预设的危险行为包括：跨越传送设备、攀附传送设备、脚踩传送设备、上身越过传送设备等行为。当识别模型检测出物流分拨中心传送设备所在区域的图像中工作人员的人体姿态与传送设备的位置之间的相对关系属于上述危险行为时，就会输出报警信息，提示工作人员操作不规范。
[0118]
综上，本实施例中的分拨中心危险行为的监控方法，针对采用人工现场监督或者人工筛选海量图像对员工进行行为监督的方法，太费时费力成本高的问题，通过基于深度学习、机器学习技术，采用多人姿态识别框架识别作业人员的身体关节点位置，并结合语义分割框架识别传动设备轮廓，通过分析关节位置与设备轮廓的位置关系来批量判断作业人员是否违反安全操作规范，从而提高监控人员的工作效率，降低人工现场监督或者人工筛选海量图像产生的人力成本。
[0119]
实施例二
[0120]
本实施例提供了一种分拨中心危险行为的监控装置，实现上述实施例一中的分拨中心危险行为的监控方法。请参看图4，该监控装置包括：
[0121]
图像处理模块1，用于从物流分拨中心的监控摄像头中获取传送设备所在区域的场景图像，对图像进行预处理，以使每张图像可标记人体关节点位置及传送设备轮廓位置，得到图像数据集；
[0122]
姿态识别模块2，用于创建初始训练模型，基于深度学习技术及多人姿态识别算法，采用图像数据集对模型进行训练，得到能够识别检测工作人员身体关节点位置的第一目标模型；
[0123]
语义分割模块3，用于创建语义分割模型，采用图像数据集对模型进行训练，得到能够识别传送设备轮廓位置的第二目标模型；
[0124]
合成模块4，用于将训练后的第一目标模型与第二目标模型合并，得到能够判断工作人员身体关节点位置与传送设备轮廓位置之间的相对关系的识别模型；
[0125]
监控模块5，用于将识别模型用于指示物流分拨中心传送设备所在区域的工作人员的危险行为，当工作人员身体关节点位置与传送设备轮廓位置之间的相对关系属于预设
的危险行为时，识别模型输出报警信息，提示工作人员操作不规范。
[0126]
其中，姿态识别模块2包括：
[0127]
第一处理单元，用于采用深度神经网络同时预测出输入图像中人体每个关节点的热力图和关节点之间的亲和区域；
[0128]
第二处理单元，用于将热力图的峰值作为关节点的位置，将关节点相互连接，构成二分图；
[0129]
第三处理单元，用于根据关节点之间的亲和区域，对二分图进行稀疏调节后，进行最优化，实现多人姿态的估计。
[0130]
上述图像处理模块1、姿态识别模块2、语义分割模块3、合成模块4及监控模块5的功能及实现方式均如上述实施例一所述，在此不再赘述。
[0131]
实施例三
[0132]
本实施例提供了一种分拨中心危险行为的监控设备。请参看图5，该分拨中心危险行为的监控设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)510(例如，一个或一个以上处理器)和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530(例如一个或一个以上海量存储设备)。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对分拨中心危险行为的监控设备500中的一系列指令操作。
[0133]
进一步，处理器510可以设置为与存储介质530通信，在分拨中心危险行为的监控设备500上执行存储介质530中的一系列指令操作。
[0134]
分拨中心危险行为的监控设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线的网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如windows serve、vista等等。
[0135]
本领域技术人员可以理解，图5示出的分拨中心危险行为的监控设备结构并不构成对分拨中心危险行为的监控设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0136]
本发明的另一实施例还提供了一种计算机可读存储介质。
[0137]
该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质。该计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得计算机执行实施例一中的分拨中心危险行为的监控方法的步骤。
[0138]
分拨中心危险行为的监控方法如果以程序指令的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件的形式体现出来，该计算机软件存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0139]
所属领域的技术人员可以清楚地了解到，为描述得方便和简洁，上述描述的系统及设备的具体执行的识别内容，可以参考前述方法实施例中的对应过程。
[0140]
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。