一种基于光谱视频的化工气体泄漏检测方法及系统与流程

1.本技术涉及气体检测技术领域，特别涉及一种基于光谱视频的化工气体泄漏检测方法及系统。


背景技术：

2.及时发现和控制化工气体泄漏是工业现场安全运转的前提和重中之重，然而由气体泄漏引发的火灾、爆炸和中毒等事故在世界范围内仍屡见不鲜。以光谱视频技术为核心的气体检测手段以其远距离、大范围等优势可以有效预警化工气体泄漏。
3.然而目前并没有成熟的具有针对性的分类识别算法应用在光谱视频气体检测领域。一方面，传统的运动检测算法，无法高效区分泄漏气体与其他运动目标，而且在实际应用中，泄漏气体云团主体往往与各种噪声杂糅，难以对气体泄漏进行精准有效的甄别。另一方面，气体泄漏云团主体缺乏明显的形态特征，在图像对比度低，气体泄漏浓度低，气体云团分布快速变化等情形下，需要连续多帧图像才能勉强定位云团位置，而目前基于传统计算机视觉的目标检测任务非常依赖人工设计的特征，在人工设计特征的过程中，往往会忽略气体泄漏图像的部分内在特征，这将会导致大量的误报漏报；与此同时，深度学习在运动检测领域并没有很好的应用，目前已有的卷积神经网络（cnn）架构也难以胜任气体泄漏这种无明显特征的目标识别与分割任务。
4.因此，如何能够高效地提取化工气体泄漏云团的时空形态变化特征，精准地实现对气体泄漏云团的检测和可视化，实时地对气体云团的浓度分布和扩散趋势等信息进行分析，适配视频级的检测任务，是亟待解决的技术问题。


技术实现要素：

5.有鉴于此，本技术提出一种基于光谱视频的化工气体泄漏检测方法及系统，可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息。
6.第一方面，本技术提供了一种基于光谱视频的化工气体泄漏检测方法，包括：对采集到的化工气体的光谱视频进行图像层面的预处理；将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；将所述短时时序增强特征和所述全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。
7.由上，本方法通过采用两种不同形式的特征增强模块，实现对化工气体泄漏云团的外观信息和运动信息的采集，并通过残差连接并入到主网络中，可以高效地、实时地检测
并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息，同时，采用差分运算，能够显著提升模型的运动建模能力并大幅度降低计算损耗，适配视频级的目标检测任务对算法时间复杂度的较高要求。
8.可选的，所述对采集到的化工气体的光谱视频进行图像层面的预处理的步骤之后还包括：利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框。
9.由上，通过背景建模能够对复杂场景光谱视频中的运动物体进行识别，并通过预选框形式进行提取显示。
10.可选的，还包括：利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除。
11.由上，通过利用基于密度的噪声应用空间聚类（density
‑
based spatial clustering of application with noise，dbscan）算法将提出的预选框进行聚类，如果其他任意一个预选框与该邻域拓展框的iou（重叠面积与两个框各自面积比）大于设定的阈值，那么就将这两个预选框合并，在此基础上，还可将在可见光波段光谱视频图像和红外波段光谱视频图像同时出现的聚类直接去除。
12.可选的，所述图像层面的预处理包括图像去噪、图像增强和图像对齐中的一种或多种。
13.由上，在图像去噪部分，尽可能滤除光谱视频中的噪声干扰；在图像增强部分，利用图像增强算法在降噪的同时保持气体云团目标检测的完整性；在图像对齐算法部分，当使用的光谱视频中不同谱段的信息来源于多个成像设备时，针对性的图像对齐算法为光谱视频跨模态、多谱段信息融合奠定了基础。
14.可选的，所述将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征包括：将所述光谱视频划分为持续时间相同的t个片段，在每个片段中随机采样一个视频帧得到 ；将所述视频帧输入到二维卷积模型中，提取每个视频帧的隐藏层中的特征表示得到
ꢀꢀ
。
15.由上，通过将光谱视频按照时序划分为持续时间相同的多个片段，并在每个片段中随机提取一个视频帧，并将提取的视频帧输送到cnn中提取帧特征，可以降低运算量的同时，能够保留光谱视频中气体云团的外观特征和运动特征。
16.可选的，所述通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征包括：以视频帧为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到，并将多个光谱图像差分在通道维度上进行叠加；采用卷积神经网络对叠加的所述光谱图像差分
ꢀꢀ
进行运算，提取得到相邻视频帧的
局部运动信息 ，所述运算包括：;其中，所述为利用平均池化层对光谱图像差分进行下采样，所述为利用二维提取运动特征，所述为对所述运动特征进行上采样以匹配特征； 通过将所述视频帧的特征与所述局部运动信息进行叠加得到所述视频帧的短时时序增强特征，所述叠加包括： 由上，通过在每个视频帧的原始特征中融合其相邻视频帧的局部运动，能够使每个视频帧的特征表示中能够包含局部运动信息，能够更好的描述局部时间窗口。
17.可选的，所述通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征包括：将所述短时时序增强特征划分为两组，分别为分辨率为增强特征分辨率一半的大帧组以及分辨率和增强特征分辨率保持一致的小帧组；利用blvnet视频架构，将所述两组短时时序增强特征分别输入到大小分支，以便每个分支从不同的帧获得补充信息，则其输出可以表示为：其中， 表示在第t帧的输入输出特征层， 和是blvnet中的大分支和小分支， 是模型参数， 表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示；利用加权逐通道的集成方法融合每一个视频帧的时序信息，得到每个视频帧的全局时序增强特征：其中，表示第t帧的激活输出， 表示逐通道的乘法，其具体可定义为对于向量和，v=， 表示时序。
18.由上，视频帧的原始特征经过短时时序差分增强后，采用移位和加权逐通道的集成融合每个视频帧的时序信息，从而得到视频帧的全局时序特征。
19.第二方面，本技术提供了一种基于光谱视频的化工气体泄漏检测系统，包括：图像预处理模块，用于对采集到的化工气体的光谱视频进行图像层面的预处理；稀疏采样模块，用于将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；帧级特征增强模块，用于通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；时序加权融合模块，用于通过移位和加权逐通道的集成方法在每个视频帧的短时时序增强特征中融合时序信息，得到每个视频帧的全局时序融合特征；
输出模块，用于将所述短时时序增强特征和所述全局时序融合特征通过残差连接并入主网络，计算得到所述化工气体泄漏的检测结果。
20.可选的，还包括：运动检测模块，用于利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框。
21.可选的，还包括：预选框聚类模块，用于利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除。
22.可选的，所述图像预处理模块包括图像去噪模块、图像增强模块和图像对齐模块中的一种或多种。
23.可选的，所述稀疏采样模块具体用于：将所述光谱视频划分为持续时间相同的t个片段，在每个片段中随机采样一个视频帧得到；将所述视频帧输入到二维卷积模型中，提取每个视频帧的隐藏层中的特征表示得到。
24.可选的，所述帧级特征增强模块具体用于：以视频帧为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到 ，并将多个光谱图像差分在通道维度上进行叠加；采用卷积神经网络对叠加的所述光谱图像差分进行运算，提取得到相邻视频帧的局部运动信息，所述运算包括：其中，所述为利用平均池化层对光谱图像差分进行下采样，所述为利用二维提取运动特征，所述为对所述运动特征进行上采样以匹配特征；通过将所述视频帧的特征与所述局部运动信息进行叠加得到所述视频帧的短时时序增强特征，所述叠加包括：可选的，所述时序加权融合模块具体用于：将所述短时时序增强特征 划分为两组，分别为分辨率为增强特征分辨率一半的大帧组以及分辨率和增强特征分辨率保持一致的小帧组；利用blvnet视频架构，将所述两组短时时序增强特征分别输入到大小分支，以便每个分支从不同的帧获得补充信息，则其输出 可以表示为：
ꢀ
其中，表示在第t帧的输入输出特征层， 和是blvnet中的大分支和小分支，是模型参数，表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示；利用加权逐通道的集成方法融合每一个视频帧的时序信息，得到每个视频帧的全局时序增强特征： 其中， 表示第t帧的激活输出，表示逐通道的乘法，其具体可定义为对于向量和，v=， 表示时序。
25.第三方面，本技术提供了一种计算设备，所述计算设备包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述的基于光谱视频的化工气体泄漏检测方法。
26.第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现上述的基于光谱视频的化工气体泄漏检测方法。
27.本技术的这些和其它方面在以下（多个）实施例的描述中会更加简明易懂。
附图说明
28.图1为本技术实施例提供的一种基于光谱视频的化工气体泄漏检测系统的示意图；图2为本技术实施例提供的一种基于光谱视频的化工气体泄漏检测方法的流程图；图3为本技术实施例提供的一种帧级特征增强模块的示意图；图4为本技术实施例提供的一种时序加权融合模块的示意图；图5为本技术实施例提供的基于光谱视频的化工气体泄漏检测系统的整体结构示意图；图6为本技术实施例提供的一种计算设备的结构图。
29.应理解，上述结构示意图中，各框图的尺寸和形态仅供参考，不应构成对本技术实施例的排他性的解读。结构示意图所呈现的各框图间的相对位置和包含关系，仅为示意性地表示各框图间的结构关联，而非限制本技术实施例的物理连接方式。
具体实施方式
30.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅
是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.说明书和权利要求书中使用的术语“包括”不应解释为限制于其后列出的内容；它不排除其它的元件或步骤。因此，其应当诠释为指定所提到的所述特征、整体、步骤或部件的存在，但并不排除存在或添加一个或更多其它特征、整体、步骤或部件及其组群。因此，表述“包括装置a和b的设备”不应局限为仅由部件a和b组成的设备。
32.本说明书中提到的“一个实施例”或“实施例”意味着与该实施例结合描述的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在本说明书各处出现的用语“在一个实施例中”或“在实施例中”并不一定都指同一实施例，但可以指同一实施例。此外，在一个或多个实施例中，能够以任何适当的方式组合各特定特征、结构或特性，如从本公开对本领域的普通技术人员显而易见的那样。
33.如图1所示为本技术实施例提供的一种基于光谱视频的化工气体泄漏检测系统的示意图，该系统包括：图像预处理模块110，包含图像去噪算法、图像增强算法和图像对齐算法三个部分，对设备采集到的光谱视频进行图像层面的预处理；运动检测模块120，利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将视频中发生动态变化的像素进行显示地提取，并提出预选框；预选框聚类模块130，利用聚类算法将运动检测模块120提出的预选框进行聚类，并将在可见光波段光谱视频图像和红外波段光谱视频图像同时出现的聚类直接去除；稀疏采样模块140，将视频在时序上划分为多个片段，再进行整体的稀疏采样作为后续模块的输入，以降低网络输入的数据体量，适配视频级的路标检测任务；帧级特征增强模块150，为视频帧在隐藏层中的特征表示提供局部运动信息，以提高其表示能力；时序加权融合模块160，将帧级特征增强模块的输出作为该模块的输入，利用移位的方法加权逐通道的集成去融合每一个增强帧的时序信息；输出模块170，将帧级特征增强模块和时序加权融合模块的输出通过残差连接并入主网络中，并计算输出视频中化工气体泄漏的检测结果。
34.参照图1所示，本实施例的基于光谱视频的化工气体泄漏检测系统，对于光谱视频装置采集到的光谱视频，先后经过图像预处理模块110、运动检测模块120、预选框聚类模块130、稀疏采样模块140、帧级特征增强模块150、时序加权融合模块160和输出模块170后输出视频中化工气体泄漏云团的检测结果，可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息。
35.基于图1所示的检测系统，如图2所示为本技术实施例提供的一种基于光谱视频的化工气体泄漏检测方法的流程图，通过采用两种不同形式的时序差分模块，实现对化工气体泄漏云团的外观信息和运动信息的采集，并通过残差连接并入到主网络中，可以高效地、实时地检测并呈现光谱视频中的气体泄漏云团位置、浓度分布、扩散趋势等信息。下面参照
图2
‑
图5，对本方法进行详细描述，该方法包括：s10：对采集到的化工气体的光谱视频进行图像层面的预处理；本步骤可通过上述图像预处理模块110执行，如图5所示，具体可以执行图像去噪、图像增强、图像对齐等图像层面的预处理。其中，在图像去噪部分，可以选择butterworth滤波器和卡尔曼滤波器在频域和时域分别进行滤波，大幅度滤除光谱视频噪声干扰；在图像增强部分，可以使用bf&drf算法将输入帧分割为基础图像和细节图像两部分，然后将基础图像和细节图像分别处理，以便独立控制对全局和细节的感知；在图像对齐部分，当光谱视频采集装备包含多路输入时，需要选择合适的图像对齐算法对多路视频图像进行对齐操作。
36.s20：利用背景建模方法对复杂场景光谱视频序列图像中的某一特定像素值进行建模，将所述光谱视频中发生动态变化的像素进行显示提取，并提出预选框；本步骤可通过上述运动检测模块120执行，通过利用基于混合高斯模型（gaussian mixture model，gmm）的背景建模方法，对复杂场景光谱视频序列图像中的某一特定像素值进行建模，同时考虑到实际视频中由于检测装置镜头的抖动、位移、光影变换、场景变化等因素的存在，视频背景也会随时间发生变化，因此不断对模型的参数进行自适应的更新以适应场景的变化，将视频中发生动态变化的像素进行显示地提取，并提出预选框。
37.s30：利用聚类算法将提出的所述预选框进行聚类，并将在可见光波段的光谱视频和红外波段的光谱视频中同时出现的聚类进行去除；本步骤可通过上述预选框聚类模块130执行，通过利用基于密度的噪声应用空间聚类（density
‑
based spatial clustering of application with noise，dbscan）算法将运动检测模块120提出的预选框进行聚类，如果其他任意一个预选框与该邻域拓展框的iou（重叠面积与两个框各自面积比）大于设定的阈值，那么就将这两个预选框合并，在本实施例中所设定的阈值可以为0.3。在此基础上，还可将在可见光波段光谱视频图像和红外波段光谱视频图像同时出现的聚类直接去除。
[0038] s40：将所述光谱视频在时序上划分为多个片段，在每个片段中采样一个视频帧，并分别提取每个视频帧的特征；本步骤可通过上述稀疏采样模块140执行，通过采用时间稀疏采样的策略，将所述光谱视频划分为持续时间相同的t个片段，在每个片段中随机采样一个视频帧得到 ，的数据维度为。将采样得到的多个视频帧分别输入到二维卷积模型（2d cnn）中，提取每个视频帧的隐藏层中的特征表示得到，该特征f的维数为，该稀疏采样模块140获得的数据用于作为后续模块的初始输入。
[0039]
s50：通过在每个视频帧的特征中融合其多个相邻视频帧的局部运动信息，得到每个视频帧的短时时序增强特征；本步骤可通过上述帧级特征增强模块150执行，如图3所示为本技术实施例提供的一种帧级特征增强模块的示意图，该帧级特征增强模块在早期网络层进行低层次特征提取，并使单帧视频帧通过融合时间差信息来感知局部运动。具体的，以视频帧为中心，在其所属片段中提取多个相邻视频帧的光谱图像差分得到
，本实施例可采用前后相邻的六个图像差分作为依据，其中可通过简单的差分运算得到，然后将该六个连续的光谱图像差分在通道维度上进行叠加，作为tdn双流形式中的差分数据流输入；基于该思路，可得到一种有效的时序差分模块形式： 本实施例中，为了降低运算量，保证网络的计算效率，可以采用一个轻量级的卷积神经网络（cnn）模块对叠加的所述光谱图像差分进行运算，提取得到相邻视频帧的局部运动信息，该cnn遵循的处理逻辑为：首先利用平均池化层对光谱图像差分进行下采样（），然后利用二维提取运动特征，最后对所述运动特征进行上采样（）以匹配特征。此种逻辑的设计来自于对光谱图像的观察，即光谱图像差分对于大多数区域表现出非常小的值，并且仅在运动显著区域显示高响应。因此，由于数据内部信息的稀疏性，这种低分辨率架构可以实现在较小的精度损失的前提下，实现时间复杂度上的优越性。
[0040]
通过将所述视频帧的特征与所述局部运动信息进行叠加得到所述视频帧的短时时序增强特征 ，所述叠加包括：本步骤得到的视频帧的短时时序增强特征 可作为后续时序加权融合模块160的输入。
[0041]
s60：利用移位的方法加权逐通道的集成去融合每一个视频帧的时序信息，得到每个视频帧的全局时序融合特征；本步骤可通过上述时序加权融合模块160执行，如图4所示为本技术实施例提供的一种时序加权融合模块的示意图，如果将帧级特征增强模块150的输出表示为，则时序加权融合模块160将这些进行短时时序增强后的特征表示划分为两组，分别为分辨率为增强特征分辨率一半的大帧组以及分辨率和增强特征分辨率保持一致的小帧组。这里使用big
‑
little
‑
video
‑
net（blvnet）的视频架构对数据进行处理。其中，相邻的特征增强表示一个作为大分支的输入，一个作为小分支的输入以便从每个分支不同的帧获得补充信息，则其输出可以表示为： 表示在第t帧的输入输出特征层；和 是blvnet中的大分支和小分支；是模型参数；表示一个附加的残差模块应用在融合两个分支的特征输出来增强特征表示。
[0042]
对于blvnet进一步增强后的特征表示，在此基础上，进一步利用加权逐通道的集成去融合每一个时间帧的时序信息提取全局融合信息。因此，集成
signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。或者该处理器1010采用一个或多个集成电路，用于执行相关程序，以实现本技术实施例所提供的技术方案。
[0052]
该存储器1020可以包括只读存储器和随机存取存储器，并向处理器1010提供指令和数据。处理器1010的一部分还可以包括非易失性随机存取存储器。例如，处理器1010还可以存储设备类型的信息。
[0053]
在计算设备1000运行时，所述处理器1010执行所述存储器1020中的计算机执行指令执行上述方法的操作步骤。
[0054]
应理解，根据本技术实施例的计算设备1000可以对应于执行根据本技术各实施例的方法中的相应主体，并且计算设备1000中的各个模块的上述和其它操作和/或功能分别为了实现本实施例各方法的相应流程，为了简洁，在此不再赘述。
[0055]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0056]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0057]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0058]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0059]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0060]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0061]
本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行上述基于光谱视频的化工气体泄漏检测方法，该方法包括上述各个实施例所描述的方案中的至少之一。
[0062]
本技术实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0063]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0064]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括、但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0065]
可以以一种或多种程序设计语言或其组合来编写用于执行本技术操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0066]
注意，上述仅为本技术的较佳实施例及所运用的技术原理。本领域技术人员会理解，本技术不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本技术的保护范围。因此，虽然通过以上实施例对本技术进行了较为详细的说明，但是本技术不仅仅限于以上实施例，在不脱离本技术的构思的情况下，还可以包括更多其他等效实施例，均属于本技术的保护范畴。