一种基于图像特征序列建模的蔬果识别方法及系统与流程

1.本发明属于图像识别技术领域，具体涉及一种基于图像特征序列建模的蔬果识别方法及系统。


背景技术：

2.我国的实体零售由传统零售向创新型零售新模式转型。随着人工智能、大数据、区块链等技术的在新零售模式中的逐步应用，人们对购物过程中的个性化、便利化、精准化等要求逐步提高。而作为线下零售下商超中必不可少的称重系统则亟需升级，蔬果精准识别作为新零售场景下的蔬果自动称重系统中的核心问题摆在研究者的面前。
3.蔬果识别的方法由传统的手工设计特征逐步过渡到数据驱动的深度学习方法，特别是以卷积神经网络为代表的一系列方法。因此，越来越多的研究者将目光聚焦于深度学习的蔬果识别方法研究。但是，依赖数据驱动的蔬果识别研究仍然存在着许多亟待解决和突破的难题，主要包括：第一，识别性能依赖数据质量。自然环境中采集到的蔬果图像数据质量差异大，一些图像分辨率低、过度曝光、噪声大、严重影响蔬果识别性能；第二，方法泛化能力不足。自然环境中客户摆放蔬果的位置变化大，蔬果外包装的遮挡也广泛存在，基于深度学习的表情识别方法的泛化能力往往不足，无法在不同环境中均表现出很好的识别性能；第三，可解释性不够。应用于蔬果识别的深度学习方法往往采取端到端监督学习的方式，研究者设计方法时并未考虑不同遮挡位置对识别结果的影响，因而导致方法的可解释性不足。


技术实现要素：

4.发明目的：为了克服现有技术中的不足，本发明提供一种基于图像特征序列建模的蔬果识别方法及系统；通过本发明的系统和方法提取图像中区域内部重要特征和挖掘区域间关联特征，建立蔬果图像特征的最佳描述，提升新零售场景下的蔬果识别性能。本发明引入图像特征序列建模的思想，有助于判别性特征的选择，并通过位置信息解耦的自注意力学习模块，使得序列特征在保留位置信息的同时不被其扰动，实现了图像中蔬果特征的精确识别。
5.技术方案：第一方面本发明提供一种基于图像特征序列建模的蔬果识别方法，包括如下步骤：
6.采集蔬果图像，并将蔬果图像基于预设的切块模型进行切块处理，得到图像集合；
7.将图像集合输入深度神经网络中通过平坦化操作提取图像特征，得到图像特征集合；
8.利用深度神经网络中的映射函数对图像特征集合进行线性映射，得到特征编码，在特征编码中增加分类字段，获得图像特征序列；
9.将图像特征序列输入位置信息解耦的多头自注意力模块中进行计算，得到第一次激活的图像特征序列；
10.基于第一次激活的图像特征序列，提取出图像特征序列中所有的分类字段，并对提取出的所有分类字段首位再次增加分类字段，重新构建为图像特征序列；
11.将重新构建的图像特征序列输入多头自注意力模块中进行计算，得到第二次激活的图像特征序列；
12.取出第二次激活的图像特征序列中的分类字段，将分类字段输入蔬果分类器中，计算出被识别图像中蔬果类别的概率分布，并根据概率分布识别出当前图像中蔬果的类别。
13.在进一步的实施例中，采集蔬果图像的方法包括：
14.在新零售场景下搭建称重场景，并设置不同照明方式对市面上多种常见蔬果进行拍摄，获得若干张拍摄的图片数据；
15.对若干张拍摄的图片数据进行筛选，并对筛选出的图片数据进行人工标注，获得标注数据集，其中，标注数据集为用于对深度神经网络进行数据训练、测试的数据模型；
16.所述深度神经网络的类型为resnet18，采用多种常见蔬果的图像的特征序列构建而成。在进一步的实施例中，将蔬果图像基于预设的切块模型进行切块处理，得到图像集合的方法包括：根据新零售场景下构建的蔬果识别数据集，对图像进行筛选，得到蔬果图像；
17.将蔬果图像导入切块模型，所述切块模型等比例将蔬果图像全局切块为方形阵列状排布的图像分块，并输出所有图像分块的图像集合，其中，切块模型通过人工进行图像分块数量的预设。
18.在进一步的实施例中，所述平坦化操作为将图像集合中每个图像分块导入至相同的通道维度中，提取相同的通道维度中的图像特征。
19.在进一步的实施例中，利用深度神经网络中的映射函数对图像特征集合进行线性映射，得到特征编码，在特征编码中增加分类字段，获得图像特征序列的方法为：
20.提升通道维度对图像特征集合进行线性映射，获得特征编码；
21.在每个特征编码的首端均添加一个分类字段，获得图像特征序列；其中，所述分类字段为一个可学习的特征节点，用于在多头自注意力模块中建立与原有特征序列中所有节点的联系；
22.所述分类字段的通道维度和特征编码的通道维度保持一致；
23.f＝f(x，θ)
24.(f1，f2，...，fn)＝f((x1，x2，...，xn)，θ)
25.式中，x表示输入图像集合，分别为x1，x2，...，xn，f表示图像特征集合，分别为 f1，f2，...，fn，n代表输入图像集合中元素的个数，f(θ)表示深度神经网络resnet18前五个阶段的映射函数，θ为f(θ)的参数。
26.在进一步的实施例中，将图像特征序列输入位置信息解耦的多头自注意力模块中进行计算，得到第一次激活的图像特征序列包括：
27.将图像特征序列输入位置信息解耦的多头自注意力模块中，通过多头自注意力模块将特征序列降维并投影至不同的特征空间中，分别得到不同特征空间中的查询特征、键特征、值特征；
28.将不同特征空间中的每一组序列的查询特征、键特征、值特征分别代入位置解耦的注意力矩阵进行计算，得到每个特征空间中的注意力；
29.将各个特征空间中注意力进行关联计算，得到多头特征；
30.调用门控线单元激活多头特征；输出第一次激活的图像特征序列；
31.其中，通过多头自注意力模块将特征序列降维并投影至不同的特征空间中为对输入的每一个特征序列均进行线性映射降维，将其投影至n个不同的特征空间中，得到投影至n个不同的特征空间中的查询特征、键特征、值特征，计算公式如下：
[0032][0033]
式中，w
iq
、w
ik
、w
iv
分别为对应的查询权重矩阵、键权重矩阵、值权重矩阵，分别为对应的查询权重矩阵、键权重矩阵、值权重矩阵，分别为投影至第i个特征空间中的查询特征、键特征、值特征；
[0034]
并对每个一组计算位置解耦的注意力disatte，计算公式如下：
[0035][0036]
式中，pe表示位置编码矩阵，headi为第i个特征空间计算得到注意力；
[0037]
将各个特征空间中的头headi采用下式级联到得到的多头特征，计算公式如下：
[0038]
multihead＝concat(head1，head2…
，headn)wo[0039]
式中，multihead为计算得到的多头特征，wo为输出权重矩阵，concat为特征维度上的级联操作，head1至headn分别为第1至n个特征空间中的注意力。
[0040]
在进一步的实施例中，将重新构建的图像特征序列输入多头自注意力模块中进行计算，得到第二次激活的图像特征序列方法为：
[0041]
对再次构建的图像特征序列进行降维并投影至不同的特征空间中，分别得出不同的特征空间中的查询特征、键特征、值特征；
[0042]
将不同特征空间中的每一组序列的查询特征、键特征、值特征分别代入注意力矩阵进行计算，得到每个特征空间中的注意力；
[0043]
将各个特征空间中注意力进行关联计算，得到多头特征；
[0044]
调用门控线单元激活多头特征；输出第二次激活的图像特征序列；
[0045]
其中，再次构建的图像特征序列中首位新增的分类字段用于在建模时体现不同图像之间的关联性；
[0046]
将再次构建的图像特征序列投影至n个不同的特征空间中，得到投影至n个不同的特征空间中的查询特征、键特征、值特征，表达式如下：
[0047][0048]
式中，x
cls
为输入的再次构建的图像特征序列，w
iq
、w
ik
、w
iv
分别为映射x
cls
对应的查询权重矩阵、键权重矩阵、值权重矩阵，分别为将x
cls
投影至第i个特征空间中的查询特征、键特征、值特征；
[0049]
对每个一组查询特征、键特征、值特征分别代入注意力矩阵atte计算的表达式如下：
[0050]
[0051][0052]
式中，headi为第i个特征空间计算得到的注意力矩阵；
[0053]
将各个特征空间中的头headi进行级联计算得到的多头特征的表达式如下：
[0054]
multihead＝concat(head1，head2...，headn)wo[0055]
式中，multihead为计算得到的多头特征矩阵，wo为输出权重矩阵，concat为特征维度上的级联操作，head1至headn分别为第1至n个特征空间中的注意力矩阵。
[0056]
在进一步的实施例中，计算出被识别图像中蔬果类别的概率分布的方法包括：
[0057]
通过在蔬果分类器中设置全连接层和softmax函数对输入的分类字段进行概率类别计算，识别出分类字段蔬果的类别概率分布；
[0058]
其中，全连接层的计算函数表达式为：
[0059]
y＝wf
cls
b
[0060]
式中，f
cls
表示激活输出特征序列首位的分类字段的特征信息，w为对应的映射权重矩阵，y为全连接层的输出，b为相应的偏置，y的维度为蔬果类别数；
[0061]
softmax函数的计算函数表达式为：
[0062][0063]
式中，yi为第i个蔬果类别的概率，softmax函数为归一化指数函数，yi为第i个蔬果类别对应全连接层的输出，yj为第j个蔬果类别对应全连接层的输出，m为蔬果类别数。
[0064]
第二方面本发明提供一种基于图像特征序列建模的蔬果识别系统，包括处理器及存储介质；
[0065]
所述存储介质用于存储指令；
[0066]
所述处理器用于根据所述指令进行操作以执行上述方法的步骤。
[0067]
第三方面本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。
[0068]
有益效果：本发明与现有技术相比具有以下优点：
[0069]
本发明方法针新零售场景下的蔬果识别问题，构建了蔬果识别数据集，并采取固定位置切块的方式构建分类输入图像集合，并通过深度卷积神经网络提取视觉图像特征，然后通过扁平化、线性变换、分类字段等操作构建图像特征序列。将蔬果图像特征序列降维至不同的子空间中计算位置解耦的注意力矩阵，将特征序列激活输出。取出所有分类字段，再次构建分类特征序列，并降维至子空间中计算注意力矩阵，最将结果激活输出。将输出的特征序列中的分类字段取出，送入预先训练好的蔬果分类器中，得到当前图像的蔬果类别，本发明通过考虑蔬果图像块本身的特征信息和图像块之间的信息关联性，将图像特征序列化建模，在构建的蔬果识别测试集上达到了高度精确的总体准确率，并且通过对注意力权重矩阵的可视化证明了本发明具有较强的可解释性；且能够在不同光照条件下感知不同蔬果在空间中的位置。
附图说明
[0070]
图1为本发明基于图像特征序列建模的蔬果识别方法的基本流程示意图。
[0071]
图2为本发明实施例方法中构建图像集合示意图。
[0072]
图3为本发明实施例中注意力权重可视化结果图。
具体实施方式
[0073]
为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
[0074]
如图1至图3所示结合具体实施例说明一种基于图像特征序列建模的蔬果识别方法，包括如下步骤：
[0075]
采集蔬果图像，并将蔬果图像基于预设的切块模型进行切块处理，得到图像集合；
[0076]
将图像集合输入深度神经网络中通过平坦化操作提取图像特征，得到图像特征集合；其中，在本实施例中将图像集合统一输入深度残差网络resnet18，获取resnet18第5 个阶段的输出图像特征集合；
[0077]
利用深度神经网络中的映射函数对图像特征集合进行线性映射，得到特征编码，在特征编码中增加分类字段，获得图像特征序列；其中在本实施例中在每个特征序列的第一个位置增加一个分类字段；
[0078]
将图像特征序列输入位置信息解耦的多头自注意力模块中进行计算，得到第一次激活的图像特征序列；其中在本实施例中，通过位置信息解耦的多头自注意力模块迭代建模特征序列之间的关联性，并通过每个分类字段中对每个特征序列的内部的全局关联关系进行总结；
[0079]
基于第一次激活的图像特征序列，提取出图像特征序列中所有的分类字段，并对提取出的所有分类字段首位再次增加分类字段，重新构建为图像特征序列；
[0080]
将重新构建的图像特征序列输入多头自注意力模块中进行计算，得到第二次激活的图像特征序列；其中在本实施例中，通过再次构建的图像特征序列输入多头自注意力模块中迭代学习区域间的特征互补性；
[0081]
取出第二次激活的图像特征序列中的分类字段，将分类字段输入蔬果分类器中，计算出被识别图像中蔬果类别的概率分布，并根据概率分布识别出当前图像中蔬果的类别。
[0082]
在进一步的实施例中，采集蔬果图像的方法包括：
[0083]
在新零售场景下搭建称重场景，并设置不同照明方式对市面上多种常见蔬果进行拍摄，获得若干张拍摄的图片数据；
[0084]
对若干张数据进行筛选，并对筛选出的图片数据进行人工标注，获得标注数据集，其中，标注数据集为用于对特征序列建模的深度神经网络进行数据训练、测试，数据模型。其中在本实施例中采用利用吸顶灯的14w、18w、25w三种功率设置三种照明方式，对市面上15种常见蔬果(苹果、香蕉、西瓜、鳄梨、杏子、菠萝、草莓、黄瓜、番茄、石榴、橘子、桑葚、樱桃、板栗、葡萄)进行拍摄，共采集了31220张数据，并人工对所有数据进行标注。按照3:1的比例划分训练、测试数据，最终获得了23415张测试数据和7805张测试数据。
[0085]
在进一步的实施例中，得到图像集合的方法包括：
[0086]
根据新零售场景下构建的蔬果识别数据集，对图像进行筛选，得到蔬果图像；
[0087]
蔬果图像导入切块模型，所述切块模型等比例将蔬果图像全局切块为方形阵列状排布的图像分块，并输出所有图像分块的图像集合，其中，切块模型通过人工进行图像分块数量的预设。
[0088]
其中在本实施例中，所有图像块切成原图0.8倍大小的图像块再将所有图像调整为一致大小(在本实施例中为224*224像素)，将原图像与7张图像块构成一个具有8张图像的集合，随后统一输入一个共享权重的深度残差网络resnet18的前五个阶段提取图像特征。
[0089]
在进一步的实施例中，获得图像特征序列的方法为：
[0090]
对输入的图像集合进行平坦化操作，获得图像特征集合，其中平坦化操作为将图像集合中每个图像分块导入至相同的通道维度中；
[0091]
提升通道维度对图像特征集合进行线性映射，获得特征编码；
[0092]
在每个特征编码的首端均添加一个分类字段，获得图像特征序列；其中，所述分类字段为一个可学习的特征节点，用于在多头自注意力模块中建立与原有特征序列中所有节点的联系；
[0093]
所述分类字段的通道维度和特征编码的通道维度保持一致；
[0094]
f＝f(x，θ)
[0095]
(f1，f2，...，fn)＝f((x1，x2，...，xn)，θ)
[0096]
式中，x表示输入图像集合，分别为x1，x2，...，xn，f表示图像特征集合，分别为 f1，f2，...，fn，n代表输入图像集合中元素的个数，f(θ)表示深度神经网络resnet18前五个阶段的映射函数，θ为f(θ)的参数。
[0097]
其中在本实施例中，输入的图像特征集合的大小为(8,7,7,512)，特征图像的空间大小为7*7，特征图像的通道维度大小为512。随后将获得的图像特征集合中的将每个特征图通道维度保持不变、按空间维度展开为大小为(8，49，512)视觉特征序列，并在通道维度进行线性映射，将特征升维至782，在每个特征序列的首端均添加一个分类字段[cls]，该分类字段通道维度和特征编码的维度保持一致，最终得到的特征序列的大小为(8,50,782)。
[0098]
在进一步的实施例中，获得第一次激活的图像特征序列包括：
[0099]
将图像特征序列输入位置信息解耦的多头自注意力模块中，通过多头自注意力模块将特征序列降维并投影至不同的特征空间中，分别得到不同特征空间中的查询特征、键特征、值特征；
[0100]
将不同特征空间中的每一组序列的查询特征、键特征、值特征分别代入位置解耦的注意力矩阵进行计算，得到每个特征空间中的注意力；
[0101]
将各个特征空间中注意力进行关联计算，得到多头特征；
[0102]
调用门控线单元激活多头特征；输出第一次激活的图像特征序列；
[0103]
其中，通过多头自注意力模块将特征序列降维并投影至不同的特征空间中为对输入的每一个特征序列均进行线性映射降维，将其投影至n个不同的特征空间中，得到投影至n个不同的特征空间中的查询特征、键特征、值特征，计算公式如下：
[0104]
[0105]
式中，w
iq
、w
ik
、w
iv
分别为对应的查询权重矩阵、键权重矩阵、值权重矩阵，分别为对应的查询权重矩阵、键权重矩阵、值权重矩阵，分别为投影至第i个特征空间中的查询特征、键特征、值特征；
[0106]
并对每个一组计算位置解耦的注意力disatte，计算公式如下：
[0107][0108][0109]
式中，pe表示位置编码矩阵，headi为第i个特征空间计算得到注意力；在本实施例中输入特征序列的维度d为782，headi为第i个特征空间计算得到位置信息解耦的注意力矩阵；
[0110]
将各个特征空间中的头headi采用下式级联到得到的多头特征，计算公式如下：
[0111]
multihead＝concat(head1，head2...，headn)wo[0112]
式中，multihead为计算得到的多头特征，wo为输出权重矩阵，concat为特征维度上的级联操作，head1至headn分别为第1至n个特征空间中的注意力。
[0113]
通过门控单元对注意力矩阵进行激活输出，其函数表达式如下式所示：
[0114][0115]
上式中，通过对输入的特征序列多头矩阵x分别用w和v两个卷积核进行卷积，b、 c为偏置参数，hn(x)为门控线性单元激活的输出结果。
[0116]
在进一步的实施例中，得到第二次激活的图像特征序列方法为：
[0117]
对再次构建的图像特征序列进行降维并投影至不同的特征空间中，分别得出不同的特征空间中的查询特征、键特征、值特征；
[0118]
将不同特征空间中的每一组序列的查询特征、键特征、值特征分别代入注意力矩阵进行计算，得到每个特征空间中的注意力；
[0119]
将各个特征空间中注意力进行关联计算，得到多头特征；
[0120]
调用门控线单元激活多头特征；输出第二次激活的图像特征序列；
[0121]
其中，再次构建的图像特征序列中首位新增的分类字段用于在建模时体现不同图像之间的关联性；在本实施例中组成一个大小为(1，8，782)的特征序列；在其首位新增一个分类字段用于建模原始特征图之间的关联关系，于是得到大小为(1，9，782) 的再次构建的图像特征序列x
cls
，此序列长度较短，本实施例未增加位置编码信息。
[0122]
将再次构建的图像特征序列投影至n个不同的特征空间中，得到投影至n个不同的特征空间中的查询特征、键特征、值特征，表达式如下：
[0123][0124]
式中，x
cls
为输入的再次构建的图像特征序列，w
iq
、w
ik
、w
iv
分别为映射x
cls
对应的查询权重矩阵、键权重矩阵、值权重矩阵，分别为将x
cls
投影至第i个特征空间中的查询特征、键特征、值特征；
[0125]
对每个一组查询特征、键特征、值特征分别代入注意力矩阵atte计算的表达式如
下：
[0126][0127][0128]
式中，headi为第i个特征空间计算得到的注意力矩阵；
[0129]
将各个特征空间中的头headi进行级联计算得到的多头特征的表达式如下：
[0130]
multihead＝concat(head1，head2...，headn)wo[0131]
式中，multihead为计算得到的多头特征矩阵，wo为输出权重矩阵，concat为特征维度上的级联操作，head1至headn分别为第1至n个特征空间中的注意力矩阵。
[0132]
在进一步的实施例中，计算出被识别图像中蔬果类别的概率分布的方法包括：
[0133]
通过在蔬果分类器中设置全连接层和softmax函数对输入的分类字段进行概率类别计算，识别出分类字段蔬果的类别概率分布；
[0134]
其中，全连接层的计算函数表达式为：
[0135]
y＝wf
cls
b
[0136]
式中，f
cls
表示激活输出特征序列首位的分类字段的特征信息，w为对应的映射权重矩阵，y为全连接层的输出，b为相应的偏置，y的维度为蔬果类别数；
[0137]
softmax函数的计算函数表达式为：
[0138][0139]
式中，yi为第i个蔬果类别的概率，sofimax函数为归一化指数函数，yi为第i个蔬果类别对应全连接层的输出，yj为第j个蔬果类别对应全连接层的输出，m为蔬果类别数。
[0140]
对本实例基于图像特征序列建模的蔬果识别方法利用构造的测试集进行实验验证，经测试本实例的综合准确率(overallaccuracy)为98.6％。本实例可视化了位置解耦的注意力权重矩阵如图3，参见图3可知本实例能够在不同光照条件下感知不同蔬果在空间中的位置，图3右侧较亮的区域则表明其存在蔬果的可能性极大，因此本实例基于图像特征序列建模的蔬果识别方法也具有较强的可解释性。
[0141]
实施例2本发明提供一种基于图像特征序列建模的蔬果识别系统，包括处理器及存储介质；
[0142]
所述存储介质用于存储指令；
[0143]
所述处理器用于根据所述指令进行操作以执行根据权利要下述方法的步骤：
[0144]
采集蔬果图像，并将蔬果图像基于预设的切块模型进行切块处理，得到图像集合；
[0145]
将图像集合输入深度神经网络中通过平坦化操作提取图像特征，得到图像特征集合；
[0146]
利用深度神经网络中的映射函数对图像特征集合进行线性映射，得到特征编码，在特征编码中增加分类字段，获得图像特征序列；
[0147]
将图像特征序列输入位置信息解耦的多头自注意力模块中进行计算，得到第一次激活的图像特征序列；
[0148]
基于第一次激活的图像特征序列，提取出图像特征序列中所有的分类字段，并对提取出的所有分类字段首位再次增加分类字段，重新构建为图像特征序列；
[0149]
将重新构建的图像特征序列输入多头自注意力模块中进行计算，得到第二次激活的图像特征序列；
[0150]
取出第二次激活的图像特征序列中的分类字段，将分类字段输入蔬果分类器中，计算出被识别图像中蔬果类别的概率分布，并根据概率分布识别出当前图像中蔬果的类别。
[0151]
实施例3本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求下述方法的步骤：
[0152]
采集蔬果图像，并将蔬果图像基于预设的切块模型进行切块处理，得到图像集合；
[0153]
将图像集合输入深度神经网络中通过平坦化操作提取图像特征，得到图像特征集合；
[0154]
利用深度神经网络中的映射函数对图像特征集合进行线性映射，得到特征编码，在特征编码中增加分类字段，获得图像特征序列；
[0155]
将图像特征序列输入位置信息解耦的多头自注意力模块中进行计算，得到第一次激活的图像特征序列；
[0156]
基于第一次激活的图像特征序列，提取出图像特征序列中所有的分类字段，并对提取出的所有分类字段首位再次增加分类字段，重新构建为图像特征序列；
[0157]
将重新构建的图像特征序列输入多头自注意力模块中进行计算，得到第二次激活的图像特征序列；
[0158]
取出第二次激活的图像特征序列中的分类字段，将分类字段输入蔬果分类器中，计算出被识别图像中蔬果类别的概率分布，并根据概率分布识别出当前图像中蔬果的类别。
[0159]
综上所述本发明方法针新零售场景下的蔬果识别问题，构建了蔬果识别数据集，并采取固定位置切块的方式构建分类输入图像集合，并通过深度卷积神经网络提取视觉图像特征，然后通过扁平化、线性变换、分类字段等操作构建图像特征序列。将蔬果图像特征序列降维至不同的子空间中计算位置解耦的注意力矩阵，将特征序列激活输出。取出所有分类字段，再次构建分类特征序列，并降维至子空间中计算注意力矩阵，最将结果激活输出。将输出的特征序列中的分类字段取出，送入预先训练好的蔬果分类器中，得到当前图像的蔬果类别，本发明通过考虑蔬果图像块本身的特征信息和图像块之间的信息关联性，将图像特征序列化建模，在构建的蔬果识别测试集上达到了高度精确的总体准确率，并且通过对注意力权重矩阵的可视化证明了本发明具有较强的可解释性；且能够在不同光照条件下感知不同蔬果在空间中的位置。
[0160]
本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0161]
本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可
采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0162]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0163]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0164]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0165]
以上所述仅是本发明的优选实施方式，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。