杂质的快速检测方法、计算设备和存储介质与流程

1.本发明涉及质量控制技术领域，尤其涉及一种杂质的快速检测方法、计算设备和存储介质。


背景技术：

2.在食品安全控制的质量监测中，杂质检测是保证食品生产质量和安全控制的重要手段。杂质检测对于消费者的满意度和健康至关重要，同时也是食品安全法规的重要要求。杂质可能会通过原材料、故障生产线或非法人工污染等途径进入食品中。食品中的外来物质（例如，纸屑、包装材料、塑料废料和金属部件等）是许多食品制造商和执法机构收到客户投诉的最主要原因。在许多企业的坚果处理中，坚果中杂质的检测都是由人来完成的，这种传统的质量检测技术效率低下，且漏检率高，效果不理想。
3.近年来，越来越多的研究人员利用成像技术检测食品和农产品中的杂质，大多数基于计算机视觉的杂质检测算法都是基于模型的方法。但是，传统的模型方法需要专业设计过的约束条件，往往过于依赖知识专家或专业用户所制定的手工参数，检测性能差，且模型维护成本高。由于不同视角下杂质的形状和颜色各异，利用计算机视觉快速检测出杂质仍然面临着较大的挑战。
4.因此，需要一种新的杂质的快速检测方法，来提高检测效率。


技术实现要素：

5.本发明的主要目的是提供一种杂质的快速检测方法、计算设备和存储介质，提高检测速度和检测结果正确率。
6.第一方面，本发明提供一种杂质的快速检测方法，包括：获取包含目标物体的待测图像；将待测图像输入图像分割模型，以分割待测图像中的目标物体区域与杂质区域，并得到分割后的图像，其中，所述图像分割模型包括：训练后的图像分割卷积神经网络模型，所述图像分割卷积神经网络模型包括：依次连接的图像预处理模块、下采样模块、上采样模块和图像分割模块，其中，所述下采样模块包括若干依次连接的下采样子模块，所述上采样模块包括若干依次连接的上采样子模块，所述下采样子模块由残差单元和最大池化层连接而成，所述上采样子模块由上采样单元和残差单元连接而成；将分割后的图像输入图像分类模型，以确定待测图像中杂质区域所包含的杂质类别，将待测图像中杂质区域所包含的杂质类别作为混入目标物体中的杂质类别。
7.在一个实施例中，对图像分割卷积神经网络模型进行训练，包括：获取分割训练数据集，其中，分割训练数据集包括若干分割训练样本，每个分割训练样本包括一张包含目标物体的分割训练图像及对该分割训练图像中杂质区域的标记；对每个分割训练样本中的分割训练图像进行预处理，预处理包括：为分割训练图像添加其是否包含杂质区域的标签，和/或调整分割训练图像的尺寸和/或像素；利用预处理之后的分割训练样本组成的分割训练数据集，对图像分割卷积神经网络模型进行训练，以得到训练后的图像分割卷积神经网
络模型。
8.在一个实施例中，当分割训练样本的数量低于预设分割训练样本数量阈值时，在利用预处理之后的分割训练样本组成的分割训练数据集对图像分割卷积神经网络模型进行训练之前，该方法还包括：对若干分割训练样本中的分割训练图像按照预设方式进行调整，基于调整后的分割训练图像生成新的分割训练样本，将新生成的分割训练样本补充到分割训练数据集中，以使分割训练数据集中的分割训练样本的数量不低于预设分割训练样本数量阈值，其中，预设方式包括：旋转、宽度偏移、高度偏移和/或缩放。
9.在一个实施例中，利用预处理之后的分割训练样本组成的分割训练数据集，对图像分割卷积神经网络模型进行训练，包括：利用预处理之后的分割训练样本组成的分割训练数据集，通过交叉验证的方法，对图像分割卷积神经网络模型进行训练，并利用均方根传递算法对该训练过程进行优化。
10.在一个实施例中，分类模型包括：训练后的图像分类卷积神经网络模型。
11.在一个实施例中，对图像分类卷积神经网络模型进行训练，包括：获取分类训练数据集，其中，分类训练数据集包括若干分类训练样本，每个分类训练样本包括一张分割后的训练图像及对该分割后的训练图像中杂质区域所包含的杂质类别的标记；对每个分类训练样本中的分割后的训练图像进行预处理，预处理包括：调整分割后的训练图像的尺寸和/或像素；利用预处理之后的分类训练样本组成的分类训练数据集，对图像分类卷积神经网络模型进行训练，以得到训练后的图像分类卷积神经网络模型。
12.在一个实施例中，目标物体包括食品，其中，该食品包括核桃。
13.第二方面，本发明提供一种计算设备，包括处理器和存储器，存储器中存储有计算机程序，当计算机程序被处理器执行时，执行如上文所述的杂质的快速检测方法的步骤。
14.第三方面，本发明提供一种存储介质，存储有计算机程序，当计算机程序被处理器执行时，执行如上文所述的杂质的快速检测方法的步骤。
15.通过本发明的方法，首先利用图像分割模型对图像中的目标物体区域和杂质区域进行自动区分，随后利用图像分类模型对分割出的杂质区域的杂质进行分类，实现了杂质检测的自动化，避免了人工提取特征的麻烦，并且节省了杂质检测的时间，提高了杂质检测结果的准确率。在图像分割卷积神经网络模型中，将传统卷积神经网络的卷积层替换为残差单元，可以促进网络结构在不同尺度上协调从图像中学习到的特征。
附图说明
16.构成本技术的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的限定，在附图中：图1为根据本技术一示例性实施方式的杂质的快速检测方法的流程图；图2为根据本技术一具体实施例的图像分割卷积神经网络的结构示意图；图3为根据本技术一具体实施例的图像分类卷积神经网络的结构示意图；图4为根据本技术一具体实施例的杂质的快速检测方法在对图像分类卷积神经网络模型的训练过程中所得的训练分类准确率和验证分类准确率的曲线图。
具体实施方式
17.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
18.近年来，由于深度学习可以通过学习训练数据的特征来提供准确的结果，深度学习已经成为许多领域的研究热点。
19.实施例一本实施例提供一种杂质的快速检测方法，图1为根据本技术一示例性实施方式的杂质的快速检测方法的流程图。如图1所示，本实施例的方法可以包括以下步骤：s100：获取包含目标物体的待测图像。
20.s200：将待测图像输入图像分割模型，以分割待测图像中的目标物体区域与杂质区域，并得到分割后的图像。
21.其中，所述图像分割模型包括：训练后的图像分割卷积神经网络模型，所述图像分割卷积神经网络模型包括：依次连接的图像预处理模块、下采样模块、上采样模块和图像分割模块，其中，所述下采样模块包括若干依次连接的下采样子模块，所述上采样模块包括若干依次连接的上采样子模块，所述下采样子模块由残差单元和最大池化层连接而成，所述上采样子模块由上采样单元和残差单元连接而成。
22.s300：将分割后的图像输入图像分类模型，以确定待测图像中杂质区域所包含的杂质类别，将待测图像中杂质区域所包含的杂质类别作为混入目标物体中的杂质类别。
23.通过上述步骤，针对包含目标物体的待测图像，首先对其进行图像分割，以区分目标物体区域与杂质区域，然后对图像分割得到的杂质区域进行杂质分类，最终确定出待测图像中所包含的杂质类别，也即，混入目标物体中的杂质类别。其中，目标物体可以包括各种食品，该食品可以是坚果，例如核桃，当然，目标物体也可以包括其他需要检测其中杂质的物体。在图像分割卷积神经网络模型中，将传统卷积神经网络的卷积层替换为残差单元，可以促进网络结构在不同尺度上协调从图像中学习到的特征。
24.当然，该图像分割模型也可以是其他类型的模型，例如，深度神经网络模型等，只要能够实现对目标物体区域与杂质区域的有效区分即可。
25.对图像分割卷积神经网络模型进行训练，可以包括：获取分割训练数据集，其中，分割训练数据集包括若干分割训练样本，每个分割训练样本包括一张包含目标物体的分割训练图像及对该分割训练图像中杂质区域的标记；对每个分割训练样本中的分割训练图像进行预处理，预处理包括：为分割训练图像添加其是否包含杂质区域的标签，和/或调整分割训练图像的尺寸和/或像素；利用预处理之后的分割训练样本组成的分割训练数据集，对图像分割卷积神经网络模型进行训练，以得到训练后的图像分割卷积神经网络模型。
26.在一个示例中，当分割训练样本的数量低于预设分割训练样本数量阈值时，在利用预处理之后的分割训练样本组成的分割训练数据集对图像分割卷积神经网络模型进行训练之前，该方法还可以包括：对若干分割训练样本中的分割训练图像按照预设方式进行调整，基于调整后的分割训练图像生成新的分割训练样本，将新生成的分割训练样本补充到分割训练数据集中，以使分割训练数据集中的分割训练样本的数量不低于预设分割训练样本数量阈值，其中，预设方式可以包括：旋转、宽度偏移、高度偏移和/或缩放。
27.利用预处理之后的分割训练样本组成的分割训练数据集，对图像分割卷积神经网
络模型进行训练，可以包括：利用预处理之后的分割训练样本组成的分割训练数据集，通过交叉验证的方法，对图像分割卷积神经网络模型进行训练，并利用均方根传递算法对该训练过程进行优化。
28.在一个具体的例子中，分类模型可以包括：训练后的图像分类卷积神经网络模型。当然，该图像分类模型也可以是其他类型的模型，例如，全连接神经网络模型等，只要能够实现图像分类即可。
29.对图像分类卷积神经网络模型进行训练，可以包括：获取分类训练数据集，其中，分类训练数据集包括若干分类训练样本，每个分类训练样本包括一张分割后的训练图像及对该分割后的训练图像中杂质区域所包含的杂质类别的标记；对每个分类训练样本中的分割后的训练图像进行预处理，预处理包括：调整分割后的训练图像的尺寸和/或像素；利用预处理之后的分类训练样本组成的分类训练数据集，对图像分类卷积神经网络模型进行训练，以得到训练后的图像分类卷积神经网络模型。
30.通过本实施例的方法，首先利用图像分割卷积神经网络模型对图像中的目标物体区域和杂质区域进行自动图像分割，随后利用图像分类卷积神经网络模型对分割出的杂质区域的杂质进行分类，实现了杂质检测的自动化，避免了人工提取特征的麻烦，并且节省了杂质检测的时间，提高了杂质检测结果的准确率。
31.实施例二在本实施例中，我们利用两阶段卷积神经网络来实时完成对核桃图像的图像分割和杂质分类。
32.基于卷积神经网络的杂质检测方法可以自动对图像进行杂质区域的分割，以及确定所分割出的杂质区域所包含的杂质类别（例如，树叶碎片、纸屑、塑料屑、金属零件等）。
33.本实施例提出的杂质检测方法能够实现对核桃杂质的自动检测，更加简单高效，避免了手工提取特征的麻烦，即使针对待测图像中核桃与杂质的聚集部分也能够实现准确检测，还能避免白色传送带表面磨损对检测结果的干扰。
34.根据实验结果，利用本实施例的方法对被测图像中99.4%的目标区域进行了正确分割，对分割后的图像中96.5%的外来杂质进行了正确分类，并且，对每幅被测图像的分割和分类处理总时间小于60毫秒。
35.本实施例的两阶段卷积神经网络，在训练时，分别对分割模型和分类模型进行训练。在杂质检测过程中，利用cnn（convolutional neural networks，卷积神经网络）分割模型对待测图像中的核桃区域和杂质区域进行分割，最后利用cnn分类模型对分割后的杂质区域所包含的杂质进行分类，得到杂质检测结果。
36.一、图像分割在可见光成像条件下，传统的图像分割方法不能有效地提取核桃图像中的所有感兴趣的区域，这是因为传送带表面被不同的形状、颜色和大小的核桃和杂质进行了磨蚀破坏，该磨蚀破坏的部分给图像分割带来了干扰。
37.本实施例提出了一种对segnet架构的图像分割卷积神经网络模型的改进版本。
38.如图2中的（a）所示，下采样路径包括5个下采样子模块，每个下采样子模块包括一个残差单元和其后的一个最大池化层。在本实施例中，将传统卷积神经网络的卷积层替换为残差单元，可以促进网络结构在不同尺度上协调从图像中学习到的特征。通过在相邻的
残差单元之间插入最大池化层，从（32
×
32）~（512
×
512）的空间维度n对核桃图像进行向下采样。
39.上采样路径为下采样路径的镜像版本，上采样路径采用转置卷积计算。
40.在残差卷积神经网络中，残差单元通过残差学习，缓解了卷积神经网络中梯度的爆炸和消失。残差单元如图2中的（b）所示，残差单元由三个3
×
3 conv（卷积层）、一个1
×
1 conv（卷积层）、两个批处理归一化（batch normalization，简称bn）层和一个relu（linear rectification function，整流线性单元）层组成。将三个3
×
3卷积层级联在一起，提取多种不同尺度空间的特征。通过1
×
1卷积层的融合，残差连接可以提高图像分割效果，并获得一些额外的空间信息。
41.在训练过程中可使用rmsprop（root mean square prop，均方根传递）算法作为优化器。网络末端的sigmoid（sigmoid函数是一种s型函数，在神经网络中一般用作激活函数）层生成概率二通道输出，然后在分割过程中得到二值图像。
42.在训练过程中，每个卷积结果在下一层形成特征图的一个元素。通过如下的表达式（1）建立了sigmoid层与其它层之间的连接。
43.（1）其中，为第j个输出数据，为上一层的第i个feature map（特征图谱）或输入层的输入图像，为第j个核的权值，为第j个核的偏置，sigmoid为如下表达式（2）中的函数。
44.（2）其中，x为输入数据。
45.因为图像数据的最大池化性能优于其他池化方法，为了在训练过程中减小特征图的空间大小，在网络中集成了降采样函数和最大池化函数。
46.二、图像分类杂质自动检测方法的第二个任务是根据分割结果对混入核桃中的杂质进行分类。我们训练了一个图像分类卷积神经网络模型来检测混入核桃中的杂质类别。
47.在将分割后的图像输入图像分类卷积神经网络模型之前，将待测的rgb图像的分辨率调整为50
×
50。在对该模型的训练过程中，使用rmsprop作为优化器。批量设置为30，动量设置为0.9，学习率设置为0.0001，在110次迭代后停止学习。一般来说，通过增加深度，神经网络可以很好地模拟训练数据。
48.如图3所示，图像分类卷积神经网络模型由4个3
×
3卷积层、4个relu层、4个最大池化层和4个dropout层（随机失活层）组成。分类器输出单元由dense层（全连接层）、flatten层（一维数据转换层）和softmax层（分类层）组成，softmax作为分类层对核桃中的杂质进行分类。
49.图像分类卷积神经网络模型中的dropout策略是通过防止特征检测器的共适应来改进神经网络的一种训练方法，如图3所示，第一、二随机失活率n均为0.15，第三、四随机失活率n均为0.25。
50.在训练过程中，可使用softmax分类器对样本进行分类，并选择概率最大的类别作为输出结果。一般情况下，多分类器的softmax函数输出每个类的概率。而对于核桃图像中存在杂质的情况，我们的主要任务是检测杂质，而不是确定每个类的概率。我们使用了4个类分类器，第一类是核桃，第二类是新鲜树叶碎片和干树叶碎片，第三类是纸屑和塑料屑，第四类是金属零件。利用这些层构建具有该结构的卷积神经网络，并将样本分为4类。分类准确率是用正确分类的数据量除以被测数据总量得到的。
51.图像分割方面，本实施例所采用的方法，在不进行手工提取分割特征参数的情况下，图像分割的结果是令人满意的，从中心区域和边缘区域均分离出了杂质区域，几乎检测到了所有的区域。
52.在图像分类方面，基于图像分类卷积神经网络模型的方法可以检测核桃中的杂质类型，检测正确率高。
53.本实施例的方法在自动完成图像分割的同时，对杂质区域的杂质进行分类。在cnn处理流程中，通过多尺度残差卷积网络中的低层向高层提取核桃图像的详细特征，网络输出部分的单个卷积网络层进行分割，以及由分类网络输出部分的全连接层来完成检测，无需手工进行特征提取。
54.本实施例的方法使用一般的个人计算机即可，对每张被测图像中所有区域的分割和分类处理总时间在60ms以下，大大节约检测时间，与传统的需要人工重新提取特征和阈值参数的图像检测方法相比较，本实施例的方法的模型维护成本更低，技术适用性更高。
55.下面以一个具体的例子进行说明。
56.首先，进行材料准备。
57.通过彩色图像采集系统采集大量实验样本图像，其中有不包含杂质的纯核桃图像和包含杂质的核桃图像。
58.彩色图像采集系统由一台1280
×
960分辨率的工业彩色千兆以太网摄像机(dvp-30gc(m)03 from the imagesource, inc, germany)连接到一台个人计算机（由i7-8700@3.2hz的cpu，16gb的ram，和一台包含16gbram的quadro p5000显卡组成）组成。ccd（charge-coupled device，电荷耦合器件）相机被放置在场景上方350毫米处。照明系统由四个白色led灯带组成(每个10盏)。漫反射板被放置在每个led灯带的后面，以减少场景中不均匀的照明。所有的元件都安装在一个黑色的检测室内。混入异物的核桃在白色传送带上随白色传送带移动到检测室。
59.样本包括大量的图像，这些样本图像中包括各种形状、颜色和大小的核桃和杂质（例如，树叶碎片、纸屑、塑料碎片和金属部件）。在样本图像中，一些杂质与核桃或重叠或粘连在一起，另一些杂质则是独立的。
60.图像分割部分（1）数据集准备训练数据集的质量将会影响神经网络的性能。在许多研究项目中，很难获得大量高质量的样本训练数据，这可能导致研究人员使用相对轻量级的网络。扩展训练数据集的规模或提高数据质量将有助于优化对神经网络的训练结果。
61.为训练图像分割卷积神经网络模型，选取100幅纯核桃图像和30幅掺入杂质的核桃图像作为分割训练数据集，另外选取40幅纯核桃图像和30幅掺入杂质的核桃图像作为分
割测试数据集。
62.在人工标注图像中核桃和杂质的区域边界的基础上，可以为训练数据集中的每一幅图像创建一个二值标签，以表明该幅图像是否包含杂质区域。为建立图像分割算法的训练和测试数据集，将这些图像通过填充零值转换为正方形图像，并使用双三次插值将正方形图像调整为512
×
512像素分辨率。
63.由于分割训练数据集中的样本数量不足，进行数据增强以增加分割训练数据集中的样本数量。具体而言，对于每个原始分割训练图像，创建四个额外的分割训练图像，以扩充分割训练数据集。
64.首先，在0度至45度之间选择一个随机的旋转值，相应地旋转分割训练样本图像。
65.其次，在0-40%之间选择一个随机的宽度偏移范围值，使宽度偏移在图像大小的范围内，使分割训练样本图像的宽度发生相应的偏移。
66.第三，在0-40%之间选择一个随机的高度偏移范围值，使高度偏移在图像大小的范围内，使分割训练样本图像的高度发生相应的变化。
67.最后，选择一个随机的缩放比例，对分割训练样本图像进行相应的缩放。
68.（2）分割网络选取包含不同杂质的测试图像（例如，叶屑、纸屑、塑料屑和金属零件）对本实施例方法的图像分割算法的性能进行了测试。
69.测试数据集图像的分割结果如下表1所示。根据实验结果，在不通过手工提取分割特征参数的情况下，图像分割卷积神将网络模型对图像分割的结果是令人满意的，尤其是对图像的中心和边缘均进行了图像分割。
70.表1 测试数据集图像中各类型杂质的分割结果对象区域内数量正确分割正确率错误分割错误率核桃2078206899.520.48%碎叶片26225998.851.15%纸屑19818894.955.05%塑料碎片13513297.782.22%金属零件17517197.71B.29%总计2848281898.9501.05%杂质分类部分杂质自动检测方法的第二个任务是根据分割结果对被测图像中各杂质区域的杂质进行分类。可以训练一个图像分类卷积神经网络模型来检测被测图像中杂质区域的杂质类别。
71.（1）数据集准备分类训练数据集包括400张杂质样本图像和300张纯核桃样本图像，分类验证数据集可以包括180张杂质样本图像和100张纯核桃样本图像，分类测试数据集可以包括100张分辨率为1280
×
960的核桃图像，其中70张图像混合了杂质，该分类测试数据集的100张核桃图像可以包括核桃区域子图像共2427张，杂质区域子图像共398张。
72.首先，将准备好的分类训练图像的大小调整为50
×
50，然后输入cnn分类器，利用训练后的cnn分类器确定出验证数据集的被测图像中杂质区域的杂质类别。经过验证的cnn
分类器对测试数据集中100张1280
×
960分辨率的图像中的所有区域子图像进行扫描，生成杂质检测报告。
73.（2）分类网络为了测试基于图像分类卷积神经网络模型的分类算法的实现性能，使用不同杂质、不同形态的核桃图像对所提出的算法进行了测试。我们使用dropout策略来训练四类分类器，从而避免过拟合。
74.每组训练数据集和验证数据集中对杂质的分类准确率如图4所示。在本实施例描述的分类模型中，第一类是核桃，第二类是新鲜叶屑和干叶屑，第三类是纸屑和塑料屑，第四类是金属零件。从图4中可以看出，训练数据集中杂质的训练分类准确率随着迭代次数的增加而增加，最佳分类准确率为97.0%；训练数据集中杂质的验证分类准确率随着迭代次数的增加而增加，分类准确率为96.5%。并进行5次交叉验证，平均准确率为96.1%。验证精度略低于训练精度是正常现象，即检测网络中不存在过拟合。
75.在不同的采集条件和不同的曝光时间下，基于卷积神经网络模型的方法可以检测核桃中的杂质类别，而传统的图像检测方法则需要人工提取特征和阈值参数，模型维护成本高，技术适用性低。
76.为了突出杂质的检测性能，将分割后的图像中的杂质区域进行了标记并通过计算机输出了杂质类别。
77.选择核桃和杂质样品时不存在特殊的人为因素，这对于检测算法的性能测试来说是公平的。
78.测试数据集中对纯核桃图像和混入杂质的核桃图像的检测结果如下表2所示。测试数据集中100幅图像的中杂质类别的分类结果的正确率为100%。
79.表2 测试数据集中核桃图像的检测结果正确组别杂质类别检测正确率杂质类别检测错误率没有杂质的核桃图像（30张）30(100.0%)0(0.0%)混合了杂质的核桃图像（70张）70(100.0%)0(0.0%)总检测（%）100%0%实施例三本实施例提供一种计算设备，包括处理器和存储器，存储器中存储有计算机程序，当计算机程序被处理器执行时，执行如上文所述的杂质的快速检测方法的步骤。
80.在一个实施例中，该计算设备可以包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
81.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash flash ram)。内存是计算机可读介质的示例。
82.实施例四本实施例提供一种存储介质，存储有计算机程序，当计算机程序被处理器执行时，执行如上文所述的杂质的快速检测方法的步骤。
83.计算机程序可以采用一个或多个存储介质的任意组合。存储介质可以是可读信号介质或可读存储介质。
84.可读存储介质例如可以包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）可以包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑盘只读存储器（cd-rom）、光存储器件、磁存储器件或者上述的任意合适的组合。
85.可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，例如可以包括电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何存储介质，该存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
86.存储介质上包含的计算机程序可以用任何适当的介质传输，例如可以包括无线、有线、光缆、rf等等，或者上述的任意合适的组合。
87.可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的计算机程序。程序设计语言可以包括面向对象的程序设计语言——例如java、c 等，还可以包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。计算机程序可以完全地在用户计算设备上执行、部分地在用户设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网（例如可以包括局域网或广域网）连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。
88.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
89.需要说明的是，本技术的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换。
90.应当理解的是，本说明书中的示例性实施方式可以由多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施方式。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。提供这些实施方式是为了使得本技术的公开彻底且完整，并且将这些示例性实施方式的构思充分传达给本领域普通技术人员，而不应当理解为对本发明的限制。
91.虽然已经参考若干具体实施方式描述了本发明的精神和原理，但是应该理解，本发明并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。