图像的标注方法、分类方法和机器学习模型的训练方法与流程

1.本公开涉及计算机技术领域，特别涉及一种图像的标注方法、图像的分类方法、机器学习模型的训练方法、图像的标注装置、图像的分类装置、机器学习模型的训练装置、电子设备和非易失性计算机可读存储介质。


背景技术：

2.神经网络的训练依赖大量的已标注数据，标注数据的质量也会大大影响神经网络的效果。
3.在相关技术中，对于类别数较少和类别较明确的分类任务，可以采用多种方式提升标注准确率。例如，可以采用多人标注投票制、多轮标注投票制等。


技术实现要素：

4.提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
5.根据本公开的一些实施例，提供了一种图像的标注方法，包括：根据多种用于图像标注的属性以及每一种属性对应的多个标签，生成每一个待标注图像的图像标签向量；根据每一个图像标签向量与每一个图像类别的类别标签向量的向量相似度，标注每一个待标注图像属于的图像类别，类别标签向量根据每一种属性对应的多个标签生成。
6.根据本公开的另一些实施例，提供了一种机器学习模型的训练方法，包括：通过任一个实施例所述的图像的标注方法，对训练图像集合中的图像进行标注；利用标注后的训练图像集合，训练用于图像分类的机器学习模型。
7.根据本公开的又一些实施例，提供了一种图像的分类方法，包括：利用机器学习模型处理待分类图像，确定待分类图像属于的图像类别，机器学习模型利用任一个实施例所述的机器学习模型的训练方法进行训练。
8.根据本公开的再一些实施例，提供了一种图像的标注装置，包括：生成单元，用于根据多种用于图像标注的属性以及每一种属性对应的多个标签，生成每一个待标注图像的图像标签向量；标注单元，用于根据每一个图像标签向量与每一个图像类别的类别标签向量的向量相似度，标注每一个待标注图像属于的图像类别，类别标签向量根据每一种属性对应的多个标签生成。
9.根据本公开的再一些实施例，提供了一种机器学习模型的训练装置，包括：标注单元，用于通过任一个实施例所述的图像的标注方法，对训练图像集合中的图像进行标注；训练单元，用于利用标注后的训练图像集合，训练用于图像分类的机器学习模型。
10.根据本公开的再一些实施例，提供了一种图像的分类装置，包括：处理器，用于利用机器学习模型处理待分类图像，确定待分类图像属于的图像类别，所述机器学习模型利用任一个实施例所述的机器学习模型的训练方法进行训练。
11.根据本公开的再一些实施例，提供一种电子设备，包括：存储器；和耦接至存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行本公开中所述的任一实施例的图像的标注方法、机器学习模型的训练方法或者图像的分类方法。
12.根据本公开的一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行本公开中所述的任一实施例的图像的标注方法、机器学习模型的训练方法或者图像的分类方法。
13.通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征、方面及其优点将会变得清楚。
附图说明
14.下面参照附图说明本公开的优选实施例。此处所说明的附图用来提供对本公开的进一步理解，各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分，用于解释本公开。应当理解的是，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开构成限制。在附图中：
15.图1示出本公开的图像的标注方法的一些实施例的流程图；
16.图2示出本公开的图像的标注方法的另一些实施例的流程图；
17.图3示出本公开的机器学习模型的训练方法的一些实施例的流程图；
18.图4示出本公开的图像的标注装置的一些实施例的框图；
19.图5示出本公开的机器学习模型的训练装置的一些实施例的框图；
20.图6示出本公开的图像的分类装置的一些实施例的框图；
21.图7示出本公开的电子设备的一些实施例的框图；
22.图8示出本公开的电子设备的另一些实施例的框图。
23.应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不一定是按照实际的比例关系绘制的。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部件。因此，一旦某一项在一个附图中被定义，则在随后的附图中可能不再对其进行进一步讨论。
具体实施方式
24.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，但是显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对实施例的描述实际上也仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。
25.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值应被解释为仅仅是示例性的，不限制本公开的范围。
26.本公开中使用的术语“包括”及其变型意指至少包括后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包括但不限于”。此外，本公开使用的术语“包含”及其变
型意指至少包含后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包含但不限于”。因此，包括与包含是同义的。术语“基于”意指“至少部分地基于”。
27.整个说明书中所称“一个实施例”、“一些实施例”或“实施例”意味着与实施例结合描述的特定的特征、结构或特性被包括在本发明的至少一个实施例中。例如，术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。而且，短语“在一个实施例中”、“在一些实施例中”或“在实施例中”在整个说明书中各个地方的出现不一定全都指的是同一个实施例，但是也可以指同一个实施例。
28.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。除非另有指定，否则“第一”、“第二”等概念并非意图暗示如此描述的对象必须按时间上、空间上、排名上的给定顺序或任何其他方式的给定顺序。
29.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
30.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
31.下面结合附图对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。下面这些具体实施例可以相互结合，对于相同或者相似的概念或过程可能在某些实施例不再赘述。此外，在一个或多个实施例中，特定的特征、结构或特性可以由本领域的普通技术人员从本公开将清楚的任何合适的方式组合。
32.应理解，本公开对于如何获得待应用/待处理的图像也不做限制。在本公开的一个实施例中，可以从存储装置，例如内部存储器或者外部存储装置获取，在本公开的另一个实施例中，可以调动摄影组件来拍摄。需要说明的是，所获取的图像可以是一张采集到的图像，也可以是采集到的视频中的一帧图像，并不特别局限于此。
33.在本公开的上下文中，图像可指的是多种图像中的任一种，诸如彩色图像、灰度图像等。应指出，在本说明书的上下文中，图像的类型未被具体限制。此外，图像可以是任何适当的图像，例如由摄像装置获得的原始图像，或者已对原始图像进行过特定处理的图像，例如初步过滤、去混叠、颜色调整、对比度调整、规范化等等。应指出，预处理操作还可以包括本领域已知的其它类型的预处理操作，这里将不再详细描述。
34.如前所述，对于类别数目较多且类别之间存在连续变化或者模糊状态的分类任务，标注人员无法记住庞大的类别并且准确标注的。例如，发型的45类标注，由于类别之间可能仅存在头发长度的差异或者卷曲程度的差异，导致发型任务难以标注。
35.所以，包含细小的差异和庞大的类别的标注任务是十分艰难的任务。
36.针对上述技术问题，为了快速处理类别庞大、类别之间存在模糊状态的标注任务，本公开的技术方案利用相关类别的底层属性，根据底层属性计算图片与各个目标类别的相似度；每一张图片都可以匹配上与其最相似的类别；最后根据标注样本和目前类别的相似性来判断是否属于目标类别。
37.根据本公开的技术方案可以快速处理类似于发型45分类问题的类别数庞大、类别之间存在模糊的标注任务，提升了标注质量和标注效率。例如，可以通过如下的实施例实现
本公开的技术方案。
38.图1示出本公开的图像的标注方法的一些实施例的流程图。
39.如图1所示，在步骤110中，根据多种用于图像标注的属性以及每一种属性对应的多个标签，生成每一个待标注图像的图像标签向量。
40.在一些实施例中，多种用于图像标注的属性之间相互独立。每一种属性对应的多个标签能够覆盖该属性对应的全部属性类别。属性之间相互独立，能够避免类型之间界限模糊造成的标注困难，从而提高标注的准确性。
41.在一些实施例中，多种用于图像标注的属性根据待标注对象的特征信息确定，图像类别为各待标注图像中待标注对象的类别。
42.例如，特征信息为待标注对象的形体特征或面貌特征中的至少一项。形体特征可以包括体型特征、人体结构特征等；面貌特征可以包括毛发、皮肤、五官、脸型等人体组织特征。
43.例如，计算机根据分类任务的需要，利用预设的模型确定与分类任务相应的属性和标签。
44.在一些实施例中，针对图像中对象的所要标注的特征信息，提取多个底层属性。特征信息的这些底层属性可以涵盖与这个特征信息相关的各种属性。
45.例如，图像中的对象为人，特征信息可以为头发、胡子、帽子等与人相关的各种属性。
46.例如，针对发型标注任务，图像中的对象为人，特征信息为发型，底层属性可以包括头发长度、头发卷曲度、是否有刘海、刘海朝向、辫子的数目等。
47.在一些实施例中，特征信息的各底层属性可以完备地描述该特征信息的具体状态。例如，对于发型标注任务，头发长度、头发卷曲度、是否有刘海、刘海朝向、辫子的数目等底层属性能够描述一个具体的发型。
48.在一些实施例中，属性的标签可以表示该属性对应的各种状态。例如，头发长度对应的标签包括长、短、中；头发卷曲度可以包括大、小、中。
49.在一些实施例中，刘海朝向对应的表情可以包括左、右、前、无。“无”这一标签，可以保证刘海朝向相对于是否有刘海是相互独立的。
50.上述实施例中确定属性和标签的方法具有多个优势：
51.针对标注任务涉及的标注类别数量比较庞大的情况，可以利用这些数量有限的底层属性的组合表征不同的标注类别，从而提高标注效率；
52.针对标注类别之间存在较多细小差异，导致难以区分的情况，相互独立的底层属性的区分度是单一的(如头发长度的不同标签之间的区别仅在于头发长度是多少，与头的卷曲度等无关)，从而减轻了标注负担，提升了标注效率。
53.在一些实施例中，根据每一个待标注图像的特征信息，确定每一个待标注图像对应的标签，以生成每一个待标注图像对应的图像标签向量。例如，计算机可以通过图像处理算法或神经网络等方式确定标签。
54.例如，利用头发长度、头发卷曲度两个属性的标签，生成待标注图像的图像标签向量。根据该图像中人的特征信息，可以确定该图像中人的头发长度为长，头发卷曲度为大；可以根据长和大两个标签，生成图像标签向量。
55.在一些实施例中，根据标签之间的标签相似度，对每一种属性相应的多个标签进行排序，确定各标签对应的序号，排序越接近的标签之间的标签相似度越大；根据各标签对应的序号，生成图像标签向量类别标签向量。
56.在一些实施例中，确定了此次标注任务的各底层属性后，可以按照标签之间的标签相似度对这些底层属性的各标签进行排序。
57.在一些实施例中，对于头发长度这一属性，由于长与中的相似度大于长与短的相似度，可以按照从长到短的顺序，对头发长度的标签进行排序：长对应序号1，中对应序号2，短对应序号3。
58.基于类似的理由，对于头发卷曲度这一属性，由于大与中的相似度大于大与小的相似度，可以按照从大到小的顺序，对头发卷曲度的标签进行排序：大对应序号1，中对应序号2，小对应序号3。
59.例如，利用头发长度、头发卷曲度两个属性的标签，生成待标注图像的图像标签向量。根据该图像中人的特征信息，可以确定该图像中人的头发长度为长，头发卷曲度为大；可以根据长和大两个标签，生成图像标签向量。
60.在这种情况下，可以确定该图像的图像标签向量为(1，1)。
61.在一些实施例中，可以根据分类需求确定标签之间的标签相似度，对标签进行排序。例如，对于刘海朝向这一属性，根据分类需求确定左与右的相似度大于左与前的相似度，对刘海朝向的标签进行排序：左对应序号1，右对应序号2，前对应序号3。
62.在步骤120中，根据每一个图像标签向量与每一个图像类别的类别标签向量的向量相似度，标注每一个待标注图像属于的图像类别，类别标签向量根据所述每一种属性对应的多个标签生成。
63.在一些实施例中，对各样本图像进行底层属性标注后，每个样本图像都具有多个底层属性的标签组成的图像标签向量；对标注任务最终需要确定的类别也进行底层属性标注，使得每个类别也具有多个底层属性的标签组成的类别标签向量。
64.例如，利用这些类别标签向量生成匹配库；计算每一个样本图像与匹配库中各类别标签向量的向量距离(如欧几里得距离等)作为向量相似度。
65.在一些实施例中，根据各标签对应的序号，生成类别标签向量。
66.例如，利用头发长度、头发卷曲度两个属性的标签，生成类别标签向量。根据分类需求，可以确定：类别a对应的头发长度为长，头发卷曲度为中，可以根据长和中两个标签，生成类别a的类别标签向量；类别b对应的头发长度为短，头发卷曲度为小，可以根据短和小两个标签，生成类别b的类别标签向量。
67.在这种情况下，可以确定类别a的类别标签向量a为(1，2)，类别b的类别标签向量b为(3，3)；待标注图像的图像标签向量为(1，1)，计算机可以通过计算确定其与类别标签向量a的距离较小，从而确定待标注图像属于类别a。
68.在一些实施例中，根据每一个待标注图像与其属于的图像类别的参考图像之间的图像相似度，检测每一个待标注图像的标注结果是否正确。
69.例如，根据每一个待标注图像中待标注目标与其属于的图像类别的参考图像中参考目标之间的图像相似度，检测每一个待标注图像的标注结果是否正确。
70.例如，可以利用计算机对待标注图像和参考图像进行边缘检测、区域分割等图像
处理，确定出待标注目标在两幅图像中所在的图像区域；再通过图像特征对比(如目标所在区域的大小、灰度分布、形状信息等对比)处理，确定图像区域之间的图像相似度，从而确定标注结果是否正确；也可以利用神经网络确定两幅图像的图像相似度。
71.例如，将每一个图像样本与匹配库中最相似的类型的参考图片拼接在一起；根据拼接在一起的两张图片的各属性是否一致，检测每一个待标注图像的标注结果是否正确。
72.图2示出本公开的图像的标注方法的另一些实施例的流程图。
73.如图2所示，为了处理类别数目较大且类别间存在一定模糊度的标注任务，可以通过如下步骤进行图像标注。
74.在步骤210中，针对图像中对象的所要标注的特征信息，提取多个底层属性。特征信息的这些底层属性可以涵盖与这个特征信息相关的各种属性。
75.例如，针对发型标注任务，图像中的对象为人，特征信息为发型，底层属性可以包括头发长度、头发卷曲度、是否有刘海、刘海朝向、辫子的数目等。
76.这种确定属性和标签的方法具有多个优势：
77.针对标注任务涉及的标注类别数量比较庞大的情况，可以利用这些数量有限的底层属性的组合表征不同的标注类别，从而提高标注效率；
78.针对标注类别之间存在较多细小差异，导致难以区分的情况，相互独立的底层属性的区分度是单一的(如头发长度的不同标签之间的区别仅在于头发长度是多少，与头的卷曲度等无关)，从而减轻了标注负担，提升了标注效率。
79.在步骤220中，确定了此次标注任务的各底层属性后，可以按照标签之间的标签相似度对这些底层属性的各标签进行排序。
80.在一些实施例中，对于头发长度这一属性，由于长与中的相似度大于长与短的相似度，可以按照从长到短的顺序，对头发长度的标签进行排序：长对应序号1，中对应序号2，短对应序号3。
81.在步骤230中，对各样本图像进行底层属性标注后，每个样本图像都具有多个底层属性的标签组成的图像标签向量。
82.在步骤240中，对标注任务最终需要确定的类别也进行底层属性标注，使得每个类别也具有多个底层属性的标签组成的类别标签向量。例如，利用这些类别标签向量生成匹配库；
83.在步骤250中，计算每一个样本图像与匹配库中各类别标签向量的向量距离(如欧几里得距离等)作为向量相似度。
84.在步骤260中，将每一个图像样本与匹配库中最相似的类型的参考图片拼接在一起；根据拼接在一起的两张图片的各属性是否一致，检测每一个待标注图像的标注结果是否正确。
85.图3示出本公开的机器学习模型的训练方法的一些实施例的流程图。
86.如图3所示，在步骤310中，通过上述任一个实施例中的图像的标注方法，对训练图像集合中的图像进行标注。
87.在步骤320中，利用标注后的训练图像集合，训练用于图像分类的机器学习模型。
88.在一些实施例中，利用训练好的机器学习模型处理待分类图像，确定待分类图像属于的图像类别。
89.图4示出本公开的图像的标注装置的一些实施例的框图。
90.如图4所示，图像的标注装置4包括生成单元41、标注单元42。
91.生成单元41根据多种用于图像标注的属性以及每一种属性对应的多个标签，生成每一个待标注图像的图像标签向量。
92.标注单元42根据每一个图像标签向量与每一个图像类别的类别标签向量的向量相似度，标注每一个待标注图像属于的图像类别。类别标签向量根据每一种属性对应的多个标签生成。
93.在一些实施例中，标注装置4还包括：检测单元43，用于根据每一个待标注图像与其属于的图像类别的参考图像之间的图像相似度，检测每一个待标注图像的标注结果是否正确。
94.例如，检测单元43根据每一个待标注图像中待标注目标与其属于的图像类别的参考图像中参考目标之间的图像相似度，检测每一个待标注图像的标注结果是否正确。
95.在一些实施例中，生成单元41根据标签之间的标签相似度，对每一种属性相应的多个标签进行排序，确定各标签对应的序号；根据各标签对应的序号生成图像标签向量和类别标签向量。排序越接近的标签之间的标签相似度越大。
96.在一些实施例中，生成单元41根据每一个待标注图像的特征信息，确定每一个待标注图像对应的标签，以生成每一个待标注图像对应的图像标签向量。
97.在一些实施例中，多种用于图像标注的属性之间相互独立。
98.在一些实施例中，每一种属性对应的多个标签能够覆盖该属性对应的全部属性类别。
99.在一些实施例中，多种用于图像标注的属性根据待标注对象的特征信息确定，图像类别为各待标注图像中待标注对象的类别。例如，特征信息为待标注对象的形体特征或面貌特征中的至少一项。
100.图5示出本公开的机器学习模型的训练装置的一些实施例的框图。
101.如图5所示，机器学习模型的训练装置5包括：标注单元51，用于通过上述任一个实施例中的图像的标注方法，对训练图像集合中的图像进行标注；训练单元42，用于利用标注后的训练图像集合，训练用于图像分类的机器学习模型。
102.图6示出本公开的图像的分类装置的一些实施例的框图。
103.如图6所示，图像的分类装置6包括：处理器61，用于利用机器学习模型处理待分类图像，确定待分类图像属于的图像类别。机器学习模型利用上述任一个实施例中的机器学习模型的训练方法进行训练。
104.应注意，上述各个单元仅是根据其所实现的具体功能划分的逻辑模块，而不是用于限制具体的实现方式，例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如，处理器(cpu或dsp等)、集成电路等)来实现。此外，上述各个单元在附图中用虚线示出指示这些单元可以并不实际存在，而它们所实现的操作/功能可由处理电路本身来实现。
105.此外，尽管未示出，该设备也可以包括存储器，其可以存储由设备、设备所包含的各个单元在操作中产生的各种信息、用于操作的程序和数据、将由通信单元发送的数据等。存储器可以是易失性存储器和/或非易失性存储器。例如，存储器可以包括但不限于随机存
储存储器(ram)、动态随机存储存储器(dram)、静态随机存取存储器(sram)、只读存储器(rom)、闪存存储器。当然，存储器可也位于该设备之外。可选地，尽管未示出，但是该设备也可以包括通信单元，其可用于与其它装置进行通信。在一个示例中，通信单元可以被按照本领域已知的适当方式来实现，例如包括天线阵列和/或射频链路等通信部件，各种类型的接口、通信单元等等。这里将不再详细描述。此外，设备还可以包括未示出的其它部件，诸如射频链路、基带处理单元、网络接口、处理器、控制器等。这里将不再详细描述。
106.本公开的一些实施例还提供一种电子设备。
107.图7示出本公开的电子设备的一些实施例的框图。
108.例如，在一些实施例中，电子设备7可以为各种类型的设备，例如可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。例如，电子设备7可以包括显示面板，以用于显示根据本公开的方案中所利用的数据和/或执行结果。例如，显示面板可以为各种形状，例如矩形面板、椭圆形面板或多边形面板等。另外，显示面板不仅可以为平面面板，也可以为曲面面板，甚至球面面板。
109.如图7所示，该实施例的电子设备7包括：存储器71以及耦接至该存储器71的处理器72。应当注意，图7所示的电子设备7的组件只是示例性的，而非限制性的，根据实际应用需要，该电子设备7还可以具有其他组件。处理器72可以控制电子设备7中的其它组件以执行期望的功能。
110.在一些实施例中，存储器71用于存储一个或多个计算机可读指令。处理器72用于运行计算机可读指令时，计算机可读指令被处理器72运行时实现根据上述任一实施例所述的方法。关于该方法的各个步骤的具体实现以及相关解释内容可以参见上述的实施例，重复之处在此不作赘述。
111.例如，处理器72和存储器71之间可以直接或间接地互相通信。例如，处理器72和存储器71可以通过网络进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。处理器72和存储器71之间也可以通过系统总线实现相互通信，本公开对此不作限制。
112.例如，处理器72可以体现为各种适当的处理器、处理装置等，诸如中央处理器(cpu)、图形处理器(graphics processing unit，gpu)、网络处理器(np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。中央处理元(cpu)可以为x86或arm架构等。例如，存储器71可以包括各种形式的计算机可读存储介质的任意组合，例如易失性存储器和/或非易失性存储器。存储器71例如可以包括系统存储器，系统存储器例如存储有操作系统、应用程序、引导装载程序(boot loader)、数据库以及其他程序等。在存储介质中还可以存储各种应用程序和各种数据等。
113.另外，根据本公开的一些实施例，根据本公开的各种操作/处理在通过软件和/或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机系统，例如图8所示的电子设备800的计算机系统安装构成该软件的程序，该计算机系统在安装有各种程序时，能够执行各种功能，包括诸如前文所述的功能等等。
114.图8示出本公开的电子设备的另一些实施例的框图。
115.在图8中，中央处理单元(cpu)801根据只读存储器(rom)802中存储的程序或从存储部分808加载到随机存取存储器(ram)803的程序执行各种处理。在ram 803中，也根据需要存储当cpu801执行各种处理等时所需的数据。中央处理单元仅仅是示例性的，其也可以是其它类型的处理器，诸如前文所述的各种处理器。rom802、ram 803和存储部分808可以是各种形式的计算机可读存储介质，如下文所述。需要注意的是，虽然图8中分别示出了rom 802、ram 803和存储装置808，但是它们中的一个或多个可以合并或者位于相同或不同的存储器或存储模块中。
116.cpu 801、rom 802和ram 803经由总线804彼此连接。输入/输出接口805也连接到总线804。
117.下述部件连接到输入/输出接口805：输入部分806，诸如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等；输出部分807，包括显示器，比如阴极射线管(crt)、液晶显示器(lcd)，扬声器，振动器等；存储部分808，包括硬盘，磁带等；和通信部分809，包括网络接口卡比如lan卡、调制解调器等。通信部分809允许经由网络比如因特网执行通信处理。容易理解的是，虽然图8中示出电子设备800中的各个装置或模块是通过总线804来通信的，但它们也可以通过网络或其它方式进行通信，其中，网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。
118.根据需要，驱动器810也连接到输入/输出接口805。可拆卸介质811比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器810上，使得从中读出的计算机程序根据需要被安装到存储部分808中。
119.在通过软件实现上述系列处理的情况下，可以从网络比如因特网或存储介质比如可拆卸介质811安装构成软件的程序。
120.根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置8808被安装，或者从rom 802被安装。在该计算机程序被cpu 801执行时，执行本公开实施例的方法中限定的上述功能。
121.需要说明的是，在本公开的上下文中，计算机可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这
种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
122.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
123.在一些实施例中，还提供了一种计算机程序，包括：指令，指令当由处理器执行时使处理器执行上述任一个实施例的方法。例如，指令可以体现为计算机程序代码。
124.在本公开的实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(，包括局域网(lan)或广域网(wan))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
125.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
126.描述于本公开实施例中所涉及到的模块、部件或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块、部件或单元的名称在某种情况下并不构成对该模块、部件或单元本身的限定。
127.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示例性的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
128.以上描述仅为本公开的一些实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
129.在本文提供的描述中，阐述了许多特定细节。然而，理解的是，可以在没有这些特定细节的情况下实施本发明的实施例。在其他情况下，为了不模糊该描述的理解，没有对众
所周知的方法、结构和技术进行详细展示。
130.此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
131.虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。