用于标记和检测缺陷的方法、设备、存储介质和程序产品与流程

1.本公开的实施例主要涉及计算机领域，并且更具体地，涉及用于检测缺陷的方法、设备、计算机可读存储介质和计算机程序。


背景技术：

2.缺陷检测(也称为缺陷检查)已广泛应用于各个领域，例如半导体制造、电子设计自动化(eda)工具、集成电路可制造设计、平板显示器制造和其他制造行业等。在这种缺陷检测中，通常从待检测对象的图像中检测潜在缺陷。例如，可以从半导体芯片或晶圆或印刷电路板(pcb)的图像中检测潜在缺陷。为了使缺陷检测过程自动化，通常采用机器学习方法(例如，深度学习方法)来代替人工检测缺陷、对检测到的缺陷进行分类和/或标记缺陷位置等。


技术实现要素：

3.根据本公开的示例实施例，提供了一种用于标记和检测缺陷的方案。
4.在本公开的第一方面，提供一种训练模型的方法。该方法包括：确定针对对象的样本图像中的第一区域，样本图像包括对象的缺陷，并且第一区域至少部分地包围对象的缺陷；基于第一区域，标识样本图像中的第二区域，第二区域与缺陷的一个或多个属性相关联；以及至少基于样本图像和第二区域，训练缺陷检测模型，以用于从待检测图像中检测潜在缺陷。
5.在本公开的第二方面中，提供了一种检测缺陷的方法。该方法包括：获取待检测图像，待检测图像中的对象包括缺陷；以及利用缺陷检测模型，确定与缺陷有关的信息，缺陷检测模型根据本公开的第一方面的方法被训练。
6.在本公开的第三方面中，提供了一种电子设备。该设备包括：处理器；以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作，动作包括：确定针对对象的样本图像中的第一区域，样本图像包括对象的缺陷，并且第一区域至少部分地包围对象的缺陷；基于第一区域，标识样本图像中的第二区域，第二区域与缺陷的一个或多个属性相关联；以及至少基于样本图像和第二区域，训练缺陷检测模型，以用于从待检测图像中检测潜在缺陷。
7.在一些实施例中，缺陷的一个或多个属性可以包括以下至少一项：缺陷在样本图像中的位置、或缺陷的类型。
8.在一些实施例中，可以基于第一区域标识第二区域包括：基于第一区域，从样本图像中定位缺陷；基于缺陷的形状，确定针对第二区域的边界；以及利用边界，标识第二区域。
9.在一些实施例中，第一区域和第二区域可以至少部分地重合。
10.在一些实施例中，可以确定样本图像是否包括不同于缺陷的另一缺陷；如果确定样本图像包括另一缺陷，确定样本图像中的第三区域，第三区域至少部分地包围对象的另一缺陷；以及可以基于第三区域，标识样本图像中与另一缺陷的一个或多个属性相关联的
第四区域，以用于训练缺陷检测模型。
11.在一些实施例中，在缺陷检测模型的训练中，第二区域被赋予大于非重合区域的权重，非重合区域包括第一区域内与第二区域不重合的部分。
12.在本公开的第四方面中，提供了一种电子设备。该设备包括处理器；以及与处理器耦合的存储器，存储器具有存储于其中的指令，指令在被处理器执行时使设备执行动作，动作包括：获得待检测图像，待检测图像中的对象具有缺陷；以及利用根据本公开第一方面的方法训练的缺陷检测模型，确定与缺陷有关的信息。
13.在本公开的第五方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现根据本公开第一方面的方法。
14.在本公开的第六方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现根据本公开第二方面的方法。
15.在本公开的第七方面中，提供了一种计算机程序产品。该产品包括计算机程序/指令，计算机程序/指令被处理器执行时实现根据本公开第一方面的方法。
16.在本公开的第八方面中，提供了一种计算机程序产品。该产品包括计算机程序/指令，计算机程序/指令被处理器执行时实现根据本公开第二方面的方法。
17.应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
18.结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
19.图1示出了根据本公开的一些实施例的模型训练系统的示意性框图；
20.图2示出了根据本公开的实施例的训练缺陷检测模型的示例方法的流程图；
21.图3示出了根据本公开的一些实施例的用于训练缺陷检测模型的对象为电路板的缺陷标识示意图；
22.图4示出了根据本公开的一些实施例的缺陷检测系统的示意性框图；
23.图5示出了根据本公开的实施例的检测缺陷的示例方法的流程图；以及
24.图6示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
25.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
26.在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
27.在本公开的实施例中，术语“模型”能够处理输入并且提供相应输出。以神经网络模型为例，其通常包括输入层、输出层以及在输入层与输出层之间的一个或多个隐藏层。在深度学习应用中使用的模型(也称为“深度学习模型”)通常包括许多隐藏层，从而延长网络的深度。神经网络模型的各个层按顺序相连以使得前一层的输出被用作后一层的输入，其中输入层接收神经网络模型的输入，而输出层的输出作为神经网络模型的最终输出。神经网络模型的每个层包括一个或多个节点(也称为处理节点或神经元)，每个节点处理来自上一层的输入。在本文中，术语“神经网络”、“模型”、“网络”和“神经网络模型”可互换使用。另外，在本文中，动作“标注”和“标识”也可互换使用。
28.如上文所简要提及的，在生产制造过程中，需要对产品进行缺陷检查，以便找出潜在缺陷。机器学习技术(例如深度学习技术)通常用于代替人工缺陷检测，解决人为漏检等局限性。在针对缺陷分类和定位的常规训练学习过程中，人工标注图像缺陷和位置是一个非常重要的步骤，直接影响训练学习的准确性。人工图像标注是在图像上添加额外的指示缺陷类型及位置的数据信息，作为机器学习或深度学习技术的输入。
29.通常的标注方法是使用矩形框定义和描述图像中每一个缺陷的位置，标注如前所述可以通过人工执行，或者可以通过标记装置来执行。在图像中，缺陷的形状通常是不规则的，比如线条、刮痕等，当然也可以是规则的，如圆形、正方形等。在缺陷被标注出来之后，机器学习模型(如深度学习模型)通过标注的矩形定义的描述信息来学习缺陷类型及位置等缺陷的属性。
30.然而，利用上述常规方法标注缺陷并且输入机器学习模型时，由于缺陷的形状通常是随机的，具有不确定性，矩形框覆盖的区域会涵盖缺陷图案和非缺陷特征图案。尤其是，在一些狭长的缺陷标注时，由于需要使用较大的矩形框来进行标注，矩形框覆盖的区域会涵盖大部分的非缺陷特征图案，造成矩形框覆盖的区域出现大部分区域为非缺陷特征图案。在这种情况下，模型很有可能不能有效地进行学习，也可能在识别过程中将非缺陷特征图案识别为缺陷，从而在检测图像时导致误检。
31.根据本公开的实施例，提出了一种用于缺陷检测的方案，以至少部分地解决以上问题中的一个或多个。在该方案中，样本图像中包括对象的缺陷，首先确定完全包围或部分包围该缺陷的第一区域。在经确定的第一区域的基础上，进一步标识更能精确体现缺陷的一个或多个属性的第二区域。在第二区域标注完成后，将标注信息和样本图像发送至缺陷检测模型，以用于该模型的训练。此外，还可以在标识第二区域后重复执行上述操作，以将样本图像中所有的缺陷以上述方式标注，并且将所有的标注信息均发送至缺陷检测模型来学习。经训练的缺陷检测模型用于检测待检测图像中的对象的缺陷。
32.在本公开的实施例中，在标记过程中增加注意力区域，该区域既可以是用户手动定义，也可以根据图像处理技术自动生成。注意力区域与缺陷的一个或多个属性相关联，并且用于描述缺陷的形状和位置。以此方式，有助于模型将注意力放在该注意力区域，使得模型更准确地学习缺陷检测。这进而有助于提升对待检测图像的检测准确性。
33.以下将参照附图来具体描述本公开的实施例。
34.示例模型训练系统和操作
35.图1示出了根据本公开的一些实施例的模型训练系统100的示意性框图。如图1所示，模型训练系统100(也简称为“系统100”)可以包括计算设备130，计算设备130对样本图
像110进行标注，并且可以将数据输出至缺陷检测模型150，以用于对缺陷检测模型150进行训练。如前所述，缺陷检测模型150可以是能够处理输入并且提供相应输出的任何合适的模型。
36.在一个实施例中，计算设备130可以通过包含在计算设备130中的缺陷标记装置140对样本图像110进行标注。缺陷标记装置140可以对样本图像110中的图像存在的缺陷进行标注，以将标记后的数据输出至缺陷检测模型150。需要说明的是，缺陷标记装置140是可选的，计算设备130可以单独完成缺陷标注步骤。
37.在一些实施例中，样本图像110可以通过单独的样本图像装置(未示出)提供给计算设备130。备选地，在一些实施例中，样本图像110还可以由计算设备130采集，或者采用任意合适的方式被提供给计算设备130，本公开对此不做限制。
38.计算设备130可以是服务器或任何个人计算机，或能够进行有线数据通信或无线数据通信的任何其他处理器使能设备，或是以上的任意组合。计算设备130还可以是包括不能进行有线数据通信或无线数据通信的设备的其他计算设备、系统和/或体系结构。本公开对此不做限制。
39.上述多个装置可以分别实现在不同的物理设备中。备选地，上述多个装置中的至少一部分装置可以被实现在同一物理设备中。例如，当设置有单独的样本图像提供装置时，其可以与计算设备130被实现在同一物理设备中，而缺陷检测模型150可以被单独实现在另一物理设备中，本公开对此不做限制。
40.图2示出了根据本公开的实施例的训练缺陷检测模型150的示例方法200的流程图。方法200可以例如被实现在图1所示的系统100中。因此，下面将结合图1描述方法200的流程。
41.在框201，确定针对对象的样本图像110中的第一区域。样本图像110包括对象的缺陷，并且第一区域至少部分地包围对象的缺陷。以此方式，可以将样本图像110的缺陷初步集中在第一区域内。
42.在一些实施例中，对象可以是如前所述的半导体芯片或晶圆、印刷电路板或其他任意合适的需要进行缺陷检测的对象。例如，对象可以是如图3所示的电路板300。本公开对此不作限制。
43.下面将同样结合图3对图2的方法200进行详细介绍。图3示出了根据本公开的一些实施例的用于训练缺陷检测模型的对象为电路板300的缺陷标识示意图。在图3所示的示例中，电路板300可以是单面电路板、双面电路板、多层电路板中的一种或多种，并且电路板300还可以柔性电路板或刚性电路板中的一种或多种。
44.需要理解，电路板300可以是任意需要进行缺陷检测的电路板，本公开对此不做限制。还需要理解，上述电路板300仅仅是示例性的，本公开的实施方式还适用于其他对象，例如如前所述的半导体芯片或晶圆。
45.在一些实施例中，可以采集电路板300的图像以生成电路板图像301。因此，在该实施例中，样本图像110被实现为电路板图像301。在该实施例中，电路板图像301可以包括缺陷303。
46.具体地，缺陷303可以存在于电路板300上，例如存在于电路板300的表面上。在一些实施例中，如前所述，缺陷303可以具有不规则的形状，例如线条、刮痕。例如，缺陷303在
图3中呈现了不规则的折线形状。在其他的一些实施例中，缺陷303还具有规则的形状，例如点状、圆状、长方形或多边形状，本公开对此不做限制。
47.在一些实施例中，缺陷303可以具有属性，例如其在电路板图像301中的位置(例如其相对于电路板图像301的坐标)、缺陷的类型或其他属性等。缺陷303的类型可以是预定的，也可以由检测人员进行自定义。例如，对于如图3所示的缺陷303，其类型可以被预预定为折线，也可以被自定义为“闪电状缺陷”。
48.可以在电路板图像301中确定第一区域305。第一区域305至少部分地包围电路板300的缺陷303。需要说明，“确定第一区域305”在本文中等同于“标识第一区域305或标注第一区域305”。
49.在一些实施例中，如图3所示，检测人员可以在发现电路板图像301存在缺陷303时，描绘矩形框302将缺陷303至少部分地包围，以确定出第一区域305。如前文所述，该操作可以利用图1所示的计算设备130来实现，或者可以利用不同于计算设备130的单独的计算设备实现，本公开对此不做限制。应当理解，矩形框302仅仅是示例性的，还可以采用其他任意形状的框来标注第一区域305，例如椭圆形框、圆形框或多边形框等，本公开对此不做限制。
50.需要说明，矩形框302通常可以完全地包围缺陷303。在某些特殊情况下，例如缺陷303过于狭长或技术人员误操作，矩形框302还可以部分地包围缺陷303。
51.还需要说明，检测人员确定第一区域305的方式属于个人经验判断或者根据指导说明书来对缺陷303的判断手段、或者其他任意合适的判断手段。具体来说，检测人员根据个人经验或指导说明书来判断目标是否属于缺陷303，然后对判断为属于缺陷303的电路板图像301进行矩形标注，从而确定第一区域305。
52.在一些实施例中，确定第一区域305的操作可以通过装置来执行。例如，可以利用具有缺陷提取算法、训练好的缺陷检测模型的回归测试或对抗网络等对应的装置来确定第一区域305的。同样地，该装置可以是计算设备130或其一部分，也可以是独立的装置，本公开对此不做限制。以此方式，相对于人工标注，可以大大提升标注效率和准确性。
53.继续参考图2。在框203，基于第一区域，标识样本图像中的第二区域。第二区域与缺陷的一个或多个属性相关联。
54.继续参照图3对框203做示例性介绍。如前所述，框203中的缺陷可以是如图3所示的缺陷303，框203中的第一区域可以是图3所示的第一区域305，框203中的第二区域可以是如图3所示的第二区域307。
55.第二区域307与缺陷303的一个或多个属性相关联。如前所述，缺陷303的属性可以包括缺陷303在电路板图像301的位置、缺陷303的类型或其他任意属性。
56.由于第二区域307关联于缺陷303的属性，因此第二区域307相对于第一区域305可以更加精确地表达目标缺陷，因此也可以被称为“注意力区域”。该注意力区域可以至少包括缺陷303的形状和位置的精确信息，并且被计算机程序表达在标注信息中后，可以在框205被用于训练如图1所示的缺陷检测模型150(将在下文详述)。这使得缺陷检测模型150不受非缺陷形状的影响，提高缺陷检测模型150学习时的注意力。如本领域技术人员所熟知，标注信息是第一区域305和/或第二区域307被计算机程序表达的信息。
57.在一些实施例中，基于第一区域305标识第二区域307还可以包括在第一区域305
被标注之后，从电路板图像301中定位缺陷303。具体地，由于第一区域305至少部分地包围缺陷303，该缺陷303可以基于第一区域305而被初步锁定。这样一来，可以在锁定缺陷303之后，利用缺陷303的形状来确定第二区域307的边界。在第二区域307的边界被确定后，可以利用边界来表示第二区域307。以此方式，可以以快速便捷的方式来精准地定位注意力区域。
58.在一些实施例中，该第二区域307的边界的标注同样可以通过操作人员手动来进行定义。例如，操作人员可以通过人机交互界面，利用鼠标、键盘、触摸屏等介质涂抹缺陷位置而生成。具体而言，操作人员可以在第一区域305的基础上进一步勾画出缺陷的轮廓，例如，操作人员利用鼠标等人机交互工具在图像中画出这个大概轮廓，并且将该轮廓数据作为通道数据传给缺陷检测模型150以供学习。
59.如本领域所熟知，每个图像都有一个或多个颜色通道，例如常见的r、g和b通道，灰度图可以包括单通道，图像的传输通常涉及上述颜色通道数据的传输。通过上述方式得到的注意力区域的数据可以作为单独的通道数据被发送给缺陷检测模型150以供学习。应当理解，其他任意对于注意力区域的数据发送的方式都是可行的，本公开对此不做限制。
60.在其他实施例中，也在可以在上述实施例的基础上利用计算机程序来提取出操作人员勾画出的第二区域307的轮廓，该计算机程序例如是轮廓提取算法或其他任意合适的算法。以此方式，可以得到更为精准的轮廓数据。
61.在一些实施例中，第二区域307的边界可以仅由点构成，边界的点构成的图像即可以描述缺陷形状特征的不规则图形。也就是说，在提取边界的轮廓过程中，可以仅仅提取点状数据。以此方式，可以将连续的边界简化为点状图，在保证注意力区域的标注信息准确的同时，减少了数据计算量，提高运行效率。
62.在一些实施例中，第一区域305和第二区域307至少部分地重合。在一些实施例中，第二区域307可以被包括在第一区域305内。但是，如前所述，由于第一区域305可以被人为标注，或者由于某些原因，缺陷303并未完全被标注在第一区域305内。因此，在其他的一些实施例中，第一区域305和第二区域307并不完全重合，更能表达缺陷303的第二区域307的一部分可以在第一区域305之外。以此方式，可以在第一区域305标注缺陷303不准确的情况下，依然可以精确地利用第二区域307精确地定位缺陷303，保证缺陷检测模型150学习时的注意力。
63.继续参考图2。在框205，至少基于样本图像和第二区域，训练缺陷检测模型。经训练的缺陷检测模型用于从待检测图像中检测潜在缺陷。
64.继续参照图1和图3对框205做示例性介绍。如前所述，框205中的样本图像可以是如图3所示的电路板图像301，框203中的第二区域可以是如图3所示的第二区域307，缺陷检测模型可以是如图1所示的缺陷检测模型150。
65.在一些实施例中，在训练缺陷检测模型150的过程中，可以对第二区域307赋予大于第一区域305的权重。以此方式，缺陷检测模型150在学习过程中可以将更多的注意力放在第二区域307上，以更准确地对缺陷303进行学习。
66.在一些实施例中，第二区域307可以被赋予大于非重合区域的权重。在该实施例中，非重合区域包括第一区域305内与第二区域307不重合的部分。以此方式，可以将第一区域305和第二区域307更为精细地区分，从而使缺陷检测模型150学习更加精确。
67.在一些实施例中，还可以确定样本图像是否包括不同于该缺陷的另一缺陷，并且如果确定样本图像包括另一缺陷，可以确定样本图像中的第三区域，第三区域至少部分地包围对象的另一缺陷。随后，可以基于第三区域，标识样本图像中与另一缺陷的一个或多个属性相关联的第四区域。第四区域连同第二区域以及其他可能的区域一起用于训练缺陷检测模型150。
68.在该实施例中，第三区域的确定过程可以与第一区域的确定过程类似，并且第四区域的标识方式可以与第二区域的确定过程类似。因此，该实施例的操作也可以被看作框201、203和205的迭代过程。以此方式，可以检测到样本图像110中所有的缺陷，并且将这些缺陷的优化的标注信息输入到训练缺陷检测模型150，以用于从待检测图像中检测潜在缺陷。
69.在这样的实施例中，潜在缺陷的属性可以与样本图像110中的缺陷的属性相关联。例如，潜在缺陷和样本图像的缺陷可以具有类似的形状、或者具有类似的位置。这样一来，在缺陷检测模型150被有效地训练以后，其可以更为精确地检测潜在缺陷。
70.示例模型应用系统和操作
71.图4示出了根据本公开的一些实施例的缺陷检测系统400的示意性框图。缺陷检测系统400包括缺陷标记装置420和缺陷检测模型430。该缺陷标记装置可以是例如图1所示的缺陷标记装置140。该缺陷检测模型430例如可以实现为图1所示的缺陷检测模型150。缺陷检测模型430可以被包括或部署在图像处理装置(未示出)中。应当理解，图像处理装置还可以包括或部署有除缺陷检测模型430之外的其他模型。
72.如图4所示，缺陷检测模型430可以接收经过缺陷标记装置420标记的待检测图像410。在所示示例中，待检测图像410可以包括与图像中的对象有关的潜在缺陷。在一些实施例中，待检测图像410可以是半导体芯片或晶圆的一部分的图像，该部分中的某些器件或连接可能存在缺陷。在其他的一些实施例中，待检测图像410可以是电路板的一部分的图像，该部分中可能存在刮痕、刻槽等缺陷。
73.在这样的实施例中，待检测图像410可以被缺陷标记装置420进行标注。也就是说，待检测图像410中的缺陷可以通过如上描述的方式被标注出第一区域和第二区域，进而将图像数据和标注数据输入到缺陷检测模型430中，以进行准确的缺陷检测。
74.经过训练的缺陷检测模型430可以基于接收到的待检测图像410生成并且提供检测结果440。检测结果440可以包括与待检测图像410中的缺陷有关的信息，例如缺陷的数目、缺陷的类型、缺陷的位置等。
75.需要说明的是，缺陷标记装置420可以集成在缺陷检测模型430之中，也可以是单独的装置，本公开对此不做限制。
76.示例模型应用方法
77.图5示出了根据本公开的实施例的检测缺陷的示例方法的流程图。
78.在框501，获取待检测图像，待检测图像中的对象包括缺陷。在一些实施例中，待检测图像可以为图4所示的待检测图像410，对象可以是如前所述的半导体芯片或晶圆、电路板或平板显示器等中的至少一种，并且缺陷可以是如前所述的规则或不规则的任何形状的缺陷。
79.在框503，利用缺陷检测模型，确定与缺陷有关的信息。该缺陷检测模型根据图2所
示的方法200被训练。
80.在一些实施例中，缺陷检测模型可以是图4所示的缺陷检测模型430，该缺陷检测模型430可以对待检测图像410进行缺陷检测。
81.示例设备
82.图6示出了能够实施本公开的多个实施例的计算设备600的框图。例如，如图1所示的系统100中的一个或多个装置或由图4所示的系统400中的装置可以由设备600来实施。如图所示，设备600包括中央处理单元(cpu)601，其可以根据存储在只读存储器(rom)602中的计算机程序指令或者从存储单元606加载到随机访问存储器(ram)603中的计算机程序指令，来执行各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。cpu601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
83.设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元606，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
84.处理单元601执行上文所描述的各个方法和处理，例如方法200和500中的任一个。例如，在一些实施例中，方法200和500中的任一个可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元606。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由cpu 601执行时，可以执行上文描述的方法200和500中的任一个的一个或多个步骤。备选地，在其他实施例中，cpu 601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行方法200和500中的任一个。
85.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)等等。
86.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
87.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
88.此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
89.尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。