用于对象检测的电子装置和相关方法与流程

用于对象检测的电子装置和相关方法
1.本公开涉及图像处理领域。本公开涉及用于对象检测的电子装置和方法。


背景技术：

2.存在使用电子装置(例如智能电话和摄像头装置)来拍摄对象的图片(例如图像、图像序列或视频)的许多情形。此外，一些电子装置利用图像处理技术来检测图像中的对象。然而，用于检测图像中的对象的现有图像处理技术存在改进空间。


技术实现要素：

3.现有的电子装置和方法可以包括用于图像数据中的对象检测的机制。然而，对象检测器在对象的范围或类型上可能不是最佳的。对象检测器过于通用或是专门专用于检测预定或预选类型的对象。例如，面部检测器能够检测作为面部的预定或预选类型的对象。通用对象检测器在检测特定对象时不能提供足够的精度，而专用对象检测器只能检测预定或预选类型的对象。现有的对象检测器不能从检测中学习以改善各种类型对象的检测。需要一种允许对象检测器学习并使得检测适应于对象类型的技术。需要提供检测的适应性和学习，并提高检测的准确性。
4.因此，需要一种用于对象检测的电子装置和方法，其减轻、缓和或解决现有的缺点并提供改进的对象检测(例如提高性能的对象检测)，具有改进的自动图像增强，改进的图像标记和定制的对象检测。此外，需要基于来自对象检测器的反馈来改进获取图像的电子装置(例如摄像头或摄像机，诸如获得图像序列(诸如视频))的功能的使用。
5.本公开提供了一种电子装置。该电子装置包括存储器电路、接口电路和处理器电路。处理器电路被配置成获得与第一图像相关联的第一图像数据。处理器电路被配置成基于第一图像数据获得主对象。
6.处理器电路被配置成基于主对象的第一增强操作(诸如包括一个或更多个增强操作，例如一系列增强操作)生成一个或更多个次对象。
7.处理器电路被配置成从第一图像数据获得主背景数据。处理器电路被配置成基于主背景数据的第二增强操作(诸如包括一个或更多个增强操作，例如一系列增强操作)生成次背景数据。
8.处理器电路被配置成通过将主对象和/或一个或更多个次对象与主背景数据和/或次背景数据组合来提供第一数据集。处理器电路被配置成基于第一数据集生成用于检测与主对象相同类型的一个或更多个对象的检测模型。所述处理器电路被配置成提供对象检测器，对象检测器被配置成基于检测模型来检测所述一个或更多个对象。
9.此外，提供了一种由电子装置执行的用于对象检测的方法。该方法包括获得与第一图像相关联的第一图像数据。
10.该方法包括基于第一图像数据获得主对象。
11.该方法包括基于主对象的第一增强操作(诸如包括一个或更多个增强操作，例如一系列增强操作)生成一个或更多个次对象。该方法包括从第一图像数据获得主背景数据。
该方法包括基于主背景数据的第二增强操作(诸如包括一个或更多个增强操作，例如一系列增强操作)生成次背景数据。该方法包括通过将主对象和/或一个或更多个次对象与主背景数据和/或次背景数据组合来提供第一数据集。该方法包括基于第一数据集生成用于检测与主对象相同类型的一个或更多个对象的检测模型。该方法包括提供被配置成基于检测模型检测一个或更多个对象的对象检测器。
12.本公开的优点在于使得用户能够添加要检测的特定对象，以提供用于检测特定对象的对象检测器(诸如交互地工作以创建具有改进的性能的用于该/这些特定对象的对象检测器)。换言之，本公开的优点在于提供一种在使用电子装置时能够检测一个特定对象(诸如用户可能对将来捕获感兴趣的用户特定对象)的对象检测器。此外，本公开的优点在于提供了一种用于定制的对象检测的改进的对象检测器(诸如为用户专门化或个性化，例如为用户对象(诸如用户的狗)定制)。进而，提供了一种改进的对象检测器，例如检测特定对象(诸如用户的特定狗)而不仅是通用对象(诸如通用狗检测器)。优点可以是，所产生的图像可以通过识别对象(例如主体)来改进，其方式与摄像头在识别出面部时改变行为的方式相同。
13.此外，本公开的优点在于，可以向用户提供反馈，例如关于提供给检测模型的图像的质量，例如用于改善摄像头聚焦(诸如当捕获图像和/或视频时)、调节亮度、用于改善特定对象检测。
14.本公开的另一优点在于，对象与背景的组合的数目(诸如使用一个或更多个增强操作)可以被放大(例如通过使用加标记的图像的背景的统计特性并找到相似图像，以在背景增强操作中用作输入)。此外，本公开的优点在于可以在基本上任何环境中检测基本上任何对象(例如检测模型可以学习来检测基本上任何环境中的任何对象)。此外，本公开的优点在于可以改进图像的标记(诸如提供元数据，例如与摄像头参数和/或物场相关的元数据)。
15.可以理解，本公开提供了自动检测模型性能分析(例如提供用户界面改进指令)。此外，本公开提供了一种电子装置，其能够在执行以改进的方式操作对象检测器的技术任务时辅助使用，例如通过在电子装置用户界面中提供对象检测选择器。
16.此外，本公开的优点在于，电子装置可以支持用户拍摄更好的图片(例如，通过向用户提供反馈以较好地利用摄像头的较适当或较多的特性)并且为检测模型提供改进的图像数据(例如，用于改进检测模型)。
附图说明
17.通过以下参照附图对本发明的示例性实施方式的详细描述，本发明的上述和其他特征和优点对于本领域技术人员将变得明显，在附图中：
18.图1是示出根据本公开的一个或更多个实施方式的场景的示例的示意图；
19.图2是示出了对象检测场景的示例的示意图，其示出了一种系统，该系统包括示出了根据本公开的用作服务器装置的电子装置的框图和示出了根据本公开的用作用户装置的电子装置的框图；
20.图3a、图3b、图3c和图3d是示出根据本公开的由电子装置执行的用于对象检测的示例方法的流程图；以及
21.图4a至图4b示出了根据本公开的用作用户装置的电子装置的用户界面的示例。
具体实施方式
22.在下文中参照相关附图描述各种示例实施方式和细节。应当注意，附图可以按比例绘制或可以不按比例绘制，并且在所有附图中，类似结构或功能的元件由类似的附图标记表示。还应当注意的是，附图仅旨在便于实施方式的描述。它们不旨在作为本公开的详尽描述或作为对本公开范围的限制。此外，所示实施方式不需要具有所示的所有方面或优点。结合特定实施方式描述的方面或优点不必限于该实施方式，并且可以在任何其他实施方式中实践，即使没有如此示出，或者如果没有如此明确描述。
23.为了清楚起见，附图是示意性和简化的，并且仅示出有助于理解本公开的细节，而省略了其它细节。在全文中，相同的附图标记用于相同或相应的部件。
24.图1是示出根据本公开的一个或更多个实施方式的场景的示例的示意图。图1示出了根据本公开的一个或更多个实施方式的具有自动图像增强和生成的示例定制对象检测。
25.例如，示出为用户装置300a的电子装置的用户(诸如人，例如摄影师)可以使用用户装置的摄像头来捕获具有周围环境的对象的图像。例如，用户可以使用摄像头的特征(诸如摄像头电话应用或数字式摄像头)来经由对象选择器32a、32b、32c通过拍摄图像和对图像进行标记(在对象周围画框)容易地将任何定制的附加对象添加到对象检测器。
26.加标记的图像在所公开的过程中被用作图像数据，以尤其执行定制对象检测连同自动图像增强和生成。
27.当用户使用对象选择器32a选择所添加的对象中的一个时，例如在用户装置300a的用户界面中，诸如在用户装置(例如摄像头)的显示电路上显示的图形用户界面gui中。
28.本公开提出基于对象选择器的用户选择，用户装置根据所选择的对象加载包括对象检测器的检测模型20的第一参数12在内的一个或更多个第一参数。例如，一个或更多个第一参数表示对象或对象类型(诸如面部、鸟、汽车)。例如，第一参数12可以形成模型参数10的一部分。例如，可以为整个检测模型20加载第一参数12，或者在大多数实现方式中，改变检测模型20中的一个或更多个最后层可以是足够的。
29.图像数据的标记可以导致输出包括覆盖对象和/或对象类型的训练图像(可能是大量训练图像)在内的训练数据集。
30.本公开提出了一种对象检测，其可以被视为是针对某个类型的对象而专门化或定制的。例如，本文公开的对象检测允许构建专用于给定对象(例如您的宠物、某类型的植物和/或某类型的形状)的对象检测器。
31.图2是示出对象检测场景的示例的示意图。图2示出了示例系统1，其包括根据本公开的用作服务器装置的电子装置300b和根据本公开的用作用户装置的电子装置300a。
32.图2示出了根据本公开的用作服务器装置的电子装置300b的框图，以及根据本公开的用作用户装置的电子装置300a的框图。
33.用作用户装置的电子装置300a可以被配置成经由网络310(诸如外部网络，例如有线通信系统和/或无线通信系统)与用作服务器装置的电子装置300b通信。
34.电子装置300a、300b包括存储器电路301a、301b，接口电路303a、303b和处理器电路302a、302b。
35.电子装置300a、300b可以被配置成执行图3a、图3b、图3c和图3d中所揭示的方法中的任一者。换言之，电子装置300a、300b可以被配置用于对象检测。
36.处理器电路302a、302b被配置成(例如经由接口电路303a、303b和/或从存储器电路301a、301b)获得与第一图像相关联的第一图像数据。换言之，电子装置300a可以被配置成从存储器电路301a取得与第一图像相关联的第一图像数据。在一个或更多个实施方式中，用作服务器装置的电子装置300b可以被配置成从用作用户装置的电子装置300a接收第一图像和/或与第一图像相关联的第一图像数据，例如经由网络310。
37.第一图像数据可以包括一个或更多个图像文件(例如与第一图像相关联的一个或更多个图像文件)。第一图像数据可以包括一种或更多种图像格式(诸如一种或更多种文件类型，例如png、bmp、jpeg、jpg、gif、tiff、psd、pdf、eps、ai、indd、raw)的图像数据，和/或与第一图像相关联的一个或更多个像素和/或与第一图像相关联的元数据。第一图像数据可以包括一种或更多种数据分辨率格式(例如一种或更多种颜色分辨率格式，例如1比特颜色分辨率、8比特颜色分辨率、12比特颜色分辨率、16比特颜色分辨率、24比特颜色分辨率、32比特颜色分辨率和/或48比特颜色分辨率)的图像数据。
38.处理器电路302a、302b被配置成基于第一图像数据获得(例如经由接口电路303a、303b和/或从存储器电路301a、301b)主对象。在一个或更多个示例性电子装置中，通过基于第一图像数据(例如从第一图像)提取主对象来基于第一图像数据获得主对象。
39.本文所公开的对象可以是指可从图像检测到的对象，图像例如所捕获的图像或要捕获的图像，对象例如对象检测器能够检测到的对象，诸如被训练来检测的对象。例如，对象可以指通常被分类为对象和/或对象的形状(诸如对象的一部分、特定形状的对象)的项目。换言之，对象可以被表示为特征(例如，对象检测器能够检测的特征，(诸如被训练以检测)，诸如形状)。例如，对象可以包括例如动物对象这样的对象(例如用户的宠物的代表，例如狗(诸如特定狗)、猫(诸如特定猫)、鸟(诸如特定鸟)、和/或马(诸如特定马))，例如以基本上仅检测用户的特定动物。对象可以包括特定类型的对象，例如特定类型的动物对象(例如特定动物类型的特定物种的代表，例如以基本上仅检测特定的鸟种类)、动物类型的特定品种(例如以基本上仅检测狗的特定品种，例如以仅检测拉布拉多狗)、汽车的特定型号、和/或鞋子的特定型号。对象可以包括诸如对象类型这样的对象，诸如滑板(例如用于在捕获图像时检测滑板和/或在存储的图像中检测滑板型号。
40.主对象可以包括用户希望能够在捕获图像时检测和/或在存储的图像(诸如存储在电子装置300a、300b上)中检测的对象(诸如对象类型)。例如，主对象可以包括例如动物对象这样的对象(例如用户的宠物的代表，例如狗(诸如特定狗)、猫(诸如特定猫)、鸟(诸如特定鸟)、和/或马(诸如特定马))，例如以基本上仅检测用户的特定动物。主对象可以包括特定类型的对象，例如特定类型的动物对象(例如特定动物类型的特定物种的代表，例如以基本上仅检测特定的鸟种类)、动物类型的特定品种(例如以基本上仅检测狗的特定品种，例如以仅检测拉布拉多狗)、汽车的特定型号、和/或鞋子的特定型号。主对象可以包括诸如对象类型这样的对象，诸如滑板(例如用于在捕获图像时检测滑板和/或在存储的图像中检测滑板型号。
41.处理器电路302a、302b被配置成基于主对象的第一增强操作生成一个或更多个次对象。在一个或更多个示例性电子装置中，在主对象的第一增强操作之后，一个或更多个次
对象可以被视为主对象的一个或更多个表示。
42.本文公开的增强操作可以被视为变换操作，例如模糊操作、缩放操作、旋转操作、直方图均衡化、自适应直方图均衡化(adaptive histogram equalization，ahe)、对比度受限自适应直方图均衡化(contrast limited adaptive histogram equalization，clahe)和/或对比度拉伸操作。
43.换言之，处理器电路302a、302b可以被配置成生成一个或更多个次对象，例如多个次对象，例如作为指示第一增强操作之后的主对象的次对象图像。换言之，处理器电路302a、302b可以被配置成通过将所获得的主对象(诸如作为输入提供的加标记的对象)馈送到第一增强操作(诸如第一增强流水线)以创建多个次对象(诸如对象图像)。
44.第一增强操作可以例如包括以下中的一个或更多个：主对象的模糊操作、主对象的缩放操作、主对象的旋转操作、直方图均衡化、自适应直方图均衡化(ahe)、对比度受限自适应直方图均衡化(clahe)和对比度拉伸操作。例如，当第一图像包括第一鸟的图像时，主对象是第一鸟对象(例如第一鸟的图像)，则一个或更多个次对象可以包括第一鸟对象的表示，其中第一鸟对象已经被变换，例如旋转、模糊、按比例放大、直方图均衡化、自适应直方图均衡化、对比度受限自适应直方图均衡化和/或对比度拉伸。这可以提供多个次对象。
45.一个或更多个次对象可以包括已经通过第一增强操作的主对象的一个或更多个表示。例如，一个或更多个次对象可以包括已经通过第一增强操作的主对象的一个或更多个表示，例如增强的动物对象(诸如已经通过第一增强操作增强的用户的宠物的表示，例如模糊的狗对象(例如特定的模糊的狗图像对象)、旋转的猫对象(如特定的旋转的猫对象图像)、按比例放大的鸟对象(如特定的按比例放大的鸟对象图像)、和/或已经通过ahe操作的马对象(例如特定的马对象图像))。
46.处理器电路302a、302b被配置成从第一图像数据(诸如来自第一图像的主背景)获得(诸如经由接口电路303a、303b和/或从存储器电路301a、301b)主背景数据(诸如一个或更多个背景图像)。第一图像数据可以包括具有主背景数据的主对象。主背景数据可以包括来自第一图像的主背景。换言之，处理器电路302a、302b可以被配置成从第一图像数据(例如基于第一图像数据，例如从第一图像)提取主背景数据(例如主背景)。在一个或更多个示例性电子装置中，主背景数据可以包括一个或更多个其他背景数据(诸如从具有图像的数据库获得的(诸如具有包括一个或更多个标准背景数据的基准图像的数据库)，和/或使用统计方法获得的(诸如在存储具有与主背景数据相似的背景数据的图像的数据库中找到图像)(统计诸如背景和/或结构相似性指数ssim的统计特性))。具有图像的数据库可以是中央数据库。例如，当该第一图像包括该树中的第一只鸟的图像时，则可以将第一只鸟对象与该一个或更多个其他背景数据进行组合，其他背景数据例如天空背景以连同天空背景表示该第一只鸟对象、建筑物背景以连同建筑物背景表示该第一只鸟对象、和/或类似的树形图背景以连同类似的树形图背景表示该第一只鸟对象。
47.处理器电路302a、302b可以被配置成(例如经由接口电路303a、303b和/或从存储器电路301a、301b)从不同于第一图像数据的图像数据(例如来自具有图像的数据库的图像数据集的图像数据，例如来自摄像头相册)获得主背景数据(例如一个或更多个背景图像)。
48.处理器电路302a、302b可以被配置成从第一图像和/或不同于第一图像的图像数据获得(例如经由接口电路303a、303b和/或从存储器电路301a、301b)主背景数据(例如一
个或更多个背景图像)。
49.处理器电路302a、302b配置成基于主背景数据的第二增强操作产生次背景数据。
50.在一个或更多个示例性电子装置中，次背景数据包括在主背景数据的第二增强操作之后的主背景数据的一个或更多个表示。
51.换言之，处理器电路302a、302b可以被配置成在第二增强操作之后生成诸如多个次背景的次背景数据，例如作为与主背景数据(诸如指示主背景)相关联的次背景图像。换言之，处理器电路302a、302b可以被配置成通过将所获得的主背景数据馈送到第二增强操作(诸如第二增强流水线)来创建多个次背景(诸如背景图像)。
52.该第二增强操作可以例如包括以下各项中的一项或多项：主背景数据的模糊操作、主背景数据的缩放操作、主背景数据的旋转操作、直方图均衡化、自适应直方图均衡化(ahe)、对比度受限自适应直方图均衡化(clahe)和对比度拉伸操作。例如，当第一图像包括树中的第一只鸟的图像时，主背景数据包括树背景(例如树的图像)，然后次背景数据可以包括树背景的表示，其中树背景已经被旋转、模糊，按比例放大、直方图均衡化、自适应直方图均衡化、对比度受限自适应直方图均衡化和/或对比度拉伸。这可以提供多个次背景。
53.处理器电路302a、302b被配置成通过将主对象(诸如原始对象)和/或一个或更多个次对象(诸如增强后的对象)与主背景数据和/或次背景数据组合来提供第一数据集。
54.换言之，处理器电路302a、302b可以被配置成生成第一数据集，诸如包括指示多个图像的图像数据的第一数据集(诸如基于主对象和/或一个或更多个次对象与主背景数据和/或次背景数据的一个或更多个组合而生成的图像)。换言之，处理器电路302a、302b可以被配置成通过将主对象和/或一个或更多个次对象与主背景数据和/或次背景数据组合来创建第一数据集。例如，主对象可以与一个或更多个生成的次背景组合(例如合并、混合、联合和/或合成)，从而提供具有多个图像的第一数据集，其中主对象可以在一个或更多个环境(例如设置、例如场景、例如情形)中表示。例如，当该第一图像包括该树中的第一只鸟的图像时，则可以将该第一只鸟的对象与该一个或更多个次背景数据(例如模糊树形背景(以模糊树形背景来表示该第一只鸟的对象)、旋转树形背景(以旋转树形背景来表示该第一只鸟的对象)、和/或按比例放大的树形背景(以按比例放大的树形背景来表示该第一只鸟的对象))进行组合。
55.例如，一个或更多个次对象和/或主对象可以与所生成的次背景数据组合，从而提供具有多个图像的第一数据集，其中一个或更多个次对象可以在一个或更多个环境中表示(诸如一个或更多个次对象连同不同次背景数据，诸如一个或更多个不同次背景)。例如，当主背景数据包括树背景时，则基于主背景数据的第二增强操作，诸如树背景的第二增强操作，生成次背景数据(例如，生成次背景数据，诸如一个或更多个次背景，诸如一个或更多个次树背景，诸如模糊树背景、旋转树背景、和/或按比例放大树背景)。然后，一个或更多个次对象和/或主对象可以与一个或更多个主背景数据和/或一个或更多个次背景数据(诸如一个或更多个次背景，诸如一个或更多个次树背景，诸如模糊树背景、旋转树背景、按比例放大树背景和/或一个或更多个其他背景数据，诸如天空背景、建筑物背景和/或类似的树背景)组合。例如，通过增强主对象产生100个次对象，并且可以增强包括10个主背景的主背景数据以获得包括100个次背景的次背景数据，提供第一数据集以例如在100个背景中包括100个对象，从而得到100
×
100的组合。
56.可以理解，所公开的技术允许使用图像背景的统计特性并从数据库(例如摄像头相册)中找到类似的图像，以用作背景增强流水线(例如数据增强、增强器、专辑化(albumentation))中的输入。
57.处理器电路302a、302b被配置成基于第一数据集生成用于检测与主对象相同类型的一个或更多个对象的检测模型。换言之，用于检测与主对象相同类型的一个或更多个对象的检测模型可以被配置成在捕获图像时检测对象(例如对象类型)和/或在存储的图像(例如存储在电子装置300a、300b上)中进行检测。对象的类型可以由用户指示。相同类型的一个或更多个对象可以包括类似于主对象的对象，诸如相同种类和/或相同物种的对象。例如，当主对象包括诸如动物对象这样的对象(诸如用户的宠物的代表，例如狗(诸如特定狗)、猫(诸如特定猫)、鸟(诸如特定鸟)、和/或马(诸如特定马))时，一个或更多个相同类型的对象可以包括与主对象中包括的动物对象相同类型的一个或更多个动物对象。例如，当用户希望仅检测特定种类的狗时，例如仅检测拉布拉多狗时，相同类型的一个或更多个对象可以基本上仅包括包含拉布拉多狗的图像对象。
58.检测模型可以包括对象检测模型，例如第一检测模型(例如与第一类型的对象相关联)、第二检测模型(例如与第二类型的对象相关联)和/或第三检测模型(例如与第三类型的对象相关联)。检测模型可以包括用户希望检测的各个对象(例如对象类型)的检测模型。该检测模型可以基于机器学习技术，例如以下各项中的一项或多项：神经网络(例如卷积神经网络，cnn)、和深度学习。在一个或更多个实施方式中，检测模型可以包括一个或更多个其他机器学习方法(例如机器学习技术)。换言之，第一数据集可以用于生成用于检测与主对象相同类型的一个或更多个对象的检测模型，例如通过使用主对象和/或一个或更多个次对象与主背景数据和/或次背景数据的组合。
59.检测模型可以被配置成根据包括检测模型的第一参数(诸如由用户加载在检测模型中)在内的一个或更多个第一参数来工作。例如，检测模型可以被配置成根据指示对象(例如主对象)或对象类型(例如面部、鸟、汽车)的一个或更多个第一参数来工作。
60.处理器电路302a、302b被配置成提供对象检测器，该对象检测器被配置成基于检测模型(诸如存储在电子装置300a、300b上，例如存储在存储器电路301a、301b上的检测模型)来检测一个或更多个对象。换言之，对象检测器可以被配置成检测和/或标识(或识别)与主对象相同类型的一个或更多个对象，例如标识图像数据中的一个或更多个对象(例如与主对象相同类型的一个或更多个其他对象)，所述图像数据例如从摄像头获得的数据(例如当用户用摄像头捕获图像时)和/或来自存储的图像的图像数据(例如存储在电子装置300a、300b上的图像，例如在存储器电路301a、301b上)。对象检测器可以被视为是用于一种类型的对象(诸如针对给定类型的对象而被训练、生成和/或维护)的专用对象检测器。对象检测器可以被视为针对一种类型的对象(诸如针对给定类型的对象而被训练、生成和/或维护)的定制对象检测器。对象检测器可以被视为针对由用户指示的对象类型(诸如针对给定类型的对象而被训练、生成和/或维护)的个性化对象检测器。
61.在一个或更多个实施方式中，处理器电路302a、302b可以被配置成获得与第二图像相关联的第二图像数据，并且基于第二图像数据获得第二主对象，基于第二主对象的第一增强操作生成一个或更多个第二次对象；
62.以从第二图像数据获得第二主背景数据；基于所述第二主背景数据的第二增强操
作生成第二次背景数据；通过将所述第二主对象和/或所述一个或更多个第二次对象与所述第二主背景数据和/或所述第二次背景数据组合来提供第二数据集，以基于所述第二数据集生成用于检测与所述第二主对象相同类型的一个或更多个对象的检测模型；以及提供被配置成基于所述检测模型来检测所述一个或更多个对象的对象检测器。在这样的一个或更多个实施方式中，基于第一图像数据获得的主对象可以表示为第一主对象，一个或更多个次对象可以表示为一个或更多个第一次对象，主背景数据和次背景数据可以分别表示为第一主背景数据和第一次背景数据。可以设想，可以对第二图像和/或第二图像数据重复基于第一图像和/或第一图像数据执行的操作。可以设想，可以对第三图像和/或第三图像数据重复基于第一图像和/或第一图像数据执行的操作。此外，可以设想，可以对多个图像和/或图像数据重复基于第一图像和/或第一图像数据执行的操作。
63.本公开的优点在于使用户能够添加要检测的特定对象，以提供用于检测特定对象的对象检测器。换言之，本公开的优点在于提供一种能够检测一个特定对象(诸如用户特定对象)的对象检测器。此外，本公开的优点在于提供了一种改进的对象检测器，其用于自定义对象检测(诸如为用户专门化或个性化，例如为用户对象(诸如用户的狗)自定义)。进而，提供了一种改进的对象检测器，例如检测特定对象(诸如用户的特定狗)而不仅是通用对象(诸如通用狗检测器)。
64.在一个或更多个示例性电子装置中，电子装置300a、300b被配置成标记主对象。例如，主对象的标记可以包括向主对象分配标签，诸如将主对象与第一元数据标签相关联，第一元数据标签诸如第一标签、第一名称、第一类别(诸如对象的第一类别、类型和/或种类)。
65.在一个或更多个示例性电子装置300a中，接口电路303a包括被配置成显示用户界面并接收用户输入的显示电路303aa。
66.在一个或更多个示例性电子装置中，电子装置300a被配置成经由用户界面从用户接收第一输入。
67.在一个或更多个示例性电子装置中，电子装置300a被配置成基于第一输入获得主对象。这在图4a至图4b中示出。
68.第一输入可以包括以下步骤中的一个或更多个(例如由用户执行的步骤)：添加新对象(例如经由用户界面，例如经由电子装置300a的图形用户界面)，例如添加要由对象检测器检测的新对象、命名要检测的新对象(例如用户命名他/她希望检测的对象的类型，例如鸟_1、拉布拉多、汽车)，以及在第一图像中标记主对象(例如用户在第一图像中标记要检测的新对象)。
69.电子装置300a的显示电路303aa可以被配置成检测第一输入(诸如来自用户的触摸输入，例如当显示电路303aa包括触敏显示器时)，第一输入可以包括触敏显示器上的接触。触敏显示器可以在电子装置300a与用户之间提供用户界面(诸如输入接口)和输出接口。电子装置300a的处理器电路302a可以被配置成从触敏显示器接收电信号和/或向触敏显示器发送电信号。触敏显示器可以被配置成向用户显示视觉输出。可视输出可选地包括图形、文本、图标、视频及其任意组合(统称为“图形”)。例如，一些、大部分或所有视觉输出可以被视为对应于用户界面对象。
70.电子装置300a的处理器电路302可以被配置成在显示电路303aa上显示一个或更多个用户界面，诸如用户界面画面，包括第一用户界面和/或第二用户界面(例如在图4a至
图4b中示出的)。用户界面可以包括一个或更多个用户界面对象，例如多个用户界面对象。例如，第一用户界面可以包括第一主用户界面对象和/或第一次用户界面对象。第二用户界面可以包括第二主用户界面对象和/或第二次用户界面对象。诸如第一主用户界面对象和/或第二主用户界面对象的用户界面对象可表示基板的操作状态。
71.电子装置300a可以包括被配置成显示用于接收第一输入的用户界面的显示电路303aa。用户界面可以包括一个或更多个用户界面对象。用户界面可以被称为用户界面画面。
72.用户界面对象在这里是指在附件装置300a的显示电路303aa上显示的对象的图形表示。用户界面对象可以是用户交互式的，或者可由第一输入(诸如用户输入)来选择。例如，图像(例如图标)、按钮和文本(例如超链接)各自可选地构成用户界面对象。用户界面对象可以形成小部件(widget)的一部分。小部件可以被视为可由用户使用并由用户创建的微型应用程序。用户界面对象可以包括提示、应用程序启动图标和/或动作菜单。诸如第一输入和/或第二输入的输入可以包括触摸(例如轻击、力触摸、长按)、接触和/或接触的移动(例如用于切换的刷动手势)。接触时的移动可以由例如电子装置300a的显示电路303aa上的触敏表面来检测。因此，显示电路303aa可以是触敏显示器。第一输入(例如第一用户输入)，例如第一输入和/或第二输入，可以包括抬离。诸如第一输入和/或第二输入的用户输入可以包括触摸和随后的抬离的移动。
73.在一个或更多个示例性电子装置中，所述主对象的标记基于第一输入。在一个或更多个电子装置中，主对象的标记基于第一输入，使得用户经由用户界面执行标记主对象的动作。该标记可以包括标识主对象在第一图像上位于何处(诸如第一图像中主对象所在的区域，例如用户标记为主对象所在的区域的显示电路的表面)。
74.在一个或更多个示例性电子装置中，显示电路303aa被配置成显示表示与主对象相关联的第一对象选择器的第一用户界面对象。
75.在一个或更多个示例性电子装置中，电子装置300a被配置成检测对第一用户界面(ui)对象的选择。第一用户对象的选择可以包括用户执行选择表示与主对象相关联的第一对象选择器的一个或更多个第一用户界面对象的动作。选择可以包括检测第一ui对象(诸如显示第一用户界面对象的用户界面的区域，例如用户选择的显示电路303aa的表面)上的用户输入。
76.在一个或更多个示例性电子装置中，电子装置300a被配置成根据与所选择的第一用户界面对象相关联的检测模型使用对象检测器。例如，根据与所选择的第一用户界面对象相关联的检测模型使用对象检测器可以包括选择(诸如分配)对象检测器要使用的检测模型(诸如已生成并可存储在存储器电路301a、301b上的检测模型)。
77.在一个或更多个示例性电子装置中，电子装置300a、300b被配置成基于第一数据集生成训练图像数据集和/或测试图像数据集。训练图像数据集和/或测试图像数据集的生成可以包括将第一数据集分成(例如分为)训练图像数据集和/或测试图像数据集。在一个或更多个示例性电子装置中，电子装置300a、300b被配置成基于第二数据集生成训练图像数据集和/或测试图像数据集。
78.在一个或更多个示例性电子装置中，电子装置300a、300b被配置成基于训练图像数据集来训练检测模型。
79.换言之，训练图像数据集可以用于训练检测模型，而测试图像数据集用于测试检测模型。例如，可以使用训练数据集来训练检测模型(诸如重新训练，例如通过一次或多次迭代)，由此检测模型可以学习检测与主对象相同类型的一个或更多个对象(诸如用户希望检测的新对象)。在一个或更多个电子装置中，可以在用作用户装置的电子装置300a和/或用作服务器装置的电子装置300b上执行检测模型的训练。例如，根据计算资源需求、检测模型大小、检测模型复杂性和/或数据量，可以在用作用户装置的电子装置300a和/或用作服务器装置的电子装置300b上执行检测模型的训练。例如，对于由于较高的复杂性和/或较大量的数据而需要计算资源的检测模型，可以使用用作服务器装置的电子装置300b来执行训练。
80.在一个或更多个电子装置中，训练图像数据集(诸如用于一个或更多个检测模型的一个或更多个训练图像数据集)和/或对象检测器(诸如用于要检测的一个或更多个对象的一个或更多个对象检测器)可以在用户之间共享(诸如经由服务器装置、经由诸如在线市场上的其他网络共享，例如在用户装置和/或服务器装置之间交换)。例如，如果多个用户希望检测相同类型的对象并由此共享相同的对象检测器。
81.在一个或更多个示例性电子装置中，电子装置300a、300b被配置成基于测试图像数据集来测试检测模型。
82.例如，可以使用测试图像数据集来测试检测模型(诸如重新测试，例如通过一次或多次迭代)，由此可以测试检测模型以评估是否已经由检测模型执行了与主对象相同类型的一个或更多个对象(诸如用户希望检测的新对象)的成功检测。换言之，可以通过测试检测模型来评估该模型的性能。
83.在一个或更多个示例性电子装置中，电子装置300a、300b被配置成基于检测模型的测试来检测失败的对象检测。
84.在一个或更多个示例性电子装置中，电子装置被配置成确定对象检测失败的原因。
85.基于检测模型的测试来检测失败的对象检测和/或确定对象检测失败原因可以包括以下中的一个或更多个：提取对象检测失败的图像，分析检测到的失败对象检测(诸如一个或更多个失败，例如假阳性、假阴性和/或边界框选择未对准)，分析错误图像(诸如与捕获错误相关的原因，例如错误的第一图像、与曝光、闪电、照明、角度和/或远程对象大小相关的原因)。
86.在一个或更多个示例性电子装置中，显示电路303aa被配置成显示表示用于补救失败(诸如检测到的失败对象检测和/或失败对象检测的原因，例如检测到一个或更多个失败对象检测和/或失败对象检测的原因)的指引的第二用户界面对象。
87.在一个或更多个电子装置中，第二用户界面对象可以包括表示补救失败的指引的第二用户界面对象，诸如如何改进检测模型的指令。补救失败的指引例如可以是经由第二用户界面对象向用户指示需要标记某个角度的更多对象。在一个或更多个电子装置中，显示电路303aa可以被配置成向用户显示检测模型的准确性的反馈，以给出可能需要改进检测模型的指示。
88.在一个或更多个电子装置中，电子装置可以被配置成确定检测模型(诸如模型性能，例如自动模型精度分析)是否满足(诸如性能参数高于或低于性能阈值)。在一个或更多
个电子装置中，电子装置被配置成当确定检测模型令人满意时(例如检测模型的测试显示令人满意的性能，例如性能参数高于性能阈值)，停止训练过程。
89.在一个或更多个电子装置中，该电子装置被配置成当确定检测模型不满足(例如性能参数低于性能阈值)时，提供表示补救失败(例如一个或更多个失败，例如基于失败分析来指引用户如何补救失败，例如通过提供更多标记的图像)的指引的第二用户界面对象。
90.在一个或更多个示例性电子装置中，显示电路303aa被配置成显示表示检测的置信度得分的第三用户界面对象。
91.在一个或更多个示例性电子装置中，第三用户界面对象可以表示检测的置信度得分，诸如评级和/或均方误差。
92.在一个或更多个示例性电子装置中，电子装置300a包括摄像头304a，摄像头304a被配置成捕获包括第一图像在内的多个图像并生成与第一图像相关联的第一图像数据。在一个或更多个示例性电子装置中，电子装置300a可以包括一个或更多个摄像头(诸如一个或更多个前摄像头和/或一个或更多个后摄像头)。
93.在一个或更多个示例性电子装置中，电子装置300a是用户装置。
94.用户装置可以包括移动设备(诸如移动电话、智能电话、蜂窝电话、平板电脑、相机、摄影设备、可携式摄像机、捕获设备和/或诸如膝上型电脑的移动计算机)。
95.在一个或更多个示例性电子装置中，电子装置300b是服务器装置。
96.服务器装置可以包括被配置成与用作用户装置(诸如客户端设备)的电子装置通信的服务器。
97.电子装置300a、300b可选地配置成执行图3中公开的任何操作(例如s100、s101、s118、s118a、s119、s120、s122、s124、s126、s128、s130、s132、s134、s136、s138、s140、s142中的任何一个或更多个)。电子装置300a、300b的操作可以以存储在非暂时性计算机可读介质(例如，存储器电路301a、301b)上并由处理器电路302a、302b执行的可执行逻辑例程(例如，代码行，软件程序等)的形式来实现。
98.此外，电子装置300a、300b的操作可以被认为是电子装置300a、300b被配置成执行的方法。此外，虽然所描述的功能和操作可以用软件来实现，但是这样的功能也可以经由专用硬件或固件或硬件，固件和/或软件的某种组合来实现。
99.存储器电路301a、301b可以是缓冲器、闪存、硬盘驱动器、可移动介质、易失性存储器、非易失性存储器、随机存取存储器(ram)或其它适当装置中的一个或更多个。在通常设置中，存储器电路301a、301b可以包括用于长期数据存储的非易失性存储器和用作处理器电路302a、302b的系统存储器的易失性存储器。存储器电路301a、301b可通过数据总线与处理器电路302a、302b交换数据。还可存在存储器电路301a、301b与处理器电路302a、302b之间的控制线和地址总线(图2中未示出)。存储器电路301a、301b被认为是非暂时性计算机可读介质。
100.存储器电路301a、301b可以被配置成在存储器的一部分中存储信息(诸如指示第一图像数据、第一图像、主对象、一个或更多个次对象、主背景数据、次背景数据、第一数据集、一个或更多个检测模型和/或对象检测器的信息)。
101.图3a、图3b、图3c和图3d是说明根据本发明由电子装置(例如本文所揭示的电子装置，例如图1和图2的电子装置300a、300b)执行的用于对象检测的实例方法100的流程图。
102.方法100包括获得s102与第一图像相关联的第一图像数据。
103.方法100包括基于第一图像数据获得s104主对象。
104.方法100包括基于主对象的第一增强操作生成s106一个或更多个次对象。
105.方法100包括从第一图像数据获得s108主背景数据。
106.方法100包括基于主背景数据的第二增强操作生成s110次背景数据。
107.方法100包括通过将主对象和/或一个或更多个次对象与主背景数据和/或次背景数据组合来提供s112第一数据集。
108.方法100包括基于第一数据集生成s114用于检测与主对象相同类型的一个或更多个对象的检测模型。
109.方法100包括提供s116对象检测器，对象检测器被配置成基于检测模型检测一个或更多个对象。
110.在一个或更多个示例方法中，方法100包括标记s118主对象。
111.在一个或更多个示例方法中，方法100包括使用电子装置的显示电路来显示s119用户界面。
112.在一个或更多个示例方法中，方法100包括经由用户界面从用户接收s120第一输入。
113.在一个或更多个示例方法中，方法100包括基于第一输入获得s122主对象。
114.在一个或更多个示例方法中，标记s118主对象包括基于第一输入标记s118a主对象。
115.在一个或更多个示例方法中，方法100包括使用显示电路来显示s124表示与主对象相关联的第一对象选择器的第一用户界面对象。
116.在一个或更多个示例方法中，方法100包括检测s126第一用户界面对象的选择。
117.在一个或更多个示例方法中，方法100包括根据与所选择的第一用户界面对象相关联的检测模型使用s128对象检测器。
118.在一个或更多个示例方法中，方法100包括基于第一数据集来生成s130训练图像数据集和/或测试图像数据集。
119.在一个或更多个示例方法中，方法100包括基于训练图像数据集来训练s132检测模型。
120.在一个或更多个示例方法中，方法100包括基于测试图像数据集测试s134检测模型。
121.在一个或更多个示例方法中，方法100包括基于检测模型的测试来检测失败的对象检测s136。
122.在一个或更多个示例方法中，该方法包括确定s138对象检测失败的原因。
123.在一个或更多个示例方法中，方法100包括使用显示电路来显示s140表示补救失败的指引的第二用户界面对象。
124.在一个或更多个示例方法中，方法100包括使用显示电路来显示s142表示检测的置信度得分的第三用户界面对象。
125.在一个或更多个示例方法中，方法100包括使用电子装置的摄像头捕获s100包括第一图像在内的多个图像。
126.在一个或更多个示例方法中，方法100包括使用摄像头生成s101与第一图像相关联的第一图像数据。
127.在一个或更多个示例方法中，方法100包括电子装置是用户装置(诸如图1、图2的电子装置300a)。
128.在一个或更多个示例方法中，方法100包括电子装置是服务器装置(诸如图1、图2的电子装置300b)。
129.图4a至图4b示出了根据本公开的用作用户装置的电子装置的用户界面的示例。
130.该电子装置包括显示电路，该显示电路被配置成显示用户界面并经由用户界面(例如用户界面510、520、530、540、550、560)接收用户输入。
131.用户可以使用电子装置捕获图像，诸如苹果的图像(例如，包括代表苹果的对象的图像)。
132.电子装置被配置成捕获图像，例如苹果的第一图像，并获得与第一图像相关联的图像数据。
133.用户可以使用电子装置从图像集中选择图像，例如苹果的图像(例如，包括代表苹果的对象的图像)。
134.在用户界面510中，显示电路显示表示作为苹果的主对象的用户界面对象500和表示用于操作例如边界框的选择工具的用户界面对象502。
135.例如，用户例如使用由用户界面对象502表示的选择工具来提供第一输入504。
136.电子装置被配置成经由用户界面(例如用户界面510、520、530)从用户接收第一输入。电子装置被配置成基于用户界面520中的第一输入504获得主对象500。第一输入504允许选择主对象苹果周围的框。
137.电子装置被配置成基于第一输入504标记第一主对象500。
138.用户界面530将主对象500示为苹果，用户界面对象506表示用于操作例如边界框的选择工具，该边界框遵循主对象500的轮廓。电子装置被配置成基于用户界面530中的第一输入506获得主对象500。第一输入506允许选择主对象500苹果周围的框。
139.例如，用户提供第一输入504，例如使用用户界面对象506。
140.用户基于第一输入504选择主对象500。
141.在用户界面540中，显示电路显示表示主对象500的用户界面对象500和表示与第一主对象500相关联的第一对象选择器32a的第一用户界面对象508。
142.用户能够通过在分别代表其他对象选择器32b、32c的其他用户界面对象510，512中的第一用户界面对象508上输入输入(例如触摸输入)来选择第一对象选择器32a。
143.电子装置被配置成检测对第一用户界面对象508的选择，并根据与所选择的第一用户界面对象508相关联的检测模型使用对象检测器。换言之，用户可以通过选择第一用户界面对象508(例如通过将第一对象选择器32a与第一主对象500相关联)而受益于根据检测模型使用对象检测器。
144.在用户界面550中，显示电路显示表示补救失败的指引的第二用户界面对象551。第二用户界面对象551可以包括表示补救失败的指引的第二用户界面对象，例如如何改进检测模型的指令。补救失败的指引例如可以是经由第二用户界面对象551向用户指示需要标记某个角度的更多对象。在一个或更多个电子装置中，显示电路303aa可以被配置成向用
户显示检测模型的准确性的反馈，以给出可能需要改进检测模型的指示。例如，可以用增加数量的图像(例如增加数量的标记对象)来改进检测模型。在一个或更多个示例性电子装置中，用户反馈可以改进检测模型(例如，通过提供改进的输出和准确的标记来为检测模型提供“更好的”图像)。
145.在用户界面560中，显示电路显示表示检测的置信度得分的第三用户界面对象561。第三用户界面对象561可以包括表示检测的置信度得分(诸如检测的评级和/或均方误差)的第三用户界面对象。
146.根据本公开的电子装置和方法的实施方式在以下项目中阐述：
147.项目1.一种电子装置300a、300b，所述电子装置包括：
[0148]-存储器电路301a、301b；
[0149]-接口电路303a、303b；以及
[0150]-处理器电路302a、302b；
[0151]
其中，所述处理器电路302a、302b被配置成：
[0152]-获得与第一图像关联的第一图像数据，
[0153]-基于所述第一图像数据获得主对象；
[0154]-基于所述主对象的第一增强操作生成一个或更多个次对象；
[0155]-从所述第一图像数据获得主背景数据；
[0156]-基于所述主背景数据的第二增强操作生成次背景数据；
[0157]-通过将所述主对象和/或所述一个或更多个次对象与所述主背景数据和/或所述次背景数据组合来提供第一数据集；
[0158]-基于所述第一数据集生成用于检测与所述主对象相同类型的一个或更多个对象的检测模型；以及
[0159]-提供被配置成基于所述检测模型来检测所述一个或更多个对象的对象检测器。
[0160]
项目2.根据项目1所述的电子装置，其中，所述电子装置300a、300b被配置成标记所述主对象。
[0161]
项目3.根据前述项目中的任一项所述的电子装置，其中，所述接口电路303a包括显示电路303aa，所述显示电路303aa被配置成显示用户界面并接收用户输入；
[0162]
其中，所述电子装置300a被配置成经由所述用户界面接收来自用户的第一输入，
[0163]
其中，所述电子装置300a被配置成基于所述第一输入获得所述主对象。
[0164]
项目4.根据项目3所述的电子装置，其中，所述主对象的所述标记基于所述第一输入。
[0165]
项目5.根据项目3至4中的任一项所述的电子装置，其中，所述显示电路303aa被配置成显示第一用户界面对象，所述第一用户界面对象表示与所述主对象相关联的第一对象选择器；
[0166]
其中，所述电子装置300a被配置成：
[0167]-检测所述第一用户界面对象的选择；以及
[0168]-根据与所选择的第一用户界面对象相关联的检测模型使用所述对象检测器。
[0169]
项目6.根据前述项目中的任一项所述的电子装置，其中，所述电子装置300a、300b被配置成基于所述第一数据集生成训练图像数据集和/或测试图像数据集。
[0170]
项目7.根据项目6所述的电子装置，其中，所述电子装置300a、300b被配置成基于所述训练图像数据集来训练所述检测模型。
[0171]
项目8.根据从属于项目6的前述项目中的任一项所述的电子装置，其中，所述电子装置300a、300b被配置成基于所述测试图像数据集来测试所述检测模型。
[0172]
项目9.根据从属于项目8的前述项目中的任一项所述的电子装置，其中，所述电子装置300a、300b被配置成：
[0173]-基于所述检测模型的测试来检测失败的对象检测；以及
[0174]-确定对象检测失败的原因。
[0175]
项目10.根据项目9所述的电子装置，其中，所述显示电路303aa被配置成显示表示补救所述失败的指引的第二用户界面对象。
[0176]
项目11.根据项目9至10中的任一项所述的电子装置，其中，所述显示电路303aa被配置成显示表示所述检测的置信度得分的第三用户界面对象。
[0177]
项目12.根据前述项目中的任一项所述的电子装置，所述电子装置300a包括摄像头，所述摄像头被配置成捕获包括所述第一图像在内的多个图像并且生成与所述第一图像相关联的所述第一图像数据。
[0178]
项目13.根据前述项目中的任一项所述的电子装置，其中，所述电子装置300a是用户装置。
[0179]
项目14.根据项目1至2和6至9中的任一项所述的电子装置，其中，所述电子装置300b是服务器装置。
[0180]
项目15.一种由电子装置执行的用于对象检测的方法，所述方法包括：
[0181]-获得s102与第一图像关联的第一图像数据，
[0182]-基于所述第一图像数据获得s104主对象；
[0183]-基于所述主对象的第一增强操作生成s106一个或更多个次对象；
[0184]-从所述第一图像数据获得s108主背景数据；
[0185]-基于所述主背景数据的第二增强操作生成s110次背景数据；
[0186]-通过将所述主对象和/或所述一个或更多个次对象与所述主背景数据和/或所述次背景数据组合来提供s112第一数据集；
[0187]-基于所述第一数据集生成s114用于检测与所述主对象相同类型的一个或更多个对象的检测模型；以及
[0188]-提供s116被配置成基于所述检测模型来检测所述一个或更多个对象的对象检测器。
[0189]
项目16.根据项目15所述的方法，所述方法包括：
[0190]-标记s118所述主对象。
[0191]
项目17.根据项目15至16中的任一项所述的方法，所述方法包括：
[0192]-使用所述电子装置的显示电路显示s119用户界面；
[0193]-经由所述用户界面从用户接收s120第一输入；以及
[0194]-基于所述第一输入获得s122所述主对象。
[0195]
项目18.根据项目17所述的方法，其中，标记s118所述主对象包括基于所述第一输入来标记s118a所述主对象。
[0196]
项目19.根据项目17至18中的任一项所述的方法，所述方法包括：
[0197]-使用所述显示电路显示s124第一用户界面对象，所述第一用户界面对象表示与所述主对象相关联的第一对象选择器；
[0198]-检测s126所述第一用户界面对象的选择；以及
[0199]-根据与所选择的第一用户界面对象相关联的检测模型使用s128所述对象检测器。
[0200]
项目20.根据项目15至19中的任一项所述的方法，所述方法包括：
[0201]-基于所述第一数据集生成s130训练图像数据集和/或测试图像数据集。
[0202]
项目21.根据项目20所述的方法，所述方法包括：
[0203]-基于所述训练图像数据集来训练s132所述检测模型。
[0204]
项目22.根据项目20至21中的任一项所述的方法，所述方法包括：
[0205]-基于所述测试图像数据集来测试s134所述检测模型。
[0206]
项目23.根据项目22所述的方法，所述方法包括：
[0207]-基于所述检测模型的测试来检测s136失败的对象检测；以及
[0208]-确定s138对象检测失败的原因。
[0209]
项目24.根据项目23所述的方法，所述方法包括：
[0210]-使用所述显示电路显示s140表示补救所述失败的指引的第二用户界面对象。
[0211]
项目25.根据项目23至24中的任一项所述的方法，所述方法包括：
[0212]-使用所述显示电路显示s142表示所述检测的置信度得分的第三用户界面对象。
[0213]
项目26.根据项目15至25中的任一项所述的方法，所述方法包括：
[0214]-使用所述电子装置的摄像头捕获s100包括所述第一图像在内的多个图像；以及
[0215]-使用所述摄像头生成s101与所述第一图像相关联的第一图像数据。
[0216]
项目27.根据项目15至26中的任一项所述的方法，其中，所述电子装置是用户装置。
[0217]
项目28.根据项目15至16和20至23中的任一项所述的方法，其中，所述电子装置是服务器装置。
[0218]
术语“第一”、“第二”、“第三”和“第四”、“主”、“次”、“再次”等的使用并不暗示任何特定顺序，而是被包括以标识各个元件。此外，术语“第一”、第二”、“第三”和“第四”、“主”、“次”、“再次”等的使用不表示任何顺序或重要性，而是术语“第一”、“第二”、“第三”和“第四”、“主”、“次”、“再次”等用于区分一个要素与另一个要素。注意，词语“第一”、“第二”、“第三”和“第四”、“主”、“次”、“再次”等在本文和其它地方仅用于标记目的，而不旨在表示任何特定的空间或时间顺序。此外，第一元件的标记并不意味着存在第二元件，反之亦然。
[0219]
可以理解，图1至图4b包括用实线示出的一些电路或操作和用虚线示出的一些电路或操作。包括在实线中的电路或操作是包括在最宽的示例实施方式中的电路或操作。包括在虚线中的电路或操作是示例性实施方式，其可以包括在实线示例性实施方式的电路或操作中，或者是实线示例性实施方式的电路或操作的一部分，或者是除了实线示例性实施方式的电路或操作之外可以采取的其它电路或操作。应当理解，这些操作不需要按所示顺序执行。此外，应当理解，并非所有的操作都需要执行。示例操作可以以任何顺序和任何组合来执行。
[0220]
应当注意，词语“包括”不一定排除所列出的元件或步骤之外的其它元件或步骤的存在。
[0221]
应当注意，元件之前的词语“一(a或an)”不排除多个这种元件的存在。
[0222]
还应当注意，任何附图标记不限制权利要求的范围，示例性实施方式可以至少部分地通过硬件和软件来实现，并且若干“装置”、“单元”或“设备”可以由相同的硬件项目来表示。
[0223]
本文描述的各种示例方法，设备，节点和系统是在方法步骤或过程的一般上下文中描述的，该方法步骤或过程在一个方面可以由计算机程序产品来实现，该计算机程序产品包含在计算机可读介质中，包括由联网环境中的计算机执行的计算机可执行指令，诸如程序代码。计算机可读介质可以包括可移动和不可移动存储设备，包括但不限于只读存储器(rom)，随机存取存储器(ram)、压缩盘(cd)、数字多功能盘(dvd)等。通常，程序流程可以包括执行指定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。计算机可执行指令，相关联的数据结构和程序流程表示用于执行本文所公开的方法的步骤的程序代码的示例。这样的可执行指令或相关联的数据结构的特定序列表示用于实现在这样的步骤或过程中描述的功能的相应动作的示例。
[0224]
虽然已经示出和描述了特征，但是应当理解，它们并不旨在限制所要求保护的公开内容，并且对于本领域技术人员显而易见的是，在不脱离所要求保护的公开内容的范围的情况下，可以进行各种改变和修改。因此，说明书和附图被认为是说明性的而不是限制性的。所要求保护的公开旨在覆盖所有替代、修改和等同物。