电子设备、用于识别图像的方法和设备与流程

电子设备、用于识别图像的方法和设备
1.本技术要求于2020年08月14日提交到韩国知识产权局的第10-2020-0102600号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。
技术领域
2.下面的描述涉及电子设备、用于识别图像的方法和设备。


背景技术：

3.图像识别处理的技术自动化可使用例如由处理器实现为特殊计算结构的神经网络模型来实现，该神经网络模型可在相当大的训练之后在输入模式与输出模式之间提供计算上直观的映射。被训练以生成这样的映射的能力可被称为“神经网络的训练能力”。此外，由于专门的训练，这种专门和训练的神经网络可具有针对未训练的输入模式生成相对准确的输出的泛化能力。


技术实现要素：

4.提供本发明内容以便以简化的形式介绍将在下面的具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求权利的主题的关键特征或必要特征，也不意在用于帮助确定要求权利的主题的范围。
5.在一个总体方面，一种电子设备包括：相机，被配置为：基于检测的视觉信息来生成输入图像；处理器，被配置为：获得与输入图像对应的输入特征图的第一输入平面和权重核的第一权重平面，基于权重核的可用权重值的至少一部分，生成与第一输入平面的中间运算结果对应的基平面，基于第一输入平面和基平面之中的与第一权重平面的权重元素值对应的至少一个平面来生成第一累积数据，以及基于第一累积数据生成输出特征图的第一输出平面。
6.在一个总体方面，一种用于识别图像的方法包括：获得输入图像；以及基于输入图像执行神经网络来获得图像识别结果，其中，获得图像识别结果的步骤包括：针对神经网络的多个层中的至少一个层中的每个层，获得所述层的与输入图像对应的输入特征图的第一输入平面和所述层的权重核的第一权重平面，基于权重核的可用权重值的至少一部分，生成与第一输入平面的中间运算结果对应的基平面，基于第一输入平面和基平面之中的与第一权重平面的权重元素值对应的至少一个平面来生成第一累积数据，以及基于第一累积数据生成所述层的输出特征图的第一输出平面。
7.神经网络的第一层的与输入图像对应的输入特征图是输入图像，神经网络的后一层的与输入图像对应的输入特征图是神经网络的前一层的输出特征图，神经网络的最后层的输出特征图用于生成图像识别结果。
8.在一个总体方面，一种用于识别图像的设备包括：处理器，被配置为：执行所述方法。
9.在一个总体方面，一种处理器实现的神经网络层卷积运算方法包括：获得输入特
征图的第一输入平面和权重核的第一权重平面；基于权重核的可用权重值的至少一部分，生成与第一输入平面的中间运算结果对应的基平面；基于第一输入平面和基平面之中的与第一权重平面的权重元素值对应的至少一个平面来生成第一累积数据；以及基于第一累积数据生成输出特征图的第一输出平面。
10.生成第一累积数据可包括：在第一输入平面和基平面之中确定与第一权重平面的第一权重元素的权重值对应的第一目标平面；基于第一权重元素的偏移在第一目标平面中确定第一目标区域；以及通过基于第一目标区域的目标元素执行累积运算来生成第一累积数据。
11.确定第一目标区域可包括：基于第一权重元素的偏移，使用指向第一目标平面的不同区域的指针之中的指向第一目标区域的第一指针来确定第一目标区域。
12.每个基平面可对应于可用权重值的所述部分之中的相应的可用权重值，并且确定第一目标平面的步骤可包括：将与等于第一权重元素的权重值的绝对值的可用权重值对应的基平面确定为第一目标平面。
13.生成第一累积数据的步骤还可包括：在第一输入平面和基平面之中确定与第一权重平面的第二权重元素的权重值对应的第二目标平面；以及基于第二权重元素的偏移来在第二目标平面中确定第二目标区域，以及执行累积运算的步骤可包括：对第一目标区域的目标元素和第二目标区域的对应的目标元素进行累积。
14.第一目标区域可对应于用于单指令多数据(simd)操作的一维(1d)向量数据。
15.第一权重元素的偏移可对应于第一权重元素在第一权重平面中的位置。
16.可基于权重核的位精度来确定可用权重值的数量。
17.权重核的位精度可小于或等于3位。
18.第一输入平面的中间运算结果可对应于第一输入平面的乘法结果，以及生成基平面的步骤可包括：通过移位运算和加法运算而不是执行乘法运算来生成与乘法结果对应的基平面。
19.第一输入平面和第一权重平面可对应于多个输入通道之中的第一输入通道，以及第一输出平面可对应于多个输出通道之中的第一输出通道。
20.所述方法可包括：基于输入特征图的第二输入平面和权重核的第二权重平面生成第二累积数据，其中，生成第一输出平面的步骤可包括：通过对第一累积数据和第二累积数据进行累积来生成第一输出平面。
21.一种非暂时性计算机可读存储介质可存储指令，当所述指令被处理器执行时，配置处理器执行所述方法。
22.在另一个总体方面，一种神经网络层卷积运算设备包括：处理器，被配置为：获得输入特征图的第一输入平面和权重核的第一权重平面；基于权重核的可用权重值的至少一部分，生成与第一输入平面的中间运算结果对应的基平面；基于第一输入平面和基平面之中的与第一权重平面的权重元素值对应的至少一个平面来生成第一累积数据；以及基于第一累积数据生成输出特征图的第一输出平面。
23.为了生成第一累积数据，处理器可被配置为：在第一输入平面和基平面之中确定与第一权重平面的第一权重元素的权重值对应的第一目标平面，基于第一权重元素的偏移来在第一目标平面中确定第一目标区域，并且通过基于第一目标区域的目标元素执行累积
运算来生成第一累积数据。
24.处理器可被配置为：通过基于第一权重元素的偏移确定指向第一目标平面的不同区域的指针之中的指向第一目标区域的第一指针，来确定第一目标区域。
25.权重核的位精度可小于或等于3位。
26.第一输入平面的中间运算结果可对应于第一输入平面的乘法结果，以及处理器可被配置为：通过移位运算和加法运算而不是执行乘法运算来生成与乘法结果对应的基平面。
27.所述设备可包括：存储器，存储器存储指令，当所述指令被处理器执行时，配置处理器执行获得第一输入平面的步骤、生成基平面的步骤、生成第一累积数据的步骤以及生成第一输出平面的步骤。
28.一种电子设备可包括：上面的设备和相机，相机被配置为：基于检测的视觉信息生成输入图像，其中，上面的设备是处理器，并且输入特征图可对应于输入图像。
29.为了生成第一累积数据，处理器可被配置为：在第一输入平面和基平面之中确定与第一权重平面的第一权重元素的权重值对应的第一目标平面，基于第一权重元素的偏移在第一目标平面中确定第一目标区域，并且通过基于第一目标区域的目标元素执行累积运算来生成第一累积数据。
30.处理器可被配置为：通过基于第一权重元素的偏移确定指向第一目标平面的不同区域的指针之中的指向第一目标区域的第一指针，来确定第一目标区域。
31.第一输入平面的中间运算结果可对应于第一输入平面的乘法结果，以及处理器可被配置为：通过移位运算和加法运算而不是执行乘法运算来生成与乘法结果对应的基平面。
32.处理器可被配置为：基于输出特征图生成输入图像的分类结果、检测结果、跟踪结果、辨识结果、识别结果和认证结果中的任何一个或任何组合。
33.在另一总体方面，一种处理器实现的神经网络层卷积运算方法包括：获得输入特征图的输入平面和权重核的权重平面；生成与输入平面和权重核的可用权重值之间的乘法结果对应的基平面；基于权重元素的权重值和权重元素在权重平面中的位置，在基平面和输入平面之中确定与权重平面的权重元素对应的目标区域；以及通过对目标区域进行累积来生成输出特征图的输出平面的一部分。
34.生成基平面的步骤可包括：针对大于1的可用权重值的每个绝对值来生成基平面。
35.从下面的具体实施方式、附图和权利要求，其他特征和方面将是清楚的。
附图说明
36.图1示出用于处理与神经网络的层相关联的卷积运算的处理设备的操作的示例。
37.图2示出权重核与输入特征图之间的卷积运算的处理的示例。
38.图3a和图3b示出权重平面与输入平面之间的卷积运算的处理的示例。
39.图4示出基于输入平面和可用权重值生成基平面的处理的示例。
40.图5示出针对每个平面由指针指向的目标点的示例。
41.图6示出与卷积运算的运算结果对应的指针函数的示例。
42.图7示出由指针函数指向的目标区域的示例。
43.图8a和图8b示出基于向量数据处理卷积运算的处理的示例。
44.图9示出使用处理卷积运算的方法生成单个输出特征图的处理的示例。
45.图10示出使用处理卷积运算的方法生成单个输出平面的处理的示例。
46.图11示出用于处理与神经网络的层相关联的卷积运算的处理设备的配置的示例。
47.图12示出与处理设备相关联的电子设备的示例。
48.贯穿附图和具体实施方式，除非另有描述或提供，否则相同的附图参考标号将被理解为表示相同的元件、特征和结构。附图可不按比例，并且为了清楚、说明和方便，附图中的元件的相对大小、比例和描绘可被夸大。
具体实施方式
49.提供下面的具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本技术的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，在此描述的操作的顺序仅是示例，并且不限于在此所阐述的那些操作的顺序，而是除了必须以特定顺序发生的操作之外，可如在理解本技术的公开之后将清楚地那样被改变。此外，为了更加清楚和简明，已知的特征的描述可被省略。
50.在此描述的特征可以以不同的形式来实现，并且不应被解释为限于在此描述的示例。相反，已提供在此描述的示例仅是为了示出在理解了本技术的公开后将是清楚的实现在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式。
51.在下文中，将参照附图详细描述一些示例实施例。可对示例实施例进行各种修改。这里，示例实施例不被解释为限于公开，并且应当被理解为包括在公开的构思和技术范围内的所有改变、等同物和替换物。
52.在此使用的术语仅出于描述示例实施例的目的，而不意在限制本公开。如在此所使用的，除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。如在此所使用的，术语“和/或”包括相关联的所列项的中任何一个以及任何两个或更多个的任何组合。如在此所使用的，术语“包含”、“包括”和“具有”说明存在所陈述的特征、整体、步骤、操作、元件、组件、数量和/或它们的组合，但是不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件、数量和/或它们的组合。在此针对示例或实施例使用术语“可”(例如，关于示例或实施例可包括或实现什么)表示存在包括或实现这样的特征的至少一个示例或实施例，而所有的示例不限于此。
53.除非另有定义，否则在此使用的所有术语(包括技术术语或科学术语)具有与本公开所属领域的普通技术人员通常理解的含义和在本公开的理解之后的含义相同的含义。除非在此另有定义，否则术语(诸如在通用词典中定义的那些术语)应被解释为具有与相关领域和本公开的中的上下文含义匹配的含义，并且不应以理想化或过于形式化的含义来解释。
54.当参照附图描述示例实施例时，相同的参考标号表示相同的构成元件，并且与其相关的重复描述将被省略。在示例实施例的描述中，当认为公知的相关结构或功能的详细描述将导致对本公开的模糊解释时，将省略这样的描述。
55.此外，根据示例实施例，术语“第一”、“第二”、“a”、“b”、“(a)”、“(b)”等可在此用于描述组件。这些术语中的每个不用于限定相应组件的本质、次序或顺序，而是仅用于将相应
组件与一个或多个其他组件区分开来。尽管术语“第一”或“第二”在此用于描述各种构件、组件、区域、层或部分，但是这些构件、组件、区域、层或部分不应受这些术语的限制。相反，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分区分开。因此，在不脱离示例的教导的情况下，在此描述的示例中所称的第一构件、第一组件、第一区域、第一层或第一部分还可被称为第二构件、第二组件、第二区域、第二层或第二部分。
56.贯穿说明书，当元件(诸如，层、区域或基底)被描述为“在”另一元件“上”、“连接到”或“结合到”另一元件时，它可直接“在”所述另一元件“上”、直接“连接到”或直接“结合到”所述另一元件，或者可存在介于其间的一个或多个其他元件。相反，当元件被描述为“直接在”另一元件“上”、“直接连接到”或“直接结合到”另一元件时，可不存在介于其间的其他元件。同样地，例如“在
……
之间”和“紧在
……
之间”以及“与
……
相邻”和“紧与
……
相邻”的表述也可如前面所述来解释。
57.在一个示例实施例中，使用相似的名称来描述与包括在另一示例实施例中的组件具有共同功能的组件。除非另有描述，否则在一个示例实施例中进行的描述可适用于另一示例实施例，并且冗余范围内的详细描述被省略。
58.图1示出用于处理与神经网络(例如，神经网络110)的层相关联的卷积运算的处理设备(例如，处理设备100)的操作的示例。参照图1，处理设备100可处理与神经网络110相关联的操作。响应于与神经网络110相关联的操作被处理，神经网络110可执行用于神经网络110的训练的操作。例如，神经网络110的操作可包括图像识别(例如，基于图像的对象分类、对象检测、对象跟踪、对象辨识、对象识别或用户认证)。与神经网络110相关联的处理操作的至少一部分可由包括神经处理器的硬件或硬件和软件的组合来实现。处理设备100可以是例如移动电话、台式计算机、膝上型计算机、平板个人计算机(pc)、可穿戴装置、智能电视(tv)、智能车辆、安全系统、智能家居系统、智能家用电器等，或设置在例如移动电话、台式计算机、膝上型计算机、平板个人计算机(pc)、可穿戴装置、智能电视(tv)、智能车辆、安全系统、智能家居系统、智能家用电器等中。
59.神经网络110可对应于包括多个层的深度神经网络(dnn)。多个层可包括输入层、至少一个隐藏层和输出层。图1的第一层、第二层和第n层可以是多个层的至少一部分。例如，输入层可以是第一层，至少一个隐藏层可包括第二层至第n-1层，输出层可以是第n层(例如，n可以是大于2的整数)。神经网络110可包括全连接网络(fcn)、卷积神经网络(cnn)和递归神经网络(rnn)中的一个或多个。例如，神经网络110中的多个层的至少一部分可对应于cnn，并且另一部分可对应于fcn。在这个示例中，cnn可被称为卷积层，fcn可被称为全连接层。
60.在cnn中，输入到每个层的数据可被称为“输入特征图”，从每个层输出的数据可被称为“输出特征图”。输入特征图和输出特征图也可被称为激活数据。层的输出特征图可以是或可用于生成后续层的输入特征图。当卷积层对应于输入层时，输入层的输入特征图可对应于输入数据。例如，输入数据可以是输入图像或由输入图像的初始处理产生的数据。在一个示例中，神经网络的第一层的与输入图像对应的输入特征图是输入图像，神经网络的后一层的与输入图像对应的输入特征图是神经网络的前一层的输出特征图，神经网络的最后层的输出特征图用于生成图像识别结果。
61.神经网络110可基于深度学习被训练，并且可通过映射处于非线性关系的输入数
据和输出数据来执行适合于训练目的的推断。深度学习可以是用于解决诸如来自大数据集的图像识别的问题的机器学习方案。深度学习可被理解为解决优化问题以在基于准备的训练数据训练神经网络110的同时找到能量被最小化的点的处理。
62.通过深度学习的有监督学习或无监督学习，神经网络110的结构或与模型对应的权重可被获得或确定，并且输入数据和输出数据可通过权重彼此映射。例如，在神经网络110的宽度和深度足够大的情况下，神经网络110可具有大到足以实现任意功能的容量。当通过适当的训练处理基于足够大量的训练数据训练神经网络110时，可实现最佳性能。
63.在下面的描述中，神经网络110可被表示为“预训练的”，其中，“预”可指示在神经网络110被“开始”之前的状态。“开始的”神经网络110可指示神经网络110可准备好进行推断。例如，神经网络110的“开始”可包括将神经网络110加载到存储器中，或者在神经网络110被加载到存储器中之后将用于推断的输入数据输入到神经网络110。
64.处理设备100可在每个卷积层的输入特征图与权重核之间执行卷积运算以处理与每个卷积层相关联的运算，并且可基于卷积运算的运算结果来生成输出特征图。为了处理与神经网络110相关联的运算，包括乘法和累加(mac)运算的多个运算可被处理。此外，可消耗大量计算资源和时间来处理运算。一个或多个实施例的处理设备100可减轻神经网络110并执行高速运算处理，从而减少计算资源和时间的上述消耗，使得神经网络110也可在资源有限的环境(诸如，传感器环境或嵌入式环境(例如，移动终端))下被有效地实现。
65.对于神经网络110的高速和低功率操作，低的位精度可被应用于激活和权重。与激活相比，相对低的位精度可被分配给权重。激活和权重两者的位精度的降低可负面地影响网络性能(例如，准确度)。为了有效地保持网络性能，激活的位精度可被保持，并且权重的位精度可被降低。例如，激活可以以8位表示，并且权重可以以3位或更少位(例如，3位或2位)表示。
66.当权重以低的位精度表示时，在卷积运算期间可发生大量冗余运算，这将在下面进一步描述。以低的位精度表示权重可指示少量的权重值可以以低的位精度表示，因此，基于相同权重值的运算可被重复执行。由于重复执行mac运算的卷积运算的特性，所以这样的冗余可占据卷积运算的大部分。在一个或多个实施例中，将在卷积运算中使用的中间运算结果可被预先获得(secure)，并且将在卷积运算中使用的中间运算结果可用于执行卷积运算，因此，一个或多个实施例的处理设备100可减少在卷积运算期间可能发生的冗余。
67.图2示出权重核(例如，权重核210)与输入特征图(例如，输入特征图220)之间的卷积运算的处理的示例。参照图2，权重核210中的每个可具有“k
×k×
c”的尺寸，输入特征图220可具有“w
×h×
c”的尺寸，并且输出特征图230可具有“w
×h×
d”的尺寸。权重核210、输入特征图220和输出特征图230可各自包括具有预定的位精度的元素。例如，权重核210的元素可被称为“权重元素”，输入特征图220的元素可被称为“输入元素”，输出特征图230的元素可被称为“输出元素”。在一个示例中，可逐元素地执行运算(例如，卷积运算)。w、k和h可各自表示元素的数量。为了便于描述，权重平面的宽度和高度可与k相同，并且输入平面和输出平面可具有与“w
×
h”的尺寸相同的尺寸。然而，根据示例，权重平面的宽度和高度可彼此不同，或者输入平面和输出平面可具有不同的尺寸。
68.权重核210、输入特征图220和输出特征图230可各自包括多个平面。例如，权重核210中的每个可包括“c”个权重平面，输入特征图220可包括“c”个输入平面，输出特征图230
可包括“d”个输出平面。在这个示例中，“c”个权重平面和“c”个输入平面可分别对应于输入通道，“d”个输出平面可分别对应于输出通道(例如，“d”个输出平面可对应于数量为“d”的权重核210)。换句话说，“c”可对应于输入通道的数量，“d”可对应于输出通道的数量。
69.可基于权重核210与输入特征图220之间的卷积运算来生成输出特征图230。权重核210中的每个可具有“k
×k×
c”的尺寸，输入特征图220可具有“w
×h×
c”的尺寸，因此，权重核210与输入特征图220之间的卷积运算可对应于三维(3d)卷积运算。例如，第一输出平面231可被生成作为第一权重核211与输入特征图220之间的3d卷积运算的运算结果。
70.权重核210中的每个可被划分为多个权重平面，输入特征图220可被划分为多个输入平面，因此，3d卷积运算可利用多个2d卷积运算的组合来重建。例如，可通过对第一权重核211的权重平面与输入特征图220的输入平面之间的2d卷积运算的运算结果进行累积以生成输出特征图230的输出平面，来重建第一权重核211与输入特征图220之间的3d卷积运算。在这个示例中，可执行与同一输入通道对应的权重平面和输入平面(例如，第一权重平面212和第一输入平面221)之间的2d卷积运算。
71.例如，可通过第一权重平面212与第一输入平面221之间的卷积运算来生成第一运算结果。上述运算结果可被称为“累积平面”。当运算结果以2d平面的形式表示时，运算结果可被称为“累积平面”。当运算结果以一维(1d)向量的形式表示时，运算结果可被称为“累积向量”。此外，累积平面和累积向量可被统称为“累积数据”。
72.可通过输入特征图220的其他输入平面与第一权重核211的其他权重平面之间的卷积运算来生成其他累积平面。与输入特征图220和第一权重核211相关联的所有“c”个累积平面可被生成并被累积以生成第一输出平面231。可通过权重核210之中的另一权重核与输入特征图220之间的卷积运算，来生成输出特征图230的另一输出平面。当所有权重核210的卷积运算完成时，输出特征图230可被完全生成。
73.图3a和图3b示出权重平面与输入平面之间的卷积运算的处理的示例。图3a示出基于滑动窗口的卷积运算，图3b示出基于累积的卷积运算。基于累积的卷积运算可以是基于窗口的卷积运算的运算处理的重组。根据示例，可执行基于累积的卷积运算而不是基于滑动窗口的卷积运算。
74.参照图3a，通过输入平面310与权重平面320之间的卷积运算，可生成累积平面330。如上所述，累积平面330可对应于输出平面的部分数据，并且输出平面可通过对累积平面300和其他累积平面进行累积来生成。当权重平面320正沿着路径325(例如，对于权重平面320根据滑动步长滑动到的每个位置)滑动时，输入平面310与权重平面320之间的卷积运算可以是对针对输入平面310与权重平面320之间的重叠区域的逐元素乘法结果进行求和的处理。例如，累积平面330的第一元素可以是输入平面310与权重平面320之间的第一重叠区域的逐元素乘法结果之和，累积平面330的第二元素可以是输入平面310与权重平面320之间的第二重叠区域的逐元素乘法结果之和，其中，权重平面320沿着路径325以滑动步长从第一重叠区域滑动到第二重叠区域。
75.尽管在图3a中抽象地示出路径325，但是实际上可基于滑动步长来执行沿着路径325的滑动。为了便于描述，滑动步长可以是“1”。然而，根据示例，滑动步长可具有除了“1”之外的值(例如，大于“1”的整数)。权重平面320可基于滑动步长“1”以单个元素为单位进行滑动。此外，为了保持输入和输出的尺寸，通过零元素向量的零填充可被应用于输入平面
310的外部区域。因此，输入平面310可具有“(w 2)
×
(h 2)”的尺寸。
76.在图3a的示例中，权重平面320包括权重元素w1至w9。当权重平面320沿着路径325滑动时，各个权重元素w1至w9与输入平面310之间的重叠区域可具有冗余。因此，图3b的基于累积的卷积运算可有效地减少上述冗余。
77.参照图3b，可基于图3a的路径325在输入平面310中设置与权重元素w1、w2和w9分别对应的区域311、313和315。区域311、313和315可以是输入平面310的区域，在该区域中，当权重平面320沿着路径325滑动时，各个权重元素w1至w9中的每个与输入平面310重叠。例如，当权重平面320沿着路径325滑动时，权重元素w1可与除了输入平面310的两个最右侧元素列和两个最底部元素行之外的输入平面310重叠，因此，区域311可以是除了这些列和行之外的输入平面310。中间平面312、314和316可通过权重元素w1、w2和w9与各个区域311、313和315之间的乘法运算来生成。尽管在图3b中未示出，但是与权重元素w3至w8对应的区域也可被类似地设置，并且区域的中间平面可被类似地得到。当所有权重元素w1至w9的中间平面被生成时，可通过对生成的中间平面进行累积来生成累积平面330。当上述乘法运算的结果被表示为2d平面时，该结果可被称为“中间平面”。在另一示例中，当上述乘法运算的结果被表示为1d向量时，该结果可被称为“中间向量”。中间平面和中间向量可被统称为“中间数据”。
78.当权重元素具有相同的权重值时，可在权重元素的中间平面之间生成大量的冗余数据。例如，当权重元素w1和w2具有相同的权重值(如，“2”)时，可通过将同一输入平面310中的各个区域311和313的输入元素乘以权重值“2”来生成中间平面312和314。区域311和313可在相对宽的区域中重叠(例如，可与输入平面310的基本类似的区域重叠)，并且与相同的权重值的乘法可被执行，因此，大量的冗余数据可能在中间平面312和314之间生成。权重元素的权重值可被简称为“权重元素值”。
79.权重元素w1至w9可以以预定的位精度来表示。例如，权重元素w1至w9的位精度可由s指示。在这个示例中，权重元素w1至w9可具有“2^s”个可用权重值。当s减小时，可以以s表示的可用权重值的数量可减少，因此，权重元素具有相同值的概率可增加。在这个示例中，一个或多个实施例的处理设备100可通过对卷积运算处理进行重新组合来减少运算的冗余。根据示例，输入平面310的乘法结果可被预先获得作为中间运算结果，并且卷积运算可基于乘法结果来执行，因此，一个或多个实施例的处理设备100可减少在卷积运算期间可能发生的冗余。
80.图4示出基于输入平面和可用权重值生成基平面的处理的示例。参照图4，例如，可用权重值420包括
“‑
4”至“3”的值。在图4中，权重的位精度是3位。然而，图4仅示出示例，并且位精度不限于3位。位精度可具有除了“3”以外的各种值。例如，权重的位精度可被设置为低的位精度(例如，2位或4位)。在图4中，
“‑
4”至“3”的值是十进制表示。例如，
“‑
4”至“3”的值可分别对应于二进制表示(二进制补码)“100”至“011”。在下文中，将基于十进制表示来描述示例。
81.根据示例，为了执行卷积运算，输入平面410的乘法结果可被预先获得(例如，确定)作为卷积运算的中间运算结果。例如，基于可用权重值420的至少一部分，输入平面410的乘法结果可被预先获得。预先获得的乘法结果可被称为“基平面”，并且用于得到基平面的权重值可被称为“基权重值”。
82.在一个示例中，为了使用于获得乘法结果的运算的数量和用于存储获得的乘法结果的缓冲器空间最小化，最小数量的乘法结果可被获得。例如，可对权重值“0”执行零跳过，并且输入平面410可用于权重值“1”而无需改变。因此，可能无法单独地获得权重值“0”和“1”的乘法结果。此外，在具有相同绝对值的权重值(例如，
“‑
2”和“2”、
“‑
3”和“3”和/或
“‑
4”和“4”)的示例中，两个乘法结果中的一个可被获得。可对获得的乘法结果执行符号相关处理，因此，可将被执行符号相关处理的乘法结果用作另一乘法结果。
83.因此，针对“2^s”个可用权重值的乘法运算可通过基于“2^(s-1)-1”个权重值而获得的乘法结果来覆盖。因此，如图4中所示，可基于基权重值“2”、“3”和“4”来生成与输入平面410的乘法结果对应的第一基平面431、第二基平面432和第三基平面433。例如，为了便于计算，作为可用权重值420之中的最小值的
“‑
4”可被转换为“4”(“4”是
“‑
4”的绝对值)，并且可用作基权重值。
84.每个基平面可对应于基权重值与输入平面410之间的乘法结果。例如，第一基平面431可对应于基权重值“2”与输入平面410之间的乘法结果。此外，第二基平面432可对应于基权重值“3”与输入平面410之间的乘法结果，第三基平面433可对应于基权重值“4”与输入平面410之间的乘法结果。在这个示例中，每个乘法运算可对应于逐元素运算。
85.在一个示例中，可通过移位运算和加法运算而不是执行乘法运算(例如，直接乘法运算)，来生成与基平面对应的每个乘法结果。由于乘法运算比移位运算和加法运算需要更大数量的计算，因此，一个或多个实施例的处理设备100可通过使用移位运算和加法运算替代乘法运算来减少用于获得基平面的计算量。例如，当输入平面410由i表示时，可通过与移位运算对应的i》》1来生成第一基平面431。此外，可通过与移位运算和加法运算对应的i (i》》1)来生成第二基平面432，并且可通过与移位运算对应的i》》2来生成第三基平面433。
86.当基平面被获得时，基平面可被存储在缓冲器空间中并用于卷积运算。例如，第一基平面431可被存储在第一缓冲器中，第二基平面432可被存储在第二缓冲器中，第三基平面433可被存储在第三缓冲器中。
87.可基于权重平面的实际权重值，选择性地使用输入平面410和第一基平面431至第三基平面433中的至少一个平面。在一个示例中，当权重值为“2”时，区域(例如，目标区域)的至少一部分可从存储在第一缓冲器中的第一基平面431被提取，并且可用作中间数据。在另一示例中，当权重值为
“‑
3”时，区域(例如，目标区域)的至少一部分可从存储在第二缓冲器中的第二基平面432被提取，并且可用作中间数据。在这个示例中，中间数据的符号可被反转，或者减法运算而不是加法运算可在后续累积处理中被应用。如上所述，可基于权重平面的每个权重值使用每个基平面来生成中间数据，并且可通过对中间数据进行累积来生成累积数据。
88.图5示出针对每个平面由指针指向的目标点的示例。当第一基平面520、第二基平面530和第三基平面540被生成并被存储在缓冲器中时，输入平面510和第一基平面520至第三基平面540中的目标点可由输入平面510和第一基平面520至第三基平面540的指针指向。例如，目标点可包括存储器地址。
89.参照图5，可定义用于输入平面510和第一基平面520至第三基平面540的指针px_y。在指针px_y中，x表示平面标识符，y表示偏移标识符。例如，输入平面510的x可以是“0”，第一基平面520的x可以是“1”，第二基平面530的x可以是“2”，第三基平面540的x可以是“3”。可基于每个权重元素在权重平面中的位置来确定偏移。此外，x可以是“0”至x的整数，x可表示基平面的数量。y可以是“1”至y的整数，y可表示每个权重平面中的权重元素的数量。例如，当权重平面具有“3
×
3”的尺寸时，“y”可以是“9”。
90.在一个示例中，对于权重元素与输入平面510之间的乘法运算，可从输入平面510和第一基平面520至第三基平面540选择与权重元素的权重值对应的目标平面，并且可基于权重元素的偏移来确定目标平面的目标点。在上述处理中，指针可被确定为指向目标平面和目标点。例如，可基于权重元素的偏移从指向目标平面的不同区域的指针选择指向预定目标区域的指针。在一个示例中，当权重元素具有权重值
“‑
2”和偏移“5”时，目标区域可由指针p1_5指向。例如，目标点可对应于目标区域的起始地址。当通过上述处理确定权重平面的所有权重元素的目标区域时，可通过目标区域的目标元素的累积运算来完成权重平面的累积数据。
91.图6示出与卷积运算的运算结果对应的指针函数的示例，图7示出由指针函数(例如，图6的指针函数)指示的目标区域的示例。参照图6，通过输入平面610与权重平面620之间的卷积运算，可得到运算结果630。运算结果630可对应于累积数据。例如，输入平面610和与输入平面610相关的基平面之中的与权重平面620的第一权重元素的权重值“3”对应的第二基平面可被确定为第一目标平面，并且第一目标区域可基于第一权重元素的偏移“1”在第一目标平面中被确定。第一目标平面和第一目标区域可由第一权重元素的指针p2_1指向。
92.此外，输入平面610和与输入平面610相关的基平面之中的与权重平面620的第五权重元素的权重值“1”对应的输入平面610可被确定为第二目标平面，并且第二目标区域可基于第五权重元素的偏移“5”在第二目标平面中被确定。第二目标平面和第二目标区域可由第五权重元素的指针p0_5指向。
93.与第一权重元素和第五权重元素类似，第六权重元素的指针p2_6可被得到，第七权重元素的指针p1_7可被得到，第九权重元素的指针p1_9可被得到。由于其他权重元素具有权重值“0”，因此，可对其他权重元素执行零跳过。运算结果630可包括指针函数f。指针函数f可对指针和目标区域进行映射。图7示出与指针p2_1、p0_5、p1_9、p2_6和p1_7对应的平面的目标区域。在图7中，目标区域可对应于2d平面数据。与图7的示例不同，目标区域可对应于1d向量数据。例如，对于单指令多数据(simd)处理，目标区域可被定义为1d向量数据。simd可以是处理器通过单个指令处理多个数据的操作处理方案。
94.当使用指针函数得到目标区域时，可通过目标区域的目标元素的累积运算来完成权重平面620的累积数据。累积运算可对应于逐元素运算。与正权重值(例如，“3”、“1”和“2”)对应的目标区域的目标元素可基于加法运算被累积，与负权重值(例如，
“‑
3”和
“‑
2”)对应的目标区域的目标元素可基于减法运算被累积。
95.图8a和图8b示出基于向量数据处理卷积运算的处理的示例。可通过基于1d向量数据的simd处理来执行卷积运算，这将在下面进一步描述。在图8a和图8b中，simd的尺寸可对应于输入特征图的宽度w。
96.参照图8a，可基于用于simd处理的向量数据来执行权重平面810与输入平面820之间的基于累积的卷积运算。例如，可基于输入平面820的第一输入区域821与权重平面810之间的基于累积的卷积运算来生成累积平面800的累积向量801，可基于输入平面820的第二
输入区域822与权重平面810之间的基于累积的卷积运算来生成累积向量802。此外，可基于输入平面820的第三输入区域823与权重平面810之间的基于累积的卷积运算来生成累积向量803。第一输入区域821至第三输入区域823中的每个的高度可对应于权重平面810的高度。
97.图8b示出在基于输入平面820预先生成第一基平面830、第二基平面840和第三基平面850的状态下，在权重平面810与输入平面820之间执行基于累积的卷积运算的处理的示例。图8b示出图8a的第一输入区域821与权重平面810之间的卷积运算。
98.参照图8b，可在输入平面820和第一基平面830至第三基平面850中确定与权重平面810的权重元素对应的目标区域。例如，由指针p2_1指向的第二基平面840的第一目标区域841可被确定与第一权重元素“3”对应，由指针p0_5指向的输入平面820的第二目标区域825可被确定与第五权重元素“1”对应。此外，由指针p1_9指向的第一基平面830的第三目标区域831可被确定与第九权重元素“2”对应。第一目标区域841、第二目标区域825和第三目标区域831的目标元素可被分别存储在寄存器r1、r2和r3中。
99.另外，由指针p3_3指向的第三基平面850的第四目标区域851可被确定与第三权重元素
“‑
4”对应，由指针p3_7指向的第三基平面850的第五目标区域852可被确定与第七权重元素
“‑
4”对应。第四目标区域851和第五目标区域852的目标元素可被分别存储在寄存器r4和r5中。第一目标区域841、第二目标区域825、第三目标区域831、第四目标区域851和第五目标区域852中的每个的目标元素可对应于1d向量数据。
100.基于第一目标区域841、第二目标区域825、第三目标区域831、第四目标区域851和第五目标区域852中的每个的目标元素的累积运算可被执行。例如，存储在寄存器r1至r3中的目标元素可基于加法运算被累积在寄存器r6中。此外，存储在寄存器r4和r5中的目标元素可基于减法运算被累积在寄存器r6中。当与寄存器r1至r5相关联的累积运算完成时，与图8a的第一输入区域821和权重平面810之间的基于累积的卷积运算的运算结果对应的累积向量801可被存储在寄存器r6中。寄存器r6中的累积向量801可对应于输出平面860的第一输出区域861。
101.当输出平面860的第一输出区域861包括预先存储的累积向量时，累积向量可被加载到寄存器r6中，并且寄存器r1至r5中的目标元素可被累积在寄存器r6中。例如，当针对输出通道预先执行针对除了权重平面810之外的权重平面的卷积运算时，累积向量可被预先存储在第一输出区域861中。在一个示例中，当针对图8b的权重平面810的卷积运算是用于输出通道的初始卷积运算时，第一输出区域861可不包括预先存储的累积向量。在这个示例中，寄存器r1至r5中的目标元素可被累积在寄存器r6中，而不是执行上述加载操作。当针对与输出通道对应的所有权重平面的卷积运算完成时，完成的输出向量可被存储在第一输出区域861中。
102.图9示出使用处理卷积运算的方法生成单个输出特征图的处理的示例。参照图9，处理设备在操作910中获得第c输入平面ic，(例如，相应层的与输入图像对应的输入特征图的第c输入平面ic)并且在操作920中生成基平面bc。处理设备可基于权重核的可用权重值的至少一部分(例如，基权重)来生成与针对第c输入平面ic的乘法结果对应的基平面bc。处理设备可将第c输入平面ic和基平面bc中的至少一个存储在缓冲器中。
103.处理设备在操作930中获得权重平面并且在操作940中确定指针。例如，处理设备可在第c输入平面ic和基平面bc之中确定与权重平面的第一权重元素的权重值对应的第一目标平面，并且可基于第一权重元素的偏移来确定第一目标平面中的第一目标区域。处理设备可基于第一目标平面的标识符和第一目标区域的标识符(例如，偏移标识符)来确定指针。因此，处理设备可确定权重平面的每个权重元素的指针。例如，零跳过可被应用于具有值“0”的权重元素。
104.在操作950中，处理设备执行累积运算。例如，具有正权重值的元素可通过加法运算来累积，具有负权重值的元素可通过减法运算来累积。在操作960中，处理设备对输出进行累积。例如，处理设备可在输出平面的相应区域中对在操作950中累积的累积数据进行累积。
105.在操作970中，处理设备将d和d进行比较。当d和d不同时(即，当在“d”个权重核之中存在尚未完成对第c输入平面ic和基平面bc的操作的权重核时)，d可增加“1”，并且操作930可被执行。当d和d相同时(即，当针对所有“d”个权重核对第c输入平面ic和基平面bc的操作完成时)，可终止第c输入平面ic的累积运算。在操作980中，处理设备将c和c进行比较。当c和c不同时(即，当所有输入通道的累积运算未完成时)，c可增加“1”，并且操作910和操作930可被执行。当c和c相同时(即，当所有输入通道的累积完成时)，可终止相应层的累积卷积运算，这可指示该层的输出特征图完成。
106.图10示出使用处理卷积运算的方法生成单个输出平面的处理的示例。参照图10，处理设备在操作1010中获得输入特征图的第一输入平面和权重核的第一权重平面，在操作1020中基于权重核的可用权重值的至少一部分生成与第一输入平面的乘法结果对应的基平面，在操作1030中基于第一输入平面和基平面之中的与第一权重平面的权重元素值对应的至少一个平面来生成第一累积数据，并且在操作1040中基于第一累积数据生成输出特征图的第一输出平面。图1至图9、图11和图12的描述可适用于处理卷积运算的方法，并且进一步的描述在此不被重复。此外，本技术描述的用于处理卷积运算的方法可适用于神经网络中的需要卷积运算的层中的一些层(例如，一个或多个层)，需要卷积运算的层中的其他层可以通过现有的或其他的方式来处理卷积运算。
107.图11示出用于处理与神经网络的层相关联的卷积运算的处理设备(例如，处理设备1100)的配置的示例。参照图11，处理设备1100包括处理器1110(例如，一个或多个处理器)和存储器1120(例如，一个或多个存储器)。存储器1120可连接到处理器1110，并且可存储处理器1110能够执行的指令、将由处理器1110计算的数据或由处理器1110处理的数据。存储器1120可包括例如非暂时性计算机可读存储介质(例如，高速随机存取存储器(ram)和/或非易失性计算机可读存储介质(例如，至少一个磁盘存储装置、闪存装置或其他非易失性固态存储器装置))。在一个示例中，处理设备1100可以是或包括图1的处理设备100。
108.处理器1110可执行指令以执行参照上面的图1至图10和下面的图12描述的操作中的至少一个或全部。例如，处理器1110可获得输入特征图的第一输入平面和权重核的第一权重平面，可基于权重核的可用权重值的至少一部分来生成与第一输入平面的乘法结果对
应的基平面，可基于第一输入平面和基平面之中的与第一权重平面的权重元素值对应的至少一个平面来生成第一累积数据，并且可基于第一累积数据生成输出特征图的第一输出平面。此外，图1至图10和图12的描述也可适用于处理设备1100，并且进一步的描述在此不被重复。
109.图12示出与处理设备相关联的电子设备(例如，电子设备1200)的示例。图12示出电子设备1200的配置。电子设备1200可以是或包括图1的处理设备100和/或图11的处理设备1100。例如，电子设备1200可获得输入图像，并且可使用神经网络执行与输入图像相关联的操作。在一个示例中，电子设备1200可通过各种方式获得输入图像，例如，从内部的相机、内部的存储器、外部设备、外部网络等获得输入图像。与输入图像相关联的操作可包括例如图像识别。例如，电子设备1200可确定与输入图像对应的输入特征图，可通过神经网络的至少一个层生成与输入特征图对应的输出特征图，并且可基于输出特征图生成与输入图像相关联的图像识别结果(例如，图像中的对象的分类结果、检测结果、跟踪结果、辨识结果、识别结果和认证结果中的任何一个或任何组合)。
110.电子设备1200包括处理器1210(例如，一个或多个处理器)、存储器1220(例如，一个或多个存储器)、相机1230、存储装置1240、输入装置1250、输出装置1260和网络接口1270。处理器1210、存储器1220、相机1230、存储装置1240、输入装置1250、输出装置1260和网络接口1270可经由通信总线1280彼此通信。例如，电子设备1200可被实现为例如移动装置(诸如，移动电话、智能电话、个人数字助理(pda)、上网本、平板计算机或膝上型计算机)、可穿戴装置(诸如，智能手表、智能手环或智能眼镜)、计算装置(诸如，台式计算机或服务器)、家用电器(诸如，电视(tv)、智能tv或冰箱)、安全装置(诸如，门锁)和车辆(诸如，智能车辆)的至少一部分。
111.处理器1210可执行电子设备1200中的指令和功能。例如，处理器1210可处理存储在存储器1220或存储装置1240中的指令。处理器1210可执行上面参照图1至图12描述的操作中的至少一个操作。
112.存储器1220可存储用于卷积运算的处理的数据。存储器1220可包括非暂时性计算机可读存储介质或非暂时性计算机可读存储装置。存储器1220可存储将由处理器1210执行的指令，并且还可存储当软件和/或应用正被电子设备1200执行时与软件和/或应用相关联的信息。
113.相机1230可检测视觉信息，并且可基于检测的视觉信息生成输入图像(例如，照片和/或视频)。例如，相机1230可生成包括用户(例如，面部)的用户图像。在一个示例中，相机1230可提供包括与对象相关联的深度信息的三维(3d)图像。
114.存储装置1240可包括非暂时性计算机可读存储介质或非暂时性计算机可读存储装置。在一个示例中，存储装置1240可在相对长的时间段内存储比存储器1220更大量的信息。例如，存储装置1240可包括磁硬盘、光盘、闪存、软盘或本领域已知的其他形式的非易失性存储器。
115.输入装置1250可通过使用键盘和鼠标的传统输入方案以及通过新的输入方案(诸如，触摸输入、语音输入和图像输入)从用户接收输入。输入装置1250可包括例如键盘、鼠标、触摸屏、麦克风或被配置为从用户检测输入并将检测的输入发送到电子设备1200的其他装置。
116.输出装置1260可通过视觉通道、听觉通道或触觉通道向用户提供电子设备1200的输出。输出装置1260可包括例如显示器、触摸屏、扬声器、振动生成器或被配置以向用户提供输出的任何其他装置。网络接口1270可经由有线或无线网络与外部装置通信。
117.在此针对图1至图12描述的处理设备、处理器、存储器、电子设备、相机、存储装置、输入装置、输出装置、网络接口、通信总线、处理设备100、处理设备1100、处理器1110、存储器1120、电子设备1200、处理器1210、存储器1220、相机1230、存储装置1240、输入装置1250、输出装置1260、网络接口1270、通信总线1280、设备、单元、模块、装置和其他组件由硬件组件实现或代表硬件组件。可用于执行在本技术中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器以及被配置为执行在本技术中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行在本技术中描述的操作的硬件组件中的一个或多个硬件组件。可通过一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器或被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现处理器或计算机。在一个示例中，处理器或计算机包括或连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可执行用于执行在本技术中描述的操作的指令或软件(诸如，操作系统(os)和在os上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于本技术中描述的示例的描述，但是在其他的示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理元件或多种类型的处理元件或二者。例如，单个硬件组件或者两个或更多个硬件组件可通过单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可通过一个或多个处理器、或者处理器和控制器来实现，一个或多个其他硬件组件可通过一个或多个其他处理器、或者另外的处理器和另外的控制器来实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(sisd)多处理、simd多处理、多指令单数据(misd)多处理和多指令多数据(mimd)多处理。
118.图1至图12中示出的执行在本技术中描述的操作的方法通过计算硬件(例如，通过一个或多个处理器或计算机)来执行，计算硬件被实现为如上所述地执行指令或软件，以执行在本技术中描述的通过该方法执行的操作。例如，单个操作或者两个或更多个操作可通过单个处理器或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可通过一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其他操作可通过一个或多个其他处理器、或者另外的处理器和另外的控制器来执行。一个或多个处理器、或者处理器和控制器可执行单个操作或者两个或更多个操作。
119.用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置一个或多个处理器或计算机如机器或专用计算机那样进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或
多个处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的高级代码。可基于附图中所示的框图和流程图以及在此使用的对应描述使用任何编程语言来编写指令或软件，附图中所示的框图和流程图以及在此使用的对应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
120.用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd r、cd-rw、cd rw、dvd-rom、dvd-r、dvd r、dvd-rw、dvd rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态驱动器(ssd)、卡型存储器(诸如，多媒体卡或微型卡(例如，安全数字(sd)或极限数字(xd)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，任何其他装置被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并将所述指令或软件以及任何相关联的数据、数据文件和数据结构提供给一个或多个处理器或计算机，使得一个或多个处理器或计算机能执行指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得指令和软件以及任何相关联的数据、数据文件和数据结构由一个或多个处理器或计算机以分布式方式存储、访问和执行。
121.虽然本公开包括特定的示例，但是在理解本技术的公开之后将清楚，在不脱离权利要求及其等同物的精神和范围的情况下，可在这些示例中进行形式和细节上的各种改变。在此描述的示例应仅被认为是描述性的，而不是出于限制的目的。每个示例中的特征或方面的描述将被认为可适用于其他示例中的类似特征或方面。如果描述的技术以不同的顺序被执行，和/或如果描述的系统、架构、装置或电路中的组件以不同的方式被组合，和/或由其他组件或它们的等同物替换或补充，则可实现合适的结果。