用于异常检测的图像处理方法及设备和神经网络构建方法与流程

1.本公开涉及图像处理，更具体地，涉及用于异常检测的图像处理方法及设备、用于异常检测的神经网络的构建方法及设备以及计算机可读存储介质。


背景技术：

2.近年来，神经网络在图像处理领域具有广泛应用，已成为对图像中的目标或样本进行检测和分类的有效手段，例如将神经网络应用于产品缺陷检测、质量分析等各种场景。然而，在将神经网络应用于各种场景之前，通常需要利用大量训练数据对其训练，从而获得具有足够精度的神经网络模型。
3.现有神经网络训练方法通常需要使用大量的带有人工标签的训练数据，其通常难以获得并需要花费大量的人工标注工作，导致训练过程耗时耗力。与此同时，在对训练数据进行标注的过程中，还可能发生人工判别不准确导致输入错误标签的情形，从而对神经网络的训练造成不利影响。另一方面，尽管现有的训练方法中利用了大量的训练数据进行训练，但这些训练数据仍然无法对待检测目标或样本的所有情况进行穷举，导致训练后的神经网络无法对检测目标的未见情况进行鲁棒性检测，尤其是在多种待检测目标之间极为相似的细粒度分类场景下，很难得到令人满意的分类结果。
4.因此，需要一种基于神经网络的细粒度分类技术，其可以避免对大量训练数据的收集和人工标注工作，并且对未见样本异常具有一定的鲁棒性。


技术实现要素：

5.根据本公开的一个方面，提供了一种用于异常检测的图像处理方法，包括：获取包含待检测样本的输入图像；基于所述输入图像，分别利用异常样本生成网络和正常样本生成网络生成第一异常样本生成图像和第一正常样本生成图像；以及至少基于所述输入图像与所述第一异常样本生成图像和第一正常样本生成图像之间的相似度，确定所述输入图像中的待检测样本是否存在异常。
6.根据本公开的另一方面，提供了一种用于异常检测的图像处理设备，包括：处理器；以及存储器，存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取包含待检测样本的输入图像；基于所述输入图像，分别利用异常样本生成网络和正常样本生成网络生成第一异常样本生成图像和第一正常样本生成图像；以及至少基于所述输入图像与所述第一异常样本生成图像和第一正常样本生成图像之间的相似度，确定所述输入图像中的待检测样本是否存在异常。
7.根据本公开的另一方面，提供了一种用于异常检测的图像处理设备，包括：输入图像获取单元，被配置为获取包含待检测样本的输入图像；异常样本生成单元，被配置为基于所述输入图像，利用异常样本生成网络生成第一异常样本生成图像；正常样本生成单元，被配置为基于所述输入图像，利用正常样本生成网络生成第一正常样本生成图像；以及待检测样本分类单元，被配置为至少基于所述输入图像与所述第一异常样本生成图像和第一正
常样本生成图像之间的相似度，确定所述输入图像中的待检测样本是否存在异常。
8.根据本公开的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令在被执行时实现以下步骤：获取包含待检测样本的输入图像；基于所述输入图像，分别利用异常样本生成网络和正常样本生成网络生成第一异常样本生成图像和第一正常样本生成图像；以及至少基于所述输入图像与所述第一异常样本生成图像和第一正常样本生成图像之间的相似度，确定所述输入图像中的待检测样本是否存在异常。
9.根据本公开的另一方面，提供了一种异常检测神经网络的构建方法，所述异常检测神经网络至少包括异常样本生成网络、正常样本生成网络和分类网络，所述方法包括：获取训练图像，所述训练图像包含异常样本或正常样本；利用所述异常样本生成网络和正常样本生成网络，基于所述训练图像分别生成第一异常样本生成图像和第一正常样本生成图像；利用所述分类网络，至少基于所述训练图像与所述第一异常样本生成图像和第一正常样本生成图像之间的相似度，对所述训练图像中的样本是异常样本还是正常样本进行分类预测；以及基于对所述训练图像中的样本是异常样本还是正常样本进行分类预测的损失，更新所述异常检测神经网络的参数。
10.根据本公开的另一方面，提供了一种异常检测神经网络的构建设备，所述异常检测神经网络至少包括异常样本生成网络、正常样本生成网络和分类网络，所述构建设备包括：处理器；以及存储器，存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：获取训练图像，所述训练图像包含异常样本或正常样本；利用所述异常样本生成网络和正常样本生成网络，基于所述训练图像分别生成第一异常样本生成图像和第一正常样本生成图像；利用所述分类网络，至少基于所述训练图像与所述第一异常样本生成图像和第一正常样本生成图像之间的相似度，对所述训练图像中的样本是异常样本还是正常样本进行分类预测；以及基于对所述训练图像中的样本是异常样本还是正常样本进行分类预测的损失，更新所述异常检测神经网络的参数。
11.根据本公开的另一方面，提供了一种异常检测神经网络的构建设备，所述异常检测神经网络至少包括异常样本生成网络、正常样本生成网络和分类网络，所述构建设备包括：训练图像获取单元，被配置为获取训练图像，所述训练图像包含异常样本或正常样本；异常样本生成单元，被配置为利用所述异常样本生成网络，基于所述训练图像生成第一异常样本生成图像；正常样本生成单元，被配置为利用所述正常样本生成网络，基于所述训练图像生成第一正常样本生成图像；样本分类预测单元，被配置为利用所述分类网络，至少基于所述训练图像与所述第一异常样本生成图像和第一正常样本生成图像之间的相似度，对所述训练图像中的样本是异常样本还是正常样本进行分类预测；以及神经网络更新单元，被配置为基于对所述训练图像中的样本是异常样本还是正常样本进行分类预测的损失，更新所述异常检测神经网络的参数。
12.根据本公开的再一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令在被执行时实现用于至少包括异常样本生成网络、正常样本生成网络和分类网络的异常检测神经网络的构建的以下步骤：获取训练图像，所述训练图像包含异常样本或正常样本；利用所述异常样本生成网络和正常样本生成网络，基于所述训练图像分别生成第一异常样本生成图像和第一正常样本生成图像；利用所述分类网
络，至少基于所述训练图像与所述第一异常样本生成图像和第一正常样本生成图像之间的相似度，对所述训练图像中的样本是异常样本还是正常样本进行分类预测；以及基于对所述训练图像中的样本是异常样本还是正常样本进行分类预测的损失，更新所述异常检测神经网络的参数。
附图说明
13.从下面结合附图对本公开实施例的详细描述中，本公开的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中：
14.图1示出了可应用本公开实施例的细粒度分类技术的示意性场景。
15.图2示出了根据本公开实施例的用于异常检测的图像处理方法的流程图。
16.图3示出了根据本公开实施例的用于异常检测的图像处理方法的示意图。
17.图4示出了根据本公开实施例的基于输入图像而生成第一异常样本生成图像的异常样本生成网络的示意图。
18.图5示出了根据本公开实施例的基于输入图像而生成第一正常样本生成图像的正常样本生成网络的示意图。
19.图6示出了根据本公开实施例的异常检测神经网络的构建方法的流程图。
20.图7示出了根据本公开实施例的异常检测神经网络的构建方法的示意图。
21.图8示出了根据本公开实施例的对训练图像以及异常样本生成图像和正常样本生成图像进行域预测损失计算的示意图。
22.图9示出了根据本公开实施例的通过两个生成网络进行样本重构时的重构损失计算的示意图。
23.图10示出了根据本公开实施例的计算训练图像与异常样本生成图像和正常样本生成图像之间的相似度并据此计算相似度损失的示意图。
24.图11示出了根据本公开实施例的用于异常检测的图像处理设备的示意性硬件框图。
25.图12示出了根据本公开实施例的用于异常检测的图像处理设备的示意性结构框图。
26.图13示出了根据本公开实施例的异常检测神经网络的构建设备的示意性硬件框图。
27.图14示出了根据本公开实施例的异常检测神经网络的构建设备的示意性结构框图。
具体实施方式
28.为了使本领域技术人员更好地理解本公开，下面结合附图和具体实施方式对本公开作进一步详细说明。
29.首先参照图1来描述可应用本公开实施例的基于神经网络的细粒度分类技术的示意性场景。作为示意性举例，产品缺陷检测是可以应用神经网络进行分类任务的一种常见的场景，并且是产品质量控制中非常重要的功能。例如，车辆门把手等零配件在组装过程中会经常遇到颜色、型号等混装的质量问题，也会遇到零配件出现喷漆不均、划伤等其他缺陷
情况。因此，对拍摄了车辆门把手零配件的图像进行分类任务(例如，将其分类为正常、异常、低质量、中等质量、高质量等等)以对其进行缺陷检测，可以有助于对产品进行质量控制并且规范厂家进行高可靠性生产。例如，以车辆门把手零配件的组装场景为例，在正常情况下，在一个组装件里的门把手应该具有相同的颜色并且形状上应属于同一类型，如图1的左侧所示，车辆门把手的各零配件均具有统一的颜色和形状，因此可以视为正常的门把手组装件或正常的样本；而在异常情况下，不同颜色和类型的车辆门把手零配件可能会错误地被打包在一起，并且个别零配件中也可能出现划伤等其他缺陷情况，如图1的右侧所示，车辆门把手的各零配件虽然具有相同的形状但却出现了颜色异常(即，右上方的零配件颜色过深)，因此可以视为异常的门把手组装件或异常的样本。
30.为了对拍摄图像中的待检测样本进行分类任务以便进行缺陷检测，例如同样是在车辆门把手零配件的组装场景下，目前通常的做法是：通过将产品组装过程中的各种情况下拍摄的大量样本图像作为训练数据，以人工方式对其添加标签后提供给神经网络进行学习，从而利用训练后的神经网络模型对后续拍摄图像中的待检测目标或样本进行分类，从而判断相应的组装件中是否存在颜色、型号混装以及零配件喷漆不均、存在划伤等异常情况，以便根据检测结果对异常产品进行分拣或者据此规范生产行为等。
31.然而，如以上所讨论的，由于诸如车辆门把手等新颜色、新型号的产品在不断生产中，并且个别零件的损伤可能具有任意的形态，而现实中通常无法对颜色、型号等混装以及零件损伤的异常情况进行穷举。因此，即便基于大量的带有人工标注的训练数据进行了神经网络模型训练，训练后的神经网络的分类能力也非常有限，对未见样本情况的鲁棒性和泛化能力并不好。因此，如何对未见样本异常进行鲁棒、自动地检测是一个亟待解决的问题。除此之外，由于拍摄过程中非常容易受到光照条件的影响，导致不同颜色、型号的产品获得的图像极为相似，一方面导致了创建人工标签的过程中容易发生错误标签输入的问题，另一方面在这种待检测的各类目标之间极为相似的细粒度分类场景下带来了更有难度的挑战(例如，与在“猫”和“狗”图像这种类间差异非常明显的分类任务相比)。总而言之，现有的神经网络不仅需要大量带有人工标注的训练图像进行训练，显著地增加了神经网络训练的时间和人工成本并且容易受到错误标签输入的影响，而且对于未见样本异常的鲁棒性检测以及细粒度分类任务方面而言无法提供预期准确度的分类结果，无法满足现如今的分类场景的不断增长的要求。
32.有鉴于此，为了减少神经网络在训练时所需的人工标注工作量，并且使神经网络对未见样本情况具有较强的鲁棒性，同时在细粒度分类任务中具有良好表现，本公开提出了基于生成对抗网络思想的细粒度分类技术：一方面，在对用于异常检测的神经网络进行训练的过程时，可以分别通过多个生成网络来生成相应类型的样本图像，从而减轻了对于大量训练样本及其标签输入工作量的需要，并且减轻了错误标注对训练过程的不利影响，使得训练得到的神经网络模型在细粒度分类任务和对未见异常的鲁棒性检测方面均具有良好表现。另一方面，在对拍摄图像中的待检测样本进行分类时，可以考虑拍摄图像与各个生成网络所生成的相应类型样本图像之间的相似度，从而不仅提供了细粒度的分类结果，同时对未见样本异常具有一定的鲁棒性。简言之，本公开提出的基于生成对抗网络思想的细粒度分类技术属于一种端到端的分类技术，其不需要大量训练数据和人工标注工作就能够鲁棒地检测出未见异常，提供具有高准确度的细粒度分类结果。
33.应当理解，此处以及下文中为了便于说明，以待检测目标或样本为车辆门把手组装件作为示例，对本公开提出的基于生成对抗网络思想的细粒度分类技术进行描述。但是可以理解，本公开的基于生成对抗网络思想的细粒度分类技术还可以应用于路面检测、芯片表面缺陷检测、产品质量等级划分等各种场景，本公开不以此为限。另外，本公开所提出的基于生成对抗网络思想的细粒度分类技术也不限于对正常和异常两种情况进行分类，而是可以对待检测样本进行更多种类的划分，例如，本公开的细粒度分类技术可以用于对产品的质量等级(例如，等级1～等级10)进行细粒度分类。在本公开的实施例中，待检测样本和待检测目标等术语可以互换使用，用于指代需要对其进行分类以判断其是否具有颜色或形状异常、是否具有缺陷、属于哪个质量等级的一个或多个待测对象。例如，本公开提出的基于生成对抗网络思想的细粒度分类技术可以对单个对象进行分类任务或者对于多个对象构成的整体进行分类任务，本公开不对此进行限制。另外，在本公开的实施例中，正常样本和异常样本可以是相对的概念，例如，异常样本可以是指具有需要引起关注的特性的样本，但不限于此，本领域技术人员可以将正常样本或异常样本定义为具有任何感兴趣的特性方面的样本。
34.用于异常检测的图像处理方法
35.图2示出了根据本公开实施例的用于异常检测的图像处理方法的流程图。图3示出了根据本公开实施例的用于异常检测的图像处理方法的示意图。下面具体结合图2和图3描述该用于异常检测的图像处理方法。
36.如图2所示，在步骤s101，获取包含待检测样本的输入图像。所获取的输入图像可以是相机拍摄的静态图像，还可以是视频图像中的一帧视频帧。另外，所获取的输入图像可以是灰度图或彩色图，在此不做限制。另外，该输入图像可以是在各种拍摄环境和拍摄参数下拍摄的图像，并且所拍摄的图像中的样本可以具有不同的类型，诸如正常样本或异常样本。考虑到拍摄过程中非常容易受到光照条件的影响，针对不同类型的样本所拍摄的图像之间可能极为相似，因此需要对其进行细粒度的分类任务。可以理解，该步骤s101中的待检测样本可以是指需要对其进行分类以判断其是否具有颜色或形状异常、是否具有缺陷、属于哪个质量等级等等的样本。
37.在步骤s102，基于所述输入图像，分别利用异常样本生成网络和正常样本生成网络生成第一异常样本生成图像和第一正常样本生成图像。为了考虑待检测输入图像与各种类型样本图像中的哪一个更为相似以便进行细粒度分类任务，该步骤s102中利用各种生成网络来生成相应类型的样本生成图像。本文中所提到的生成网络是指生成对抗网络(gan)中的生成网络，该生成对抗网络是一种无监督的机器学习模型，能够在基于有限数量的训练样本进行学习后提供与真实世界图像足够相似的新的图像。作为示意性举例，在本实施例中，由于后续需要将输入图像与借助于生成网络所生成的样本生成图像进行相似度比较从而判别输入图像中样本是正常还是异常，因此可以利用经过学习后的异常样本生成网络来提供与真实世界中的异常样本图像足够相似的新的异常样本生成图像，并且可以利用经过学习后的正常样本生成网络来提供与真实世界中的正常样本图像足够相似的新的正常样本生成图像。可以理解，在其他的分类场景下，例如在高质量样本、中等质量样本和低质量样本之间进行分类的任务中，还可以采用经过学习的高质量样本生成网络、中等质量样本生成网络和低质量样本生成网络来生成相应类型的与真实世界图像足够相似的新的生
成图像，从而基于相似度比较来进行分类任务。可以理解，上述各个生成网络仅是本公开的基于生成对抗网络思想的细粒度分类任务中可以涉及的生成网络的示例，并且可以采用各种方式来构造如上所述的各个生成网络中的任一个，只要经过学习后的生成网络能够生成与真实世界图像足够相似的所需类型生成图像即可，本公开中不对生成网络的具体构成和学习方式进行限制。例如，如图3所示，可以将输入图像输入到异常样本生成网络，从而基于输入图像而生成第一异常样本生成图像，并且可以将输入图像输入到正常样本生成网络，从而基于输入图像而生成第一正常样本生成图像。本领域技术人员可以理解，可以通过多种方式来构造并且训练相应的生成网络，从而利用相应的生成网络来生成各种所需类型的样本生成图像以供细粒度分类任务使用。
38.为了说明的完整性，以下结合图4和图5描述根据本公开实施例的利用各个生成网络基于输入图像而生成相应类型的样本生成图像的示例。可以理解，为了示意性描述本公开的实施例，本文列举了诸如颜色、形状等传统图像特征，但是本公开的实施例不限于只能提取和依赖这些特征。例如，本公开的实施例中还可以基于卷积神经网络(cnn)等模型进行特征提取，其能够在多个语义层次上提取更复杂的特征，而不是有限的低层次特征。
39.图4示出了根据本公开实施例的基于输入图像而生成第一异常样本生成图像的异常样本生成网络的示意图。如图4所示，可以将包含待检测样本的输入图像提供至异常样本生成网络，并经由图示的编码过程(编码器)和解码过程(解码器)以获取包含缺陷的第一异常样本生成图像。在编码过程中，可以利用异常样本生成网络中多组采用不同参数的卷积、归一化和池化过程的处理来提取不同尺度的图像特征。首先，可以对输入图像进行卷积，得到卷积映射。然后，可以利用线性校正单元和批量归一化方法对卷积映射进行归一化，得到归一化卷积映射。随后，可以对归一化卷积映射进行最大池化或者平均池化处理。为了获得丰富的多尺度特征，可以在上述过程中对各个相关参数进行调整，并多次重复上述过程，通过多次下采样过程提取多尺度的特征映射。最后，可以在解码过程中通过卷积、归一化和上采样等方法恢复特征映射的分辨率，并得到包含缺陷的第一异常样本生成图像。
40.可以理解，以上所描述的通过编码器和解码器来构造异常样本生成网络仅是实现异常样本生成网络的一种示意性举例。实践中，该异常样本生成网络还可以具有不同的构成和实现方式，本公开不对此进行限制。需说明的是，本公开实施例中的异常样本生成网络在生成异常样本生成图像时，主要是基于引入随机异常噪声的方式来模拟出各种类型的异常。在本公开中，随机异常噪声可以被添加到待处理的输入图像中，从而在该输入图像中模拟出诸如形状、颜色、灰度或图案等各种方面的异常。例如，当输入图像是彩色图像并且需要模拟颜色异常时，则可以通过在输入图像中引入随机异常噪声从而使得该输入图像的局部区域的颜色变化为另一种颜色；又例如，当输入图像是灰度图像并且需要模拟灰度异常时，则可以通过在输入图像中引入随机异常噪声从而使得该输入图像的局部区域的灰度发生过深或过浅的变化；再例如，当输入图像是灰度图像或彩色图像中任一者并且需要模拟形状异常时，可以通过在输入图像中引入随机异常噪声从而使得该输入图像中的样本的轮廓线发生变化，从而模拟出样本的缺口、划痕等异常形状变化；等等。可以理解，通过引入随机异常噪声的方式，可以从输入图像中生成包含真实世界中可能存在的各种异常的样本生成图像，从而更为贴近真实世界中的样本图像。
41.根据本公开的示例性实施例，异常样本生成网络可以在输入图像中提取待检测样
本，并对待检测样本应用随机异常噪声，从而生成第一异常样本生成图像。例如，异常样本生成网络可以在输入图像中提取与待检测样本对应的主轮廓，比如说可以将具有预定义属性(例如，大小和方向)的轮廓作为待检测样本的主轮廓，并且然后将主轮廓内的图像部分识别为待检测样本，从而对输入图像的主轮廓内的图像部分应用随机异常噪声以生成异常样本生成图像。例如，图4中示出了异常样本生成网络可以根据输入图像而生成第一异常样本生成图像，并且如图4右侧所示，所生成的第一异常样本图像可以包含具有颜色异常的样本，即，右下方的零部件具有颜色异常缺陷。本领域技术人员可以理解，通过随机异常噪声引入的模拟异常可以模拟出样本的任意形状、颜色或图案等各种方面的异常，诸如存在颜色混装、产品颜色不均和产品划痕等，从而模拟出现实世界情况中可能存在的各种异常情况。
42.作为示意性举例，对于随机异常噪声的引入方式，在本公开的实施例中，可以对于编码器中所提取到的特征映射应用随机异常噪声，从而生成异常样本生成图像。例如，可以利用异常样本生成网络(例如，利用异常样本生成网络的编码器中的卷积层等)提取待检测样本的特征映射，并对特征映射应用随机异常噪声矩阵，以生成第一异常样本生成图像。可以理解，可以通过各种合适的方式来选择随机异常噪声矩阵以便应用到待检测样本的特征映射。作为示意性举例，本公开实施例中可以首先从随机异常噪声向量中构造出随机异常噪声矩阵，进而将其与待检测样本的特征映射进行组合。可以采用多种方式将随机异常噪声向量转换为随机异常噪声矩阵，并且也可以采用多种方式将随机异常噪声矩阵与待检测样本的特征映射进行组合，例如，可以通过对随机异常噪声向量进行多次插值和卷积以将其转换成矩阵，然后将其作为特征映射以拼接、相加、相乘等方式组合到待检测样本的特征映射，从而得到组合后的特征映射以包含通过随机异常噪声模拟出的异常样本。
43.除此之外，发明人还注意到，由于现实拍摄过程中可能具有不同的拍摄条件，例如不同的拍摄环境和拍摄设备参数等，所以待检测的输入图像中携带了一定程度的因拍摄条件引入的环境噪声。有鉴于此，为了使得后续进行图像间(或通道间)相似度比较更为准确，本公开实施例中的异常样本生成网络在生成相应的异常样本生成图像时也可以添加相应的环境噪声，以使得所生成的异常样本生成图像贴近真实世界中的异常样本图像。根据本公开的实施例，异常样本生成网络可以在接收到输入图像后，对其应用环境噪声，从而使得生成的异常样本生成图像中也携带了环境噪声，从而更为逼近真实世界中的异常样本图像。需说明的是，环境噪声的引入方式与以上所描述的模拟样本异常过程中随机异常噪声引入方式是类似的，例如将环境噪声矩阵(例如，其可以通过环境噪声向量而构造)应用到输入图像或从输入图像中提取的特征映射，在此不予赘述。
44.图5示出了根据本公开实施例的基于输入图像而生成第一正常样本生成图像的正常样本生成网络的示意图。如图5所示，可以将包含待检测样本的输入图像提供至正常样本生成网络，并经由图示的编码过程(编码器)和解码过程(解码器)以获取不含缺陷的第一正常样本生成图像。与以上结合图4所描述的类似的，在编码过程中，可以利用正常样本生成网络中多组采用不同参数的卷积、归一化和池化过程的处理来提取不同尺度的图像特征。首先，可以对输入图像进行卷积，得到卷积映射。然后，可以利用线性校正单元和批量归一化方法对卷积映射进行归一化，得到归一化卷积映射。随后，可以对归一化卷积映射进行最大池化或者平均池化处理。为了获得丰富的多尺度特征，可以在上述过程中对各个相关参
数进行调整，并多次重复上述过程，通过多次下采样过程提取多尺度的特征映射。最后，可以在解码过程中通过卷积、归一化和上采样等方法恢复特征映射的分辨率，并得到不含缺陷的第一正常样本生成图像。
45.可以理解，以上所描述的通过编码器和解码器来构造正常样本生成网络仅是实现正常样本生成网络的一种示意性举例。实践中，该正常样本生成网络还可以具有不同的构成和实现方式，本公开不对此进行限制。需说明的是，本公开实施例的正常样本生成网络在生成正常样本生成图像时对输入图像进行的处理，可以被视为结合图4所描述的通过异常样本生成网络来生成异常样本生成图像的逆处理，即，从输入图像中移除异常噪声的方式来得到不含缺陷的正常样本生成图像。根据本公开的示例性实施例，正常样本生成网络可以在输入图像中提取待检测样本，识别待检测样本中的异常噪声并将所述异常噪声移除，从而生成第一正常样本生成图像。例如，正常样本生成网络可以在输入图像中提取与待检测样本对应的主轮廓，并且将主轮廓内的图像部分识别为待检测样本，从而对输入图像的主轮廓内的图像部分进行异常噪声的移除从而生成正常样本生成图像。例如，图5中示出了正常样本生成网络可以根据输入图像而生成第一正常样本生成图像，并且如图5右侧所示，所生成的第一正常样本图像可以具有统一的形状和颜色(即，不含有组装异常)。本领域技术人员可以理解，正常样本生成网络可以通过对历史异常样本数据的学习来移除任何类型的异常噪声，例如可以移除对应于任意形状、颜色或图案等各种方面异常的异常噪声。
46.作为示意性举例，对于异常噪声的移除方式，在本公开的实施例中，可以对于编码器中所提取到的特征映射识别并移除异常噪声，从而生成正常样本生成图像。例如，可以利用正常样本生成网络(例如，利用正常样本生成网络的编码器中的卷积层等)提取待检测样本的特征映射，并从待检测样本的特征映射中移除与历史样本异常对应的异常噪声，以生成第一正常样本生成图像。可以理解的是，与向输入图像中引入随机异常噪声类似的，移除噪声的处理同样可以是对于待检测样本的特征映射的矩阵进行的，从而使得所生成的正常样本生成图像中不包含缺陷。
47.除此之外，发明人考虑到，即便对于同一正常样本，其在不同的拍摄条件下会具有不同的样貌，而不会在各个图像中都是完全一致的。换言之，现实世界中的正常样本图像中也都会携带一定程度的因拍摄条件引入的环境噪声。有鉴于此，为了使得后续进行图像间(或通道间)相似度比较更为准确，本公开实施例中的正常样本生成网络在生成相应的正常样本生成图像时也可以添加相应的环境噪声，以使得所生成的正常样本生成图像贴近真实世界中的正常样本图像。根据本公开的实施例，正常样本生成网络可以在接收到输入图像后，对其应用环境噪声，从而使得所生成的正常样本生成图像中也携带了环境噪声，从而更为逼近真实世界的正常样本图像。需说明的是，环境噪声的引入方式与以上所描述的模拟样本异常过程中随机异常噪声引入方式是类似的，例如将环境噪声矩阵应用到输入图像或从输入图像中提取的特征映射，在此不予赘述。
48.以上描述了在输入图像中添加随机异常噪声的方式来生成异常样本生成图像，以及从输入图像中移除异常噪声的方式来生成正常样本输入图像。可以理解的是，本公开实施例中的两种生成网络均可以对两种类型的样本图像进行编码和解码处理以生成相应的样本生成图像。例如，通过对异常样本生成网络进行训练和学习，异常样本生成网络可以接收异常样本图像和正常样本图像，并且将两者均转换为包含缺陷的异常样本生成图像；通
过对正常样本生成网络进行训练和学习，正常样本生成网络同样可以接收异常样本图像和正常样本图像，并且将两者均转换为不含缺陷的正常样本生成图像。
49.返回图2，在步骤s103，至少基于所述输入图像与所述第一异常样本生成图像和第一正常样本生成图像之间的相似度，确定所述输入图像中的待检测样本是否存在异常。例如，该步骤s103中，可以将输入图像、第一异常样本生成图像和第一正常样本生成图像沿通道维度进行拼接以生成多通道拼接图像，并且利用分类网络对多通道拼接图像进行特征提取，以基于多通道拼接图像的通道间特征相似度来确定待检测样本是否存在异常。可以理解，本公开实施例中所使用的分类网络可以采用多种方式来实现，例如其可以由卷积层、池化层和softmax层组成，从而根据对多通道拼接图像进行特征提取及判别，来基于通道间特征相似度确定输入图像中的待检测样本是否存在异常。
50.可以理解，本公开实施例对输入图像与所生成的异常样本生成图像和正常样本生成图像进行维度拼接或进行串联后，可以得到具有多个通道的新的图像，其中通道的数目等于接收到的图像的通道的数目。另外需说明的是，本公开对多个图像进行通道拼接和串联的处理，是指将多个通道作为整体同时输入到分类网络中进行分类判别，但本公开并不对拼接或串联的具体操作形式进行限制。在本示例中，可以依据对应于输入图像的通道的图像特征与对应于异常/正常样本生成图像的通道的图像特征之间的相似度，来确定输入图像中的待检测样本的类型。例如，假设与输入图像对应的通道的图像特征与对应于异常样本生成图像的通道的图像特征相似度越高，则说明输入图像中的待检测样本为异常类型的概率越高，那么分类网络可以将输入图像中待检测样本的类型确定为异常；假设与输入图像对应的通道的图像特征与对应于正常样本生成图像的通道的图像特征相似度越高，则说明输入图像中的待检测样本为正常类型的概率越高，那么分类网络可以将输入图像中待检测样本的类型确定为正常。
51.另需说明的是，以上结合图4和图5描述了异常样本生成网络和正常样本生成网络根据输入图像，各自生成第一异常样本生成图像和第一正常样本生成图像的处理，但本公开不对各个生成网络的输入/输出图像的数量和种类进行限制。例如，如图4中虚线框和虚线箭头所示的，异常样本生成网络还可以基于已生成的第一正常样本生成图像，来生成第二异常样本生成图像，并且如图5中虚线框和虚线箭头所示的，正常样本生成网络还可以基于已生成的第一异常样本生成图像，来生成第二正常样本生成图像。此外，所生成的第二异常样本生成图像和第二正常样本生成图像可以再次被输入到正常样本生成网络和异常样本生成网络中，以生成第三正常样本生成图像和第三异常样本生成图像，以此类推，以生成更多数量的异常样本生成图像和正常样本生成图像，从而基于更多数量的样本图像来进行相似度比较和待检测样本的细粒度分类。
52.具体地，本公开实施例中可以基于输入图像与第一异常样本生成图像、第一正常样本生成图像、第二异常样本生成图像、第二正常样本生成图像之间的相似度，确定输入图像中的待检测样本是否存在异常。对此，可以将输入图像与第一异常样本生成图像、第一正常样本生成图像、第二异常样本生成图像、第二正常样本生成图像作为五个图像通道进行拼接，从而基于输入图像与其余四个通道的生成图像之间的相似度，来进行待检测样本的类型的确定。例如，当输入图像与其中两个通道的正常样本生成图像均比较相似且与剩余两个通道的异常样本生成图像均不太相似时，可以得到置信度较高的正常分类判别结果。
当然，如以上所描述的，还可以基于第二异常样本生成图像和第二正常样本生成图像等生成更多数量的异常样本生成图像和正常样本生成图像，并且可以在更多通道之间比较图像特征相似度，从而从统计上给出置信度更高的分类结果，本公开不对多通道拼接图像的通道数量限制。
53.根据本公开的用于异常检测的图像处理方法，其基于生成对抗网络思想进行细粒度分类任务，在对输入图像中的待检测样本进行分类时，考虑了该输入图像与各个生成网络所生成的相应类型的样本生成图像之间的相似度，从而不仅提供了细粒度的分类结果，同时对未见样本异常具有一定的鲁棒性。本公开实施例的用于异常检测的图像处理方法属于一种端到端的分类技术，其不需要大量训练数据和人工标注工作就能够鲁棒地检测出未见异常，提供具有高准确度的细粒度分类结果。
54.异常检测神经网络的构建方法
55.图6示出了根据本公开实施例的异常检测神经网络的构建方法的流程图。图7示出了根据本公开实施例的异常检测神经网络的构建方法的示意图。下面具体结合图6和图7描述根据本公开实施例的异常检测神经网络的构建方法。在本公开的实施例中，异常检测神经网络可以包括异常样本生成网络、正常样本生成网络、分类网络、异常样本判别网络和正常样本判别网络以及其他网络，并且本公开中对其进行了详细描述。但是可以理解，该异常检测神经网络还可以具有不同的网络构成以及更多或更少的网络，本公开中不以此为限。另外，该神经网络的参数可以是初始设定的，或者是经过了一定程度学习得到的。为了使得该神经网络在异常检测方面具有更强的性能，可以不断对该神经网络进行训练和学习，以便增强神经网络的性能表现。例如，在完成异常检测神经网络的构建之后，可以将其应用到如参考图1-图5所描述的样本异常检测任务中，或者将其应用到其他细粒度分类任务中，本公开中也不对该异常检测网络的应用场景进行限制。
56.如图6所示，在步骤s601，获取训练图像，所述训练图像包含异常样本或正常样本。所获取的输入图像可以是相机拍摄的静态图像，还可以是视频图像中的一帧视频帧。另外，该训练图像可以是在各种拍摄环境和拍摄参数下拍摄的图像，并且所拍摄的图像中的样本可以具有已知的样本类型标签，诸如正常样本标签或异常样本标签。
57.在步骤s602，利用异常样本生成网络和正常样本生成网络，基于所述训练图像分别生成第一异常样本生成图像和第一正常样本生成图像。为了节省对训练数据的收集和人工标注的需要，并且为了改进神经网络对未见异常的鲁棒性，该步骤s602中利用各种生成网络来生成相应类型的样本生成图像以进行训练。本文中所提到的生成网络是指生成对抗网络(gan)中的生成网络，该生成对抗网络是一种无监督的机器学习模型，能够在基于有限数量的样本进行学习后提供与真实世界图像足够相似的新的图像，以供模型训练时使用。例如，如图7所示的并且与以上结合图3所描述类似的，可以利用异常样本生成网络，将训练图像输入到异常样本生成网络，从而基于训练图像而生成第一异常样本生成图像，并且可以将训练图像输入到正常样本生成网络，从而基于训练图像而生成第一正常样本生成图像。本领域技术人员可以理解，可以通过多种方式来构造并且训练相应的生成网络，从而根据训练图像来生成各种所需类型的样本生成图像以供模型训练任务使用。
58.为了说明的完整性，如图7所示的并且与以上结合图4所描述类似的，可以将包含已知类型样本的训练图像输入至该异常样本生成网络，并经由编码过程(编码器)和解码过
程(解码器)以获取包含缺陷的第一异常样本生成图像。在编码过程中，可以利用该异常样本生成网络中多组采用不同参数的卷积、归一化和池化过程的处理来提取不同尺度的图像特征。首先，可以对训练图像进行卷积，得到卷积映射。然后，可以利用线性校正单元和批量归一化方法对卷积映射进行归一化，得到归一化卷积映射。随后，可以对归一化卷积映射进行最大池化或者平均池化处理。为了获得丰富的多尺度特征，可以在上述过程中对各个相关参数进行调整，并多次重复上述过程，通过多次下采样过程提取多尺度的特征映射。最后，可以在解码过程中通过卷积、归一化和上采样等方法恢复特征映射的分辨率，并得到包含缺陷的第一异常样本生成图像。
59.可以理解，以上所描述的通过编码器和解码器来构成异常样本生成网络仅是实现异常样本生成网络的一种示意性举例。实践中，该异常样本生成网络还可以具有不同的构成和实现方式，本公开不对此进行限制。需说明的是，本公开实施例中的异常样本生成网络在生成异常样本生成图像时，主要是基于引入随机异常噪声的方式来模拟出各种类型的异常。根据本公开的示例性实施例，异常样本生成网络可以在训练图像中提取样本并对样本应用随机异常噪声，以生成第一异常样本生成图像。例如，异常样本生成网络可以在训练图像中提取与样本对应的主轮廓，并且将主轮廓内的图像部分识别为样本，从而对训练图像的主轮廓内的图像部分应用随机异常噪声以生成异常样本生成图像。本领域技术人员可以理解，通过随机异常噪声引入的模拟异常可以模拟出样本的任意形状、颜色或图案等各种方面的异常，诸如存在颜色混装、产品划痕等，从而模拟出现实情况中可能存在的各种异常情况。
60.作为示意性举例，可以对于编码器中所提取到的特征映射应用随机异常噪声，从而生成异常样本生成图像。例如，可以利用异常样本生成网络(例如利用异常样本生成网络的编码器中的卷积层等)提取样本的特征映射，并对特征映射应用随机异常噪声矩阵，以生成第一异常样本生成图像。可以理解，可以通过各种合适的方式来选择随机异常噪声矩阵以便应用到样本的特征映射。作为示意性举例，本公开实施例中可以首先从随机异常噪声向量中构造出随机异常噪声矩阵，进而将其与样本的特征映射进行组合。可以采用多种方式将随机异常噪声向量转换为随机异常噪声矩阵，并且也可以采用多种方式将随机异常噪声矩阵与样本的特征映射进行组合，例如，可以通过对随机异常噪声向量进行多次插值和卷积以将其转换成矩阵，然后将其作为特征映射以拼接、相加、相乘等方式组合到样本的特征映射，从而得到组合后的特征映射以包含通过随机异常噪声模拟出的异常样本。
61.除此之外，发明人还注意到，由于现实拍摄过程中可能具有不同的拍摄情况，所以分类任务中输入的图像中通常是带有噪声的。因此，训练图像中同样应该引入一些环境噪声，以便神经网络能够带着噪声进行学习，从而在训练后的使用阶段能够良好地应对因拍摄条件引入的噪声。有鉴于此，为了使得神经网络能够基于添加了环境噪声的训练数据进行更为真实的学习训练，本公开的异常样本生成网络在生成相应的异常样本生成图像时也添加了相应的环境噪声，以使得所生成的异常样本生成图像贴近真实世界中的异常样本图像。根据本公开的实施例，异常样本生成网络可以在接收到训练图像后，对其应用环境噪声，从而使得生成的异常样本生成图像中也携带了环境噪声，从而更为逼近真实世界的异常样本图像。需说明的是，环境噪声的引入方式与以上所描述的模拟样本异常过程中随机异常噪声引入方式是类似的，例如将环境噪声矩阵应用到训练图像或从训练图像中提取的
特征映射，在此不予赘述。
62.另一方面，如图7所示的并且与以上结合图5所描述类似的，可以将包含已知类型样本的训练图像输入至正常样本生成网络，并经由编码过程(编码器)和解码过程(解码器)以获取不含缺陷的第一正常样本生成图像。在编码过程中，可以利用正常样本生成网络中多组采用不同参数的卷积、归一化和池化过程的处理来提取不同尺度的图像特征。首先，可以对训练图像进行卷积，得到卷积映射。然后，可以利用线性校正单元和批量归一化方法对卷积映射进行归一化，得到归一化卷积映射。随后，可以对归一化卷积映射进行最大池化或者平均池化处理。为了获得丰富的多尺度特征，可以在上述过程中对各个相关参数进行调整，并多次重复上述过程，通过多次下采样过程提取多尺度的特征映射。最后，可以在解码过程中通过卷积、归一化和上采样等方法恢复特征映射的分辨率，并得到不含缺陷的第一正常样本生成图像。
63.可以理解，以上所描述的通过编码器和解码器来构成正常样本生成网络仅是实现正常样本生成网络的一种示意性举例。在实践中，正常样本生成网络还可以具有不同的构成和实现方式，本公开不对此进行限制。需说明的是，本公开实施例的正常样本生成网络在生成正常样本生成图像时对训练图像进行的处理，可以被视为通过异常样本生成网络来生成异常样本生成图像的逆处理，即，从训练图像中移除异常噪声的方式来得到不含缺陷的正常样本生成图像。根据本公开的示例性实施例，正常样本生成网络可以在训练图像中提取样本，识别样本中的异常噪声并将所述异常噪声移除，以生成第一正常样本生成图像。例如，正常样本生成网络可以在训练图像中提取与样本对应的主轮廓，并且将主轮廓内的图像部分识别为样本，从而对训练图像的主轮廓内的图像部分进行异常噪声的移除从而生成正常样本生成图像。本领域技术人员可以理解，正常样本生成网络可以通过对历史异常样本数据的学习来移除任何类型的异常噪声，例如可以移除对应于任意形状、颜色或图案等各种方面异常的异常噪声。
64.作为示意性举例，可以对于编码器中所提取到的特征映射识别并移除异常噪声从而生成正常样本生成图像。例如，可以利用正常样本生成网络(例如，利用正常样本生成网络的编码器中的卷积层等)提取样本的特征映射，并从样本的特征映射中移除与历史样本异常对应的异常噪声，以生成第一正常样本生成图像。可以理解的是，与向训练图像中引入随机异常噪声类似的，移除噪声的处理可以是对于样本的特征映射的矩阵进行的，从而使得所生成的正常样本生成图像中不包含缺陷。
65.除此之外，发明人考虑到，即便对于同一正常样本，其在不同的拍摄条件下会具有不同的样貌，而不会在各个图像中都是完全一致的。换言之，现实世界中的正常样本图像中也都会携带一定程度的因拍摄条件引入的环境噪声。有鉴于此，为了使得被学习的训练数据更贴近于现实世界中的图像，以使得神经网络具有更好的性能表现，本公开实施例的正常样本生成网络在生成相应的正常样本生成图像时也添加了相应的环境噪声，以使得所生成的正常样本生成图像贴近真实世界中的正常样本图像。根据本公开的实施例，正常样本生成网络可以在接收到训练图像后，对其应用环境噪声，从而使得生成的正常样本生成图像中也携带了环境噪声，从而更为逼近真实世界的正常样本图像。需说明的是，环境噪声的引入方式与以上所描述的模拟样本异常过程中随机异常噪声引入方式是类似的，例如将环境噪声矩阵应用到训练图像或从训练图像中提取的特征映射，在此不予赘述。
66.此外，可以理解，训练图像可能包括正常样本图像或异常样本图像中的一者，但本公开实施例中的两种生成网络均可以对两种类型的样本图像中的任一者进行编码和解码处理以生成相应的样本生成图像。例如，异常样本生成网络可以接收异常样本图像和正常样本图像，并且将两者均转换为包含缺陷的异常样本生成图像；正常样本生成网络同样可以接收异常样本图像和正常样本图像，并且将两者均转换为不含缺陷的正常样本生成图像。
67.在步骤s603，利用分类网络，至少基于所述训练图像与第一异常样本生成图像和第一正常样本生成图像之间的相似度，对所述训练图像中的样本是异常样本还是正常样本进行分类预测。例如，该步骤s603中，可以将训练图像、第一异常样本生成图像和第一正常样本生成图像沿通道维度进行拼接以生成多通道拼接图像，并且利用分类网络对多通道拼接图像进行特征提取，以基于多通道拼接图像的通道间特征相似度来对训练图像中的样本是异常样本还是正常样本进行分类预测。可以理解，本公开实施例中所使用的分类网络可以采用多种方式来实现，例如其可以由卷积层、池化层和softmax层组成，从而根据对多通道拼接图像进行特征提取及判别，来基于通道间特征相似度对训练图像中的样本是异常样本还是正常样本进行分类预测。
68.可以理解，本公开实施例对训练图像与所生成的异常样本生成图像和正常样本生成图像进行维度拼接或进行串联后，可以得到具有多个通道的新的图像，其中通道的数目等于接收到的图像的通道的数目。可以理解的是，本公开对多个图像进行通道拼接和串联的处理，是指将多个通道作为整体同时输入到分类网络中进行分类判别，本公开并不对拼接或串联的具体形式进行限制。本示例中，可以依据对应于训练图像的通道的图像特征与对应于异常/正常样本生成图像的通道的图像特征之间的相似度，来对训练图像中的样本进行分类预测。例如，假设与训练图像对应的通道的图像特征与对应于异常样本生成图像的通道的图像特征相似度越高，则说明训练图像中的待检测样本为异常类型的概率越高，那么分类网络可以将训练图像中待检测样本的类型预测为异常；假设与训练图像对应的通道的图像特征与对应于正常样本生成图像的通道的图像特征相似度越高，则说明训练图像中的待检测样本为正常类型的概率越高，那么分类网络可以将训练图像中待检测样本的类型预测为正常。
69.另需说明的是，以上结合图6和图7描述了异常样本生成网络和正常样本生成网络根据训练图像，各自生成第一异常样本生成图像和第一正常样本生成图像的处理，但本公开限于此。例如，异常样本生成网络还可以基于已生成的第一正常样本生成图像，来生成第二异常样本生成图像，并且正常样本生成网络还可以基于已生成的第一异常样本生成图像，来生成第二正常样本生成图像。此外，所生成的第二异常样本生成图像和第二正常样本生成图像可以再次被输入到正常样本生成网络和异常样本生成网络中，以生成第三正常样本生成图像和第三异常样本生成图像，以此类推，以生成更多数量的异常样本生成图像和正常样本生成图像，从而使得神经网络能够基于更多数量的训练数据进行学习从而应用到所需的细粒度分类任务中。
70.具体地，本公开实施例中可以基于训练图像与第一异常样本生成图像、第一正常样本生成图像、第二异常样本生成图像、第二正常样本生成图像之间的相似度，对训练图像中的样本是异常样本还是正常样本进行分类预测。对此，可以将训练图像与第一异常样本
生成图像、第一正常样本生成图像、第二异常样本生成图像、第二正常样本生成图像作为五个图像通道进行拼接，从而基于训练图像与其余四个通道的生成图像之间的相似度，来对训练图像中的样本进行分类预测。当然，如以上所描述的，还可以基于第二异常样本生成图像和第二正常样本生成图像等生成更多数量的异常样本生成图像和正常样本生成图像，并且可以在更多通道之间比较图像特征相似度，从而从统计上给出综合性的分类预测结果，以便将其用于神经网络的损失计算以及神经网络的参数更新，本公开不对多通道拼接图像的数量进行限制。
71.在步骤s604，利用分类网络，基于对所述训练图像中的样本是异常样本还是正常样本进行分类预测的损失，更新所述异常检测神经网络的参数。本公开实施例中的神经网络的训练可以通过输入一定数量的用于训练的输入训练图像来对神经网络的参数进行更新和迭代，以尽量使得训练得到的输入训练图像的分类预测结果与所标记的输入训练图像的真实类型标签之间的差别最小。例如，如以上所讨论的，对于训练图像，其具有正常或异常其中一种已知标签，并且可以通过神经网络的分类网络对训练图像的类型进行分类预测，但该分类预测结果可能会与已知的类型标签有偏差，因此反映出当前的神经网络在对样本进行分类的任务方面的性能还有待提升。据此，可以将分类网络在样本分类预测方面的损失作为衡量神经网络的性能的一项重要指标，从而根据所计算的损失来对神经网络的参数进行更新，以使得神经网络能够在对样本分类预测方面具有更好的表现。
72.可以理解，虽然以上描述了基于分类预测的损失来更新神经网络的参数的处理，但本公开中还可以从其他的角度来衡量整个神经网络的性能，从而根据额外方面的损失来更新整个神经网络的参数。换言之，上述的进行分类预测的损失可以被视为该异常检测神经网络的整体损失的一部分，因此本公开的实施例中的异常检测神经网络的构建方法中，可以考虑多种神经网络损失，并且基于一个或多个损失的加权组合来衡量整个神经网络的损失，从而根据整个神经网络的整体损失来更新网络的参数，以使得异常检测神经网络的整体性能具有综合的提升。以下将结合图8-图10，描述本公开的实施例中根据异常检测神经网络的各种不同损失来更新其神经网络参数的示例。
73.图8示出了根据本公开实施例的对训练图像以及异常样本生成图像和正常样本生成图像进行域预测损失计算的示意图。如图8所示，除了先前描述的异常样本生成网络和正常样本生成网络之外，该异常检测神经网络还可以包括异常样本判别网络和正常样本判别网络，以对各个图像是真实域还是生成域进行域预测。本领域技术人员可以理解，真实域图像是指通过在真实世界中进行拍摄而获得的图像，而生成域图像是指通过生成网络生成的图像。根据本公开的实施例，可以利用异常样本判别网络，对训练图像和第一异常样本生成图像属于真实域还是生成域进行域预测。此外，可以利用正常样本判别网络，对所述训练图像和第一正常样本生成图像属于真实域还是生成域进行域预测。然后，可以基于对训练图像、第一异常样本生成图像和第一正常样本生成图像进行域预测的损失，更新该异常检测神经网络的参数。
74.具体地，对于训练图像，其已知来自于真实世界，因此具有真实域的已知标签，或称之为真(real)标签；而对于异常样本生成图像和正常样本生成图像，也已知其来自于异常样本生成网络或正常样本生成网络，因此具有生成域的已知标签，或称之为假(fake)标签。在对图像的域进行判别时，异常样本判别网络可以依次对训练图像和第一异常样本生
成图像属于真实域还是生成域进行域预测。具体地，异常样本判别网络可以从所接收的图像中提取特征并基于所提取的特征对图像进行判别并输出判别结果。例如，异常样本判别网络可以利用多组不同参数的卷积、归一化和池化过程来提取不同层次的特征，并根据所提取的特征来输出二值向量来将图像预测为真实域或生成域。类似的，正常样本判别网络可以依次对训练图像和第一正常样本生成图像属于真实域还是生成域进行域预测，从而生成各自的预测结果。但是，上述域预测结果可能会与所判别的各个图像中的已知域标签有偏差，可以将其作为衡量神经网络的性能的一项重要指标，从而根据所计算的域预测损失来对神经网络的参数进行更新，以约束各个生成网络生成高质量的样本图像。简言之，如果通过生成网络生成的样本图像足够好且足够逼真真实世界图像，相应的判别网络将无法发现图像是生成的。也就是说，通过基于与域预测相关的损失进行神经网络参数的更新，可以强制生成网络生成高质量的更为真实的正常/异常样本生成图像，以将其用于神经网络模型的训练。
75.可以理解，在异常样本生成网络和正常样本生成网络分别生成了第二、第三、第四以及更多异常样本生成图像和正常样本生成图像的情况下，可以对于所生成的异常样本生成图像和正常样本生成图像中的每一个进行真实域还是生成域的预测，并且可以将各次域预测的损失用于更新异常检测神经网络的参数，本公开不以此为限。
76.图9示出了根据本公开实施例的通过两个生成网络进行样本重构时的重构损失计算的示意图。发明人注意到，除了各个判别网络存在相应的判别损失之外，相应的生成网络也具有一定的损失以衡量其性能表现。与生成网络相关的损失通常包含多个子项，而重构损失是衡量生成器损失和性能的一项重要指标。以下以重构损失为例，介绍生成网络的损失计算的示例。作为示意性举例，图9中示出了训练图像包含正常样本的情况。具体地，对于包含正常样本的训练图像，可以通过异常样本生成网络来生成第一异常样本生成图像，然后利用正常样本生成网络基于所生成的第一异常样本生成图像，来生成第二正常样本生成图像。此后，可以基于所生成的第二正常样本生成图像与训练图像之间的重构损失，更新异常检测神经网络的参数。简言之，如果异常样本生成网络和正常样本生成网络进行样本图像生成能力足够好，那么即便经过异常样本生成网络的处理以及正常样本生成网络的逆处理，训练图像中的原始图像信息与重构出的第二正常样本图像中的重构图像信息之间应该足够相似。据此，可以将训练图像中的原始图像信息与第二正常样本图像中的重构图像信息进行比较，根据二者的差异来调整神经网络的参数。
77.以上描述了当训练图像包含正常样本时进行的重构损失计算。可以理解，对于包含异常样本的所述训练图像，可以采用与之类似的方式进行重构损失计算。具体地，可以通过正常样本生成网络来生成第一正常样本生成图像，然后利用异常样本生成网络基于所生成的第一正常样本生成图像来生成第二异常样本生成图像。此后，可以基于第二异常样本生成图像与训练图像之间的重构损失，更新异常检测神经网络的参数。
78.图10示出了根据本公开实施例的计算训练图像与异常/正常样本生成图像之间的相似度并据此计算相似度损失的示意图。如上所讨论的，本公开实施例中进行样本类型预测正是基于原始的训练图像与通过生成网络生成的正常样本生成图像和异常样本生成图像之间的相似度进行的。因此，理想情况下，该异常检测神经网络在经过训练后，应该能够扩大不同类型样本图像之间的差异并且缩小同一类型样本图像之间的差异，以便满足细粒
度分类任务的要求。有鉴于此，发明人注意到，应当将该异常检测神经网络在图像间相似度方面的损失作为衡量该异常检测神经网络的性能的重要因素，并且将其作为神经网络的整体损失的重要组成部分进行神经网络参数更新过程。在本公开的实施例中，可以计算训练图像与第一异常样本生成图像之间的第一相似度，以及训练图像与第一正常样本生成图像之间的第二相似度。然后，可以基于第一相似度和第二相似度确定异常检测神经网络的相似度损失，以更新异常检测神经网络的参数。例如，对于包含正常样本的训练图像，该训练图像理论上应当与第一异常样本图像不相似并且与第一正常样本图像较为相似，因此在计算相似度损失时，可以将第一相似度设置为与相似度损失正相关且将第二相似度设置为与相似度损失负相关。另外，对于包含异常样本的训练图像，与上述情况恰好相反，可以将第一相似度设置为与相似度损失负相关且第二相似度设置为将与相似度损失正相关。简言之，通过基于相似度损失进行神经网络参数的更新，可以扩大类间差异并且缩小类内差异，从而使得训练后的神经网络在细粒度分类任务中具有良好的性能表现。
79.可以理解，以上结合图7-图10所描述的各种损失计算仅是本公开实施例中计算整个神经网络的损失的几个示意性方面，本公开实施例中还可以采用其他方式来进行损失计算并且据此更新神经网络的参数，本公开不对神经网络的损失的种类以及具体计算方式进行限制。另外，如以上所讨论的，本公开的实施例中可以基于一个或多个损失的加权组合来衡量整个神经网络的损失，从而通过将损失最小化来不断更新神经网络的参数，以使得异常检测神经网络的整体性能具有综合的提升。例如，在上述神经网络的构建过程中，可以分别计算以上各项损失，并通过这些损失的加权和来计算神经网络的总损失，从而通过将神经网络的总损失最小化来更新神经网络参数并确定最终使用的神经网络模型。可替代地，本公开实施例中可以在完成预定次数的迭代后，完成神经网络的构建以确定最终使用的神经网络模型。
80.根据本公开的异常检测神经网络的构建方法，可以分别通过多个生成网络来生成相应类型的样本图像，从而减轻了对于大量训练样本及其标签输入工作量的需要，并且减轻了错误标签标注对训练过程的不利影响，另外通过考虑神经网络各方面的损失来更新神经网络的参数，使得训练得到的神经网络模型在细粒度分类任务和对未见异常的鲁棒性检测方面均具有良好表现。本公开实施例的异常检测神经网络的构建方法可以提供一种端到端的分类模型，其不需要大量训练数据和人工标注工作就能够鲁棒地检测出未见异常，在多种应用场景中提供具有高准确度的细粒度分类结果。
81.用于异常检测的图像处理设备
82.根据本公开的另一方面，提供一种用于异常检测的图像处理设备，以下结合图11详细描述该设备1100。
83.图11示出了根据本公开实施例的设备的硬件框图。如图11所示，设备1100包括处理器u1101和存储器u1102。
84.处理器u1101可以是能够实现本公开各实施例的功能的任何具有处理能力的装置，例如其可以是设计用于进行在此所述的功能的通用处理器、数字信号处理器(dsp)、asic、场可编程门阵列(fpga)或其他可编程逻辑器件(pld)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合。
85.存储器u1102可以包括易失性存储器形式的计算机系统可读介质，例如随机存取
存储器(ram)和/或高速缓存存储器，也可以包括其它可移动/不可移动的、易失性/非易失性计算机系统存储器，例如硬盘驱动器、软盘、cd-rom、dvd-rom或者其它光存储介质。
86.在本实施例中，存储器u1102中存储有计算机程序指令，并且处理器u1101可以运行存储器u1102中存储的指令。在所述计算机程序指令被所述处理器运行时，使得所述处理器执行本公开实施例的用于异常检测的图像处理方法。关于用于异常检测的图像处理方法与上文中针对图1-5描述的基本相同，因此为了避免重复，不再赘述。作为设备的示例，可以包括计算机、服务器、工作站等等。
87.根据本公开的另一方面，提供一种用于异常检测的图像处理设备，以下结合图12详细描述该设备1200。
88.图12示出了根据本公开实施例的用于异常检测的图像处理设备的结构框图。如图12所示，该设备1200包括输入图像获取单元u1201、异常样本生成单元u1202、正常样本生成单元u1203、和待检测样本分类单元u1204。所述各个部件可分别执行上文中结合图1-5描述的用于异常检测的图像处理方法的各个步骤/功能，因此为了避免重复，在下文中仅对所述设备进行简要的描述，而省略对相同细节的详细描述。
89.输入图像获取单元u1201获取包含待检测样本的输入图像。输入图像获取单元u1201所获取的输入图像可以是相机拍摄的静态图像，还可以是视频图像中的一帧视频帧。另外，所获取的输入图像可以是灰度图或彩色图，在此不做限制。可以理解，待检测样本可以是指需要对其进行分类以判断其是否具有颜色或形状异常、是否具有缺陷、属于哪个质量等级等等的样本。
90.异常样本生成单元u1202基于所述输入图像，利用异常样本生成网络生成第一异常样本生成图像。例如，异常样本生成单元u1202可以获取包含待检测样本的输入图像，并经由异常样本生成网络的编码过程和解码过程以获取包含缺陷的第一异常样本生成图像。具体地，异常样本生成单元u1202可以在输入图像中提取待检测样本，并对待检测样本应用随机异常噪声，从而生成第一异常样本生成图像。本领域技术人员可以理解，通过随机异常噪声引入的模拟异常可以模拟出样本的任意形状、颜色或图案等各种方面的异常。
91.作为示意性举例，异常样本生成单元u1202可以对于编码器中所提取到的特征映射应用随机异常噪声，从而生成异常样本生成图像。例如，可以利用异常样本生成网络提取待检测样本的特征映射，并对特征映射应用随机异常噪声矩阵，以生成第一异常样本生成图像。此外，为了使得后续进行图像间相似度比较更为准确，本公开实施例中的异常样本生成单元u1202在生成相应的异常样本生成图像时也可以添加相应的环境噪声，以使得所生成的异常样本生成图像贴近真实世界中的异常样本图像。
92.正常样本生成单元u1203基于所述输入图像，利用正常样本生成网络生成第一正常样本生成图像。与异常样本生成单元u1202类似的，正常样本生成单元u1203获取包含待检测样本的输入图像，并经由正常样本生成网络的编码过程和解码过程以获取不含缺陷的第一正常样本生成图像。具体地，正常样本生成单元u1203所进行的处理可以被视为异常样本生成单元u1202所进行的逆处理，即，从输入图像中移除异常噪声的方式来得到不含缺陷的正常样本生成图像。例如，正常样本生成单元u1203可以在输入图像中提取待检测样本，识别待检测样本中的异常噪声并将所述异常噪声移除，从而生成第一正常样本生成图像。本领域技术人员可以理解，正常样本生成单元u1203可以通过对历史异常样本数据的学习
来移除任何类型的异常噪声。
93.作为示意性举例，正常样本生成单元u1203可以对于编码器中所提取到的特征映射识别并移除异常噪声，从而生成正常样本生成图像。例如，可以利用正常样本生成网络提取待检测样本的特征映射，并从待检测样本的特征映射中移除与历史样本异常对应的异常噪声，以生成第一正常样本生成图像。可以理解的是，与向输入图像中引入随机异常噪声类似的，移除噪声的处理同样可以是对于待检测样本的特征映射的矩阵进行的，从而使得所生成的正常样本生成图像中不包含缺陷。此外，为了使得后续进行图像间(或通道间)相似度比较更为准确，本公开实施例中的正常样本生成单元u1203在生成相应的正常样本生成图像时也可以添加相应的环境噪声，以使得所生成的正常样本生成图像贴近真实世界中的正常样本图像。
94.待检测样本分类单元u1204至少基于所述输入图像与所述第一异常样本生成图像和第一正常样本生成图像之间的相似度，确定所述输入图像中的待检测样本是否存在异常。例如，待检测样本分类单元u1204可以将输入图像、第一异常样本生成图像和第一正常样本生成图像沿通道维度进行拼接以生成多通道拼接图像，并且利用分类网络对多通道拼接图像进行特征提取，以基于多通道拼接图像的通道间特征相似度来确定待检测样本是否存在异常。具体地，待检测样本分类单元u1204可以依据对应于输入图像的通道的图像特征与对应于异常/正常样本生成图像的通道的图像特征之间的相似度，来确定输入图像中的待检测样本的类型。
95.根据本公开的用于异常检测的图像处理设备，其基于生成对抗网络思想进行细粒度分类任务，在对输入图像中的待检测样本进行分类时，考虑了该输入图像与各个生成网络所生成的相应类型的样本生成图像之间的相似度，从而不仅提供了细粒度的分类结果，同时对未见样本异常具有一定的鲁棒性。本公开实施例的用于异常检测的图像处理设备不需要大量训练数据和人工标注工作就能够鲁棒地检测出未见异常，提供具有高准确度的细粒度分类结果。
96.异常检测神经网络的构建设备
97.根据本公开的另一方面，提供一种异常检测神经网络的构建设备，以下结合图13详细描述该异常检测神经网络的构建设备1300。
98.图13示出了根据本公开实施例的构建设备的硬件框图。如图13所示，构建设备1300包括处理器u1301和存储器u1302。
99.处理器u1301可以是能够实现本公开各实施例的功能的任何具有处理能力的装置，例如其可以是设计用于进行在此所述的功能的通用处理器、数字信号处理器(dsp)、asic、场可编程门阵列信号(fpga)或其他可编程逻辑器件(pld)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合。
100.存储器u1302可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)和/或高速缓存存储器，也可以包括其它可移动/不可移动的、易失性/非易失性计算机系统存储器，例如硬盘驱动器、软盘、cd-rom、dvd-rom或者其它光存储介质。
101.在本实施例中，存储器u1302中存储有计算机程序指令，并且处理器u1301可以运行存储器u1302中存储的指令。在所述计算机程序指令被所述处理器运行时，使得所述处理器执行本公开实施例的异常检测神经网络的构建方法。关于该异常检测神经网络的构建方
法与上文中针对图6-10描述的基本相同，因此为了避免重复，不再赘述。作为该构建设备的示例，可以包括无人机嵌入式计算机、车载计算机、后台服务器等。
102.根据本公开的又一方面，提供一种异常检测神经网络的构建设备，以下结合图14详细描述该构建设备1400。
103.图14示出了根据本公开实施例的构建设备的结构框图。如图14所示，构建设备1400包括训练图像获取单元u1401、异常样本生成单元u1402、正常样本生成单元u1403、样本分类预测单元u1404、以及神经网络更新单元u1405。可选的，该构建设备1400还可以包括异常样本判别单元u1006和正常样本判别单元u1007。所述各个部件可分别执行上文中结合图6-10描述的异常检测神经网络的构建方法的各个步骤/功能，因此为了避免重复，在下文中仅对所述设备进行简要的描述，而省略对相同细节的详细描述。
104.训练图像获取单元u1401获取训练图像，所述训练图像包含异常样本或正常样本。所获取的输入图像可以是相机拍摄的静态图像，还可以是视频图像中的一帧视频帧。另外，该训练图像可以是在各种拍摄环境和拍摄参数下拍摄的图像，并且所拍摄的图像中的样本可以具有已知的样本类型标签。
105.异常样本生成单元u1402可以利用异常样本生成网络，基于所述训练图像生成第一异常样本生成图像。例如，异常样本生成单元u1402经由编码过程和解码过程以获取包含缺陷的第一异常样本生成图像。另外，异常样本生成单元u1402基于引入随机异常噪声的方式来模拟出各种类型的异常。例如，异常样本生成单元u1402可以在训练图像中提取样本并对样本应用随机异常噪声，以生成第一异常样本生成图像。
106.作为示意性举例，异常样本生成单元u1402可以对于编码器中所提取到的特征映射应用随机异常噪声，从而生成异常样本生成图像。例如，可以利用异常样本生成网络提取样本的特征映射，并对特征映射应用随机异常噪声向量(例如将其转换为随机异常噪声矩阵以组合到特征映射)，以生成第一异常样本生成图像。除此之外，为了使得神经网络能够基于添加了环境噪声的训练数据进行更为真实的学习训练，本公开的异常样本生成单元u1402在生成相应的异常样本生成图像时也添加了相应的环境噪声，以使得所生成的异常样本生成图像贴近真实世界中的异常样本图像。
107.正常样本生成单元u1403利用正常样本生成网络，基于所述训练图像生成第一正常样本生成图像。例如，正常样本生成单元u1403同样可以经由编码过程和解码过程以获取不含缺陷的第一正常样本生成图像。另外，正常样本生成单元u1403所进行处理是异常样本生成单元u1402所进行的逆处理，以从训练图像中移除异常噪声的方式来得到不含缺陷的正常样本生成图像。例如，正常样本生成单元u1403可以在训练图像中提取样本，识别样本中的异常噪声并将所述异常噪声移除，以生成第一正常样本生成图像。
108.作为示意性举例，正常样本生成单元u1403可以对于编码器中所提取到的特征映射识别并移除异常噪声从而生成正常样本生成图像。例如，可以利用正常样本生成网络提取样本的特征映射，并从样本的特征映射中移除与历史样本异常对应的异常噪声，以生成第一正常样本生成图像。除此之外，为了使得被学习的训练数据更贴近于现实世界中的图像，以使得神经网络具有更好的性能表现，本公开实施例的正常样本生成单元u1403在生成相应的正常样本生成图像时也添加了相应的环境噪声，以使得所生成的正常样本生成图像贴近真实世界中的正常样本图像。
109.样本分类预测单元u1404利用分类网络，至少基于所述训练图像与第一异常样本生成图像和第一正常样本生成图像之间的相似度，对所述训练图像中的样本是异常样本还是正常样本进行分类预测。例如，样本分类预测单元u1404可以将训练图像、第一异常样本生成图像和第一正常样本生成图像沿通道维度进行拼接以生成多通道拼接图像，并且利用分类网络对多通道拼接图像进行特征提取，以基于多通道拼接图像的通道间特征相似度来对训练图像中的样本是异常样本还是正常样本进行分类预测。
110.神经网络更新单元u1405基于对所述训练图像中的样本是异常样本还是正常样本进行分类预测的损失，更新所述异常检测神经网络的参数。本公开实施例中的神经网络的训练可以通过输入一定数量的用于训练的输入训练图像来对神经网络的参数进行更新和迭代，以尽量使得训练得到的输入训练图像的分类预测结果与所标记的输入训练图像的真实类型标签之间的差别最小。
111.可以理解，虽然以上描述了神经网络更新单元u1405基于分类预测的损失来更新神经网络的参数的处理，但本公开中还可以从其他的角度来衡量整个神经网络的性能，从而根据额外方面的损失来更新整个神经网络的参数。换言之，上述的进行分类预测的损失可以被视为该异常检测神经网络的整体损失的一部分，因此本公开的实施例中的异常检测神经网络的构建方法中，可以考虑多种神经网络损失，并且基于一个或多个损失的加权组合来衡量整个神经网络的损失，从而根据整个神经网络的整体损失来更新网络的参数，以使得异常检测神经网络的整体性能具有综合的提升。例如，与结合图8-图10所描述的类似的，神经网络更新单元u1405可以根据异常检测神经网络的各种不同损失来更新其神经网络参数的示例。
112.例如，本公开中可以考虑对训练图像以及异常样本生成图像和正常样本生成图像进行域预测的损失，相应的，异常样本判别单元u1006和正常样本判别单元u1007以对各个图像是真实域还是生成域进行域预测。根据本公开的实施例，可以利用异常样本判别网络，对训练图像和第一异常样本生成图像属于真实域还是生成域进行域预测。此外，可以利用正常样本判别网络，对所述训练图像和第一正常样本生成图像属于真实域还是生成域进行域预测。然后，可以基于对训练图像、第一异常样本生成图像和第一正常样本生成图像进行域预测的损失，更新该异常检测神经网络的参数。
113.此外，为了衡量该异常检测神经网络中的生成网路的性能，作为示意性举例，本公开中可以考虑通过两个生成网络进行样本重构时的重构损失。例如，对于包含正常样本的训练图像，可以通过异常样本生成网络来生成第一异常样本生成图像，然后利用正常样本生成网络基于所生成的第一异常样本生成图像，来生成第二正常样本生成图像。此后，可以基于所生成的第二正常样本生成图像与训练图像之间的重构损失，更新异常检测神经网络的参数。另一方面，对于包含异常样本的所述训练图像，可以采用与之类似的方式进行重构损失计算。具体地，可以通过正常样本生成网络来生成第一正常样本生成图像，然后利用异常样本生成网络基于所生成的第一正常样本生成图像来生成第二异常样本生成图像。此后，可以基于第二异常样本生成图像与训练图像之间的重构损失，更新异常检测神经网络的参数。
114.此外，本公开中还可以考虑与训练图像与异常/正常样本生成图像之间的相似度相关联的相似度损失。例如，可以计算训练图像与第一异常样本生成图像之间的第一相似
度，以及训练图像与第一正常样本生成图像之间的第二相似度。然后，可以基于第一相似度和第二相似度确定异常检测神经网络的相似度损失，以更新异常检测神经网络的参数。其中，对于包含正常样本的训练图像，第一相似度与相似度损失正相关且第二相似度与相似度损失负相关，以及对于包含异常样本的训练图像，第一相似度与相似度损失负相关且第二相似度与相似度损失正相关。
115.可以理解，如以上所讨论的，本公开的实施例中可以基于一个或多个损失的加权组合来衡量整个神经网络的损失，从而通过将损失最小化来不断更新神经网络的参数，以使得异常检测神经网络的整体性能具有综合的提升。例如，在上述神经网络的构建过程中，可以分别计算以上各项损失，并通过这些损失的加权和来计算神经网络的总损失，从而通过将神经网络的总损失最小化来更新神经网络参数并确定最终使用的神经网络模型。可替代地，本公开实施例中可以在完成预定次数的迭代后，完成神经网络的构建以确定最终使用的神经网络模型。
116.根据本公开的异常检测神经网络的构建设备，可以分别通过多个生成网络来生成相应类型的样本图像，从而减轻了对于大量训练样本及其标签输入工作量的需要，并且减轻了错误标签标注对训练过程的不利影响，另外通过考虑神经网络各方面的损失来更新神经网络的参数，使得训练得到的神经网络模型在细粒度分类任务和对未见异常的鲁棒性检测方面均具有良好表现。本公开实施例的异常检测神经网络的构建设备可以提供一种端到端的分类模型，其不需要大量训练数据和人工标注工作就能够鲁棒地检测出未见异常，在多种应用场景中提供具有高准确度的细粒度分类结果。
117.计算机可读存储介质
118.根据本公开的基于生成对抗网络思想的细粒度分类技术还可以通过提供包含实现所述方法或者设备的程序代码的计算机程序产品来实现，或者通过存储有这样的计算机程序产品的任意存储介质来实现。
119.以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
120.本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
121.另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
122.还需要指出的是，在本公开的装置和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
123.对本领域的普通技术人员而言，能够理解本公开的方法和装置的全部或者任何部
分，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现。所述硬件可以是利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器(dsp)、asic、场可编程门阵列信号(fpga)或其他可编程逻辑器件(pld)、离散门或晶体管逻辑、离散的硬件组件或者其任意组合。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如dsp和微处理器的组合，多个微处理器、与dsp核协作的一个或多个微处理器或任何其他这样的配置。所述软件可以存在于任何形式的计算机可读的有形存储介质中。通过例子而不是限制，这样的计算机可读的有形存储介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他有形介质。如在此使用的，盘包括紧凑盘(cd)、激光盘、光盘、数字通用盘(dvd)、软盘和蓝光盘。
124.可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
125.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
126.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。