用于对光学传感器中的遮挡进行分类的神经网络的制作方法

1.本发明涉及被配置用于对光学传感器是否被遮挡进行分类的神经网络、用于确定光学传感器是否被遮挡的计算机实现的方法、用于确定机器人的控制信号的计算机实现的方法、计算机程序以及机器可读存储介质。


背景技术：

2.本发明的优点像机器人的自主设备通常依赖于光学传感器以用于感测它们相应的环境。环境的感测常常是处理流水线中的起始点，其中最终目标是在给定自主设备的周围环境的情况下导出自主设备的适当动作。
3.在这些场景中出现的典型问题是光学传感器被遮挡，并且可能因此不能准确地捕获环境。在这种意义上，遮挡可以特别地被理解为其中传感器仍然能够发送正确信号但是其中传感器的视野被遮挡到不能从其信号中推断出关于环境的有意义信息的程度的情况。
4.希望检测光学传感器是否被遮挡。有利地，如本发明中所提出的神经网络能够以高准确度实现该目标。本发明人发现，通过本发明人对神经网络的仔细设计，可以减小其尺寸，使得其能够在甚至具有有限计算能力的嵌入式硬件上执行，从而使神经网络对于移动机器人或电池驱动的设备特别有吸引力。


技术实现要素：

5.在第一方面，本发明涉及一种神经网络，其被配置用于对来自光学传感器的图像是否表征光学传感器的遮挡进行分类，其中，所述分类是由针对神经网络的输入的神经网络的输出来表征的，并且其中，所述输入是基于图像的，并且其中，所述神经网络包括沿着先前卷积层的卷积输出的高度来表征1d卷积的第一卷积层，并且其中，所述神经网络包括沿着卷积输出的宽度来表征1d卷积的第二卷积层，并且其中，所述输出是基于第一卷积层的第一卷积输出的，并且所述输出是基于第二卷积层的第二卷积输出的。
6.在本发明中所指的神经网络尤其可以被理解为来自机器学习领域中的模型。这种神经网络通常可以用软件来实现。然而，也可以设计硬件，使得其表征如上定义的神经网络。
7.神经网络包括卷积层，并且因此可以被理解为卷积神经网络。卷积神经网络由它包括卷积层的事实来表征。卷积层通常接受三维张量作为输入，其中，典型的惯例是维度表征张量的高度、宽度和深度（以此顺序）。深度维度还可以被称为通道，即，表征张量包括的通道的数量。在这种意义上，三维张量可以被理解为矩阵的组合，这些矩阵具有相同的尺寸并且沿着张量的深度或通道维度而堆叠。例如，通过将图像编码成rgb格式并将每个颜色通道设计为张量的通道，可以将图像理解为张量。
8.卷积层可以处理张量并可以输出张量，即，卷积输出。卷积输出中的通道数量通常是由确定卷积输出的卷积层所采用的滤波器（也称为核或滤波器核）的数量给出的。
9.当被配置用于处理图像时，神经网络可以尤其被配置成包括二维卷积层。然而，神经网络也可以包括一维卷积层，即，表征1d卷积的层。这样的层可以被理解为使用跨越被用作到该层的输入的张量的整个宽度的滤波器核、或者使用跨越张量的整个高度的滤波器核。其中，对于二维卷积层，滤波器核通常沿着输入张量的宽度和高度两者“滑动”，滤波器核可以被理解为仅沿着一维卷积层中的两个维度之一“滑动”。如果一维卷积层被配置成使得其滤波器核跨越一维卷积层的相应输入张量的整个宽度，则滤波器核沿着输入张量的高度滑动以确定卷积输出。同样，如果一维卷积层被配置成使得其滤波器核跨越一维卷积层的相应输入张量的整个高度，则滤波器核沿着输入张量的宽度滑动以确定卷积输出。
10.本发明人发现，如果神经网络被配置用于检测所提供的图像是否表征提供该图像的光学传感器的遮挡，则表征1d卷积的卷积层（即一维卷积层）是令人惊讶地适于用在神经网络中的。令人惊讶的是，第一卷积层的使用和第二卷积层的使用提高了神经网络的准确度。这是由于以下事实：先前卷积层的输出由第一卷积层“从上到下”处理，并且由第二卷积层“从左到右”处理。本发明人发现，光学传感器的遮挡通常将其自身体现在从上到下或从左到右的被遮挡的光学传感器的图像中的信息的非常小变化。由于该信息被保存在先前卷积层的卷积输出中（即，先前卷积层的输出的相邻元素表征图像的相邻元素），所以一维卷积层在神经网络中特别适合。
11.在本发明的上下文中，术语“遮挡”可以特别地被理解为如下的情况：其中，光学传感器仍然能够发送正确的信号，但是其中传感器的视野被遮挡到不能从其信号中推断出关于环境的有意义信息的程度。遮挡尤其可能源于环境状况（例如，眩光、强降水、传感器被雪/冰覆盖、光不足）或故意动作（例如，用贴纸或箔覆盖传感器）。被遮挡的传感器也可以被称为“盲传感器”或“受阻传感器”。
12.光学传感器尤其可以由相机传感器、lidar传感器、雷达传感器、超声传感器或热相机来给出。由于神经网络被配置成处理来自光学传感器的图像数据，因此它尤其可以理解为被配置用于图像分析的神经网络。
13.神经网络可以通过已知的方法来训练，特别是通过使用反向传播算法的（随机）梯度下降、或通过进化算法。在这种监督训练方法中使用的标签尤其可以由人工注释器或已知的自动标记方法来提供。
14.神经网络可以输出表征图像表征光学传感器被遮挡的概率或可能性的值。通过应用预定义阈值，可以从这样的值中获得分类。例如，如果概率超过50%，则可以将光学传感器分类为被遮挡的。
15.在神经网络的一个优选实施例中，第一卷积输出和第二卷积输出可以用作对神经网络的全连接层的输入，其中，神经网络的输出是基于全连接层的输出来确定的。
16.当设计卷积神经网络时，典型的架构选择是将卷积神经网络的卷积层放置在神经网络的前面，并且使其跟随有全连接层，其中，全连接层被配置成确定卷积神经网络的输出（例如，在被配置用于图像分类的残差神经网络中）。然而，卷积层之后也可以跟随有多个全连接层，即，将最后卷积层的输出用作其输入的多层感知器或mlp（例如，在被配置用于图像分类的vggnets或alexnets中）。
17.在本发明中，存在两个并行的卷积层，即，第一卷积层和第二卷积层。它们在如下的意义上是并行的：它们都从相同的先前层取得输入并且单独处理相应输入。因此，将它们
的两个输出用作到全连接层的输入允许全连接层绘制关于图像的“从上到下”处理以及图像的“从左到右”处理两者的信息。
18.神经网络的输入可以是图像本身。然而，本发明人发现，将图像分成不同的图像小块、确定用于每个这样的小块的特征表示（也称为特征向量）并且使用得到的特征表示作为神经网络的输入是有用的。换句话说，神经网络的输入也可以是多个特征向量，其中，每个特征向量是针对图像的不同小块获得的。优选地，特征向量也可以组织在张量中，其中，张量的通道维度表征了特征向量，并且特征向量根据它们的相应小块（它们针对所述相应小块被确定）在图像中的位置沿着张量的高度和宽度而定位。然后，特征向量的得到的张量可被用作神经网络的卷积层的输入。
19.针对每个图像小块提取的特征可尤其包括从计算机视觉已知的特征表示，例如，梯度、hog特征、sift特征、surf特征或强度直方图。
20.本发明人发现，使用特征表示作为神经网络的输入是有利的，因为神经网络不必学习低级特征表示，如在卷积神经网络的较早层中是常见的。这可以减少神经网络中的卷积层的数量，同时仍然保持关于对遮挡进行分类的高准确度。如果神经网络在嵌入式硬件或电池供电的硬件上运行，则这是特别有利的，因为较小的神经网络需要较少的计算能力并且消耗较少的能量。
21.在神经网络的一个优选实施例中，来自多个特征向量中的特征向量也可以表征经滤波的特征向量。
22.这可以被理解为对从图像中提取的特征向量运行滤波操作，并且将经滤波的特征向量提供给神经网络。特征向量的滤波可以尤其包括平滑操作。例如，如果由神经网络处理的图像是图像流（例如视频信号）的一部分，则流中的图像在该图像之前具有一定量的图像，除了流中的第一图像之外。为了滤波，可以针对该图像本身中以及预定义量的先前图像中的小块，提取特征向量。然后，可以通过滤波操作来处理与不同图像中的相同位置处的小块相对应的特征向量。例如，给定小块位置，可以通过中值滤波器来聚集针对来自该图像以及预定义量的先前图像中的该小块位置而提取的所有特征向量，即，可以提供针对给定小块的特征向量的逐元素中值作为针对该小块的经滤波的特征向量。或者，也可以使用平均滤波，即，提供针对给定小块的特征向量的逐元素的平均作为针对该小块的经滤波的特征向量。对于流中的第一图像，针对小块提取的特征向量可以被提供为经滤波的特征向量。
23.对特征向量进行滤波是有利的，因为它从特征向量中去除了高频噪声。例如，如果光学传感器位于用于清除视野中雨滴的刮水器之后，则滤波操作过滤掉针对刮水器所提取的特征向量。换句话说，可以有效地过滤掉不应被检测为阻挡的不想要的临时阻挡。本发明人发现，这甚至进一步提高了神经网络的准确度。
24.在另一方面，本发明涉及一种用于对光学传感器是否被遮挡进行分类的计算机实现的方法，包括以下步骤：
・
针对神经网络的所提供输入来确定来自神经网络的输出，其中，神经网络是根据先前实施例中任何一个而配置的，其中，输入是基于光学传感器的图像的；
・
基于神经网络的输出来确定光学传感器是否被遮挡的分类。
25.本质上，该方面涉及应用先前提出的神经网络的方法。在该方法中，可以单独地选择何时将光学传感器分类为被遮挡的决定。例如，如果输出表征传感器被遮挡，则光学传感
器可以被分类为被遮挡，并且其中，否则光学传感器被分类为未被遮挡。换句话说，可以基于针对单个图像（或多个图像，如果特征向量被提取并滤波的话）的分类来将光学传感器分类为被遮挡的。
26.然而，也可以基于多个图像的分类来确定光学传感器是否被遮挡。例如，可以针对从光学传感器提供的多个图像中的每个图像，确定神经网络的输出，从而产生多个输出，其中，如果表征光学传感器被遮挡的输出的量等于或超过预定义阈值，则光学传感器进一步被分类为被遮挡的。
27.例如，如果多个图像是来自光学传感器的图像流，则如果来自多个图像的所有图像被神经网络分类为被遮挡，则光学传感器可被分类为被遮挡的。然而，如果分类为被遮挡的图像的量等于预定义阈值或超过预定义阈值，则也可以将光学传感器分类为被遮挡的。
28.优选地，用于对光学传感器是否被遮挡进行分类的方法是用于确定机器人的控制信号的计算机实现的方法的一部分，其中，机器人至少通过光学传感器来感测其环境，其中，基于光学传感器是否被遮挡的分类来确定控制信号。
29.机器人可以尤其是至少部分自主的车辆，例如汽车、无人机、水运工具或移动机器人。它可以替代地是例如被配置用于焊接、钎焊、切割或安装的制造机器。
30.这种机器人的动作（例如沿着整个机器人或其部分的预定义路径的移动）可以根据控制信号来触发，该控制信号可以尤其是基于机器人的环境来确定的。光学传感器可以被配置成感知机器人的环境。如果光学传感器被分类为被遮挡的，则可以采取适当的动作，使得机器人保持安全且期望的操作。例如，机器人的控制可以移交给操作人员，从而至少暂时终止机器人的自主操作。作为替代，也可能可以在不考虑来自光学传感器的信息的情况下确定环境。例如，机器人可以配备有其他光学传感器（例如不同类型或冗余的光学传感器），然后可以从所述其他光学传感器感测环境，同时忽略来自光学传感器的信息。因此，用于对光学传感器是否被遮挡进行分类的方法可以用作推断针对当前情况的适当动作的方法。
附图说明
31.将参考以下附图更详细地讨论本发明的实施例。附图示出：图1示出张量；图2示出1d卷积层；图3示出用于从图像中提取输入的方法；图4示出包括1d卷积层的神经网络；图5示出包括神经网络以用于控制其环境中的致动器的控制系统；图6示出控制至少部分自主的机器人的控制系统；图7示出控制制造机器的控制系统。
具体实施方式
32.图1示出张量（t），张量由元素（e）表征，元素（e）沿着张量的高度（h）、宽度（w）和深度（d）来组织。张量（t）的对应于高度（w）的维度也可以理解为张量（t）的垂直轴，而张量（t）的对应于宽度（w）的维度可以理解为张量（t）的水平轴。沿着张量（t）的深度（d）维度的矩阵
切片也可以理解为张量（t）的通道。张量（t）例如可以表征图像，例如rgb图像。在这种情况下，每个通道表征图像的颜色通道，并且每个元素（e）表征相应的红色、绿色或蓝色通道的像素值。图像也可以被给出为灰度图像，在这种情况下，张量（t）只包括单个通道，并且每个元素（e）表征像素的强度。张量（t）也可以表征特征向量。每个特征向量包括沿着张量（t）的深度维度的元素（e）。另外，每个特征向量是由沿着张量的高度（h）和宽度（w）的位置来表征的。
33.图2示意性地示出了1d卷积层（61）的操作。1d卷积层接受输入（i），该输入优选地以张量（t）的形式给出。输入（i）被提供给1d卷积层（61）的第一滤波器（c1）。第一滤波器（c1）包括用于沿着输入（i）的深度（d）维度的切片中的每个元素（e）的可训练权重。第一滤波器（c1）通过执行第一滤波器（c1）与输入（i）的离散卷积来处理输入（i）。图2示出了一个实施例，其中，第一滤波器（c1）沿着输入（i）的高度（h）维度来操作。在其他实施例（未示出）中，第一滤波器（c1）也可以沿着输入（i）的宽度（w）来操作。然后，第一滤波器（c1）的第一输出（o1）可被提供作为1d卷积层（61）的输出（o）。作为替代，1d卷积层（61）也可以包括多个滤波器（c1、c2、c3），每个滤波器包括用于沿着输入（i）的深度（d）维度的切片中的每个元素（e）的可训练权重。多个滤波器（c1、c2、c3）中的每个滤波器然后可以单独地处理输入（i）并且输出相应的输出（o1、o2、o3）。这样，可以获得来自滤波器（c1，c2，c3）的多个输出，其继而可以沿着预定义维度被级联，以便确定1d卷积层（62）的输出（o）。
34.图3示出了关于如何从图像（s）提取特征向量并将所提取的特征向量聚集成可用作针对神经网络的输入的张量（x）的优选方法。图像（s）被分成不相交的小块（p）。针对每个图像，提取特征向量。特征向量可以是例如定向梯度（g）的直方图。然后，直方图可以被投射成向量，其被用作张量（x）的特征向量。
35.图4示出了包括两个1d卷积层（61，62）的神经网络（60）。神经网络（60）包括多个卷积层（c1、c2、cn），其中，多个卷积层（c1、c2、c_n）可以被配置成接受输入信号（x）作为输入，并且提供表征输入信号（x）的特征表示（f）的张量（t）。然后，特征表示（f）被提供给第一1d卷积层（61）和第二1d卷积层（62）。第一1d卷积层（61）被配置成沿着特征表示（f）的高度（h）维度来操作，而第二1d卷积层被配置成沿着特征表示（f）的宽度（w）维度来操作。由于是从卷积层获得的，所以特征表示（f）也可以理解为卷积输出。第一1d卷积层（61）和第二1d卷积层（62）分别确定了第一卷积输出（co1）和第二卷积输出（co2）。第一卷积输出（co1）和第二卷积输出（co2）尤其可以各自是矩阵。然后，第一卷积输出（co1）和第二卷积输出（co2）可以作为输入提供给神经网络（60）的全连接层（f1）。为了用作输入，第一卷积输出（co1）和第二卷积输出（co2）可以各自被平整为向量，然后，得到的向量可以被级联以形成用作到全连接层（f1）的输入的更大向量。全连接层（f1）可以尤其是多个全连接层（f1、f2、f3）的部分，即，是作为神经网络（60）的一部分的多层感知器的部分。然后，多层感知器的输出可以被提供作为输出信号（y），即，作为神经网络（60）的输出。如果全连接层（f1）被用于提供神经网络（60）的输出，则全连接层（f1）的输出可以被提供作为输出信号（y）。
36.在另外的实施例中，输入信号（x）也可以包括特征向量，其中，每个特征向量表征图像的小块。图像的小块可以被理解为图像的多个像素，其中，每个小块表征图像的矩形区，并且图像可以被分成不相交的小块。特征向量可以尤其表征图像的小块的sift、surf、swift或其他梯度特征。
37.神经网络（60）可以尤其被训练以基于输入信号（x）来确定从其确定了输入信号（x）的光学传感器是否被遮挡。输出信号（y）可以尤其表征概率值，该概率值表征光学传感器被遮挡的概率。此外或作为替代，输出信号（y）也可以表征光学传感器不被遮挡的概率。
38.神经网络（60）尤其可以以监督的方式训练，优选地通过（潜在随机的）梯度下降算法或进化算法。为了训练，可以向神经网络（60）提供训练输入信号、和表征训练输入信号是否表征被遮挡的光学传感器的期望输出信号。
39.图5示出了在其环境（20）中的致动器（10）的一个实施例。致动器（10）与控制系统（40）相互作用。致动器（10）及其环境（20）将共同称为致动器系统。在优选均匀间隔的时间点，光学传感器（30）感测致动器系统的状况。光学传感器（30）可以包括若干传感器。对感测到的状况进行编码的光学传感器（30）的输出信号（s）（或者，在传感器（30）包括多个传感器的情况下，用于每个传感器的输出信号（s））被发送到控制系统（40）。
40.由此，控制系统（40）接收传感器信号（s）的流。然后，它根据传感器信号（s）的流来计算一系列控制信号（a），然后其被发送到致动器（10）。
41.控制系统（40）在可选的接收单元（50）中接收传感器（30）的传感器信号（s）的流。接收单元（50）将传感器信号（s）变换为输入信号（x）。或者，在没有接收单元（50）的情况下，每个传感器信号（s）可以直接作为输入信号（x）。输入信号（x）例如可以被给出为来自传感器信号（s）的摘录。或者，传感器信号（s）可被处理以产生输入信号（x），例如通过提取用于传感器信号（s）的小块的特征向量。输入信号（x）还可以表征已经被滤波的特征向量。例如，接收单元（50）可以保存用于传感器信号（s）之前的其他传感器信号的特征向量，然后可以确定用于传感器信号和其他传感器信号（s）的中值特征向量或平均特征向量。换句话说，输入信号（x）是根据传感器信号（s）而提供的。
42.然后，输入信号（x）被传递到神经网络（60）。
43.神经网络（60）由参数（φ）参数化，参数（φ）存储在参数存储装置（st1）中并由其提供。
44.神经网络（60）从输入信号（x）确定输出信号（y）。输出信号（y）被发送到可选转换单元（80），其将输出信号（y）转换为控制信号（a）。然后，控制信号（a）被发送到致动器（10），以用于相应地控制致动器（10）。或者，输出信号（y）可以直接作为控制信号（a）。
45.致动器（10）接收控制信号（a），相应地被控制，并且执行与控制信号（a）相对应的动作。致动器（10）可以包括控制逻辑，该控制逻辑将控制信号（a）变换成另一控制信号，该另一控制信号然后被用于控制致动器（10）。
46.在进一步的实施例中，控制系统（40）可以包括传感器（30）。在更进一步的实施例中，控制系统（40）可以替代地或另外地包括致动器（10）。
47.在又进一步的实施例中，可以设想的是，控制系统（40）控制显示器（10a）而不是控制致动器（10），或除了控制致动器（10）之外还控制显示器（10a）。
48.此外，控制系统（40）可以包括至少一个处理器（45）和至少一个机器可读存储介质（46），在所述机器可读存储介质上存储指令，如果执行所述指令，则使控制系统（40）执行根据本发明的方面的方法。
49.图6示出了其中控制系统（40）被用于控制至少部分自主的机器人（例如，至少部分自主的车辆（100））的一个实施例。
50.光学传感器（30）可以包括一个或多个视频传感器和/或一个或多个雷达传感器和/或一个或多个超声传感器和/或一个或多个lidar传感器。这些传感器中的一些或全部优选地但不是必须地集成在车辆（100）中。
51.神经网络（60）可以被配置成检测车辆（100）的光学传感器（30）的遮挡。然后，可以根据从神经网络（60）确定的输出信号（y）来选择控制信号（a）。例如，如果光学传感器（30）被遮挡，则可以在不考虑来自被遮挡的光学传感器（30）的信息的情况下，获得对车辆（100）的环境（20）的检测。例如，车辆（100）可以配备有相机传感器和lidar传感器，这两者都用于检测车辆（100）附近的物体。神经网络（60）可以被配置成确定相机传感器是否被遮挡。如果分类为被遮挡，则基于相机传感器的图像检测到的物体或基于相机传感器的图像没有检测到物体可以被忽略，以用于确定车辆（100）的路线和/或导航该车辆（100）。
52.作为替代，例如当仅使用相机传感器来确定车辆（100）的环境（20）时，在确定车辆（100）的光学传感器（30）被遮挡的情况下，也可以将车辆（100）的操作移交到人类驾驶员或操作人员。
53.优选地集成在车辆（100）中的致动器（10）可以由车辆（100）的制动器、推进系统、引擎、传动系或转向器来给出。控制信号（a）可以被确定成使得致动器（10）被控制成使得车辆（100）避免与车辆（100）附近的物体的碰撞。
54.作为替代或补充，控制信号（a）也可以用于控制显示器（10a），例如用于向车辆（100）的驾驶员或操作员显示光学传感器（30）被遮挡。还可以想象，如果光学传感器（30）分类为被遮挡，则控制信号（a）可以控制显示器（10a）以使其产生警告信号。警告信号可以是警告声音和/或触觉信号，例如车辆（100）的方向盘的振动。
55.在进一步的实施例中，至少部分自主的机器人可以由另一移动机器人（未示出）给出，该另一移动机器人可以例如通过飞行、游泳、潜水或踏步进行移动。移动机器人尤其可以是至少部分自主的割草机或至少部分自主的清洁机器人。在所有上述实施例中，控制信号（a）可以被确定成使得移动机器人的推进单元和/或转向器和/或制动器被控制成使得移动机器人可以避免与所述标识出的物体的碰撞。
56.在进一步的实施例中，至少部分自主的机器人可以由园艺机器人（未示出）给出，该园艺机器人使用光学传感器（30）来确定环境（20）中的植物的状态。致动器（10）可以控制用于喷洒液体的喷嘴和/或切割设备（例如刀片）。根据标识出的物种和/或标识出的植物状态，可以确定控制信号（a）以使致动器（10）用合适量的合适液体喷洒植物和/或切割植物。
57.在更进一步的实施例中，至少部分自主的机器人可以由家庭电器（未示出）给出，比如例如洗衣机、炉子、烤箱、微波炉或洗碗机。光学传感器（30）可以检测将要经历由家用电器的处理的物体的状态。例如，在家庭电器是洗衣机的情况下，光学传感器（30）可以检测洗衣机内的衣物的状态。然后，可以根据检测出的衣物的材料来确定控制信号（a）。
58.图7示出了一个实施例，其中，控制系统（40）被用于控制例如作为生产线一部分的制造系统（200）的制造机器（11），例如冲压切割机、切割机、枪钻或夹具。制造机器可以包括移动制造产品（12）的运输设备，例如传送带或装配线。控制系统（40）控制致动器（10），致动器继而控制制造机器（11）。
59.光学传感器（30）可以捕获例如制造产品（12）的属性。致动器（10）可以根据由例如第二神经网络检测到的位置来控制。例如，可以控制致动器（10）以在制造产品本身的特定
位置处切割制造产品。或者，可以设想，第二神经网络对制造产品是否破损或表现出缺陷进行分类。然后，可以控制致动器（10）以从运输设备去除制造产品。
60.神经网络（60）可以被配置成光学传感器（30）是否被遮挡。如果光学传感器（30）分类为被遮挡的，则可以停止制造机器（11）和/或可以向操作员或技术人员进行警报，以对制造机器（11）进行维护。
61.术语“计算机”可以理解为涵盖用于处理预定义计算规则的任何设备。这些计算规则可以采用软件、硬件、或软件和硬件的混合的形式。
62.通常，多个可以被理解为被编索引，即，多个中的每个元素被分配唯一的索引，优选地通过将连续的整数分配给包含在多个中的元素。优选地，如果多个包括n个元素，其中，n是多个中的元素的数目，则元素被分配从1到n的整数。还应当理解，多个中的元素可以通过其索引来访问。