用于训练尺度等变卷积神经网络的设备和方法与流程

用于训练尺度等变卷积神经网络的设备和方法
1.本发明涉及一种用于训练尺度等变卷积神经网络的方法、一种用于利用尺度等变卷积神经网络对图像进行分类的方法、一种训练系统、一种计算机程序和一种计算机可读存储介质。
现有技术
2.公开了一种包括尺度等变卷积层的卷积神经网络。
3.本发明的优点卷积神经网络（cnn）可以有效地用作图像分类器。卷积神经网络之所以工作得如它们所做的一样好，一个主要原因是它们的平移不变特性。这意味着，无论图像的位置如何，cnn的卷积层都将为图像的相同对象输出相同的值。
4.然而，卷积神经网络不具有嵌入式机制来处理其他类型的变换，诸如尺度。然而，用于图像分类的cnn经常面临在图像中对不同尺度下的对象进行正确分类的挑战。例如，如果cnn被用于对来自相机的图像视频流进行分类，其中对象朝向相机移动并且因此在不同的图像上以不同的尺度出现，则可以是这种情况。
5.典型地，为了计及尺度方面的改变，利用不同尺度下的对象训练cnn。然而，如通过公开的，将尺度等变的机制并入cnn中改进了cnn的性能，其中性能可以理解为cnn对图像进行正确分类的能力。尺度等变机制基于构造神经网络的卷积层的滤波器，使得它们是预定的多个基础滤波器（也称为基础函数）的加权和，其中可以在cnn的训练期间来训练权重。这里，卷积层的滤波器也被称为可操纵滤波器（steerable filter）。公开了将由具有2d高斯包络的2d hermite多项式构造的基础滤波器。
6.虽然通过将尺度等变并入cnn的卷积层中可以增加cnn的性能，但是发明人发现在尺度等变中存在不显著的误差。
7.根据权利要求1所述的具有特征的方法的优点在于，可以训练具有尺度等变机制的cnn，其中学习cnn的卷积层的基础滤波器，使得卷积层的自等变误差被最小化。这样，可以根据cnn的训练数据来学习基础滤波器，这进而改进了cnn的性能。


技术实现要素：

8.在第一方面中，本发明涉及一种用于训练尺度等变卷积神经网络的计算机实现的方法，其中尺度等变卷积神经网络被配置为确定表征尺度等变卷积神经网络的输入图像的分类的输出信号，进一步其中尺度等变卷积神经网络包括卷积层，其中卷积层被配置为基于卷积层的多个可操纵滤波器和卷积输入来提供卷积输出，其中卷积输入基于输入图像，并且可操纵滤波器基于多个基础滤波器被确定，其中用于训练的方法包括训练多个基础滤
波器。
9.尺度等变卷积神经网络可以理解为包括卷积层的卷积神经网络，其中卷积层能够执行至卷积层的输入的尺度等变卷积。特别地，卷积层可以包括从多个基础滤波器（也称为基础函数）确定的多个可操纵滤波器。在本发明的上下文中，尺度等变卷积神经网络可以理解为图像分类器。
10.输出信号可以将输入图像分类为多个类别中的至少一个类别。替代地或附加地，输出信号可以表征至少一个对象的分类及其在输入图像中的位置。替代地或附加地，输出信号可以表征输入图像到多个类别的语义分割。
11.尺度等变卷积神经网络可以被配置为接受不同类型的输入图像。输入图像例如可以是相机图像、lidar图像、雷达图像、超声波图像或如由热相机获得的图像。还可以设想，输入图像例如通过渲染计算机实现的虚拟场景或作为计算机实现的模拟的结果而被合成生成。输入图像也可以通过绘制数字图像来获得。还可以设想，尺度等变卷积神经网络被配置为接受多个输入图像，所述多个输入图像例如来自相同类型的多个传感器或者来自不同传感器的图像的组合。
12.输入图像可以优选地是张量的形式。为了确定输出信号，输入图像被转发通过尺度等变卷积神经网络的多个层，其中每个层提供中间输出，其中输出要么由另一层的中间输出确定，要么由输入图像本身确定。信息流确定了多个层的次序。这可以理解为多个层是具有预定次序的层序列。如果第一层接受第二层的中间输出作为输入，则第一层被认为在第二层之前，并且第二层被认为在第一层之后。没有前继的层称为输入层，而没有后继的层称为输出层。
13.卷积层可以被放置在沿着层序列的任意位置。如果卷积层被放置在序列的开始，则至卷积层的输入、即卷积输入直接是输入图像。否则，通过处理在卷积层之前具有至少一层的输入图像来获得卷积输入。
14.卷积输入可以优选地被给出为预定义高度和宽度以及预定义数量的通道的张量。卷积层的每个基础滤波器可以理解为能够沿着卷积输入的宽度和高度滤波预定义区域，并且沿着卷积输入的通道滤波预定义深度。优选地，基础滤波器沿着所有通道滤波（即，基础滤波器“看到”所有通道）。预定义区域也可以理解为基础滤波器的大小。例如，基础滤波器可以被配置为沿着三通道图像（例如，rgb图像）的所有通道操作，其中滤波器沿着图像的高度覆盖五个像素，并且沿着图像的宽度覆盖五个像素。因此，滤波器将具有五乘五的大小。优选地，基础滤波器可以以张量的形式表示，其中张量具有与基础滤波器的宽度和高度相等的宽度和高度，以及与滤波器看到的通道数量相等的通道数量。
15.优选地，来自多个基础滤波器的基础滤波器都具有相同的大小，并且看到相同数量的通道。这样，可操纵卷积可以有利地由基础滤波器的加权和来确定。
16.可以通过根据来自多个尺度的尺度缩放第一多个初始基础滤波器并基于多个缩放的初始基础滤波器提供多个基础滤波器来确定多个基础滤波器。
17.缩放基础滤波器可以被理解为根据基础滤波器的大小与缩放值的乘积来增加或减小基础滤波器的大小。如果尺度值在0和1之间，则基础滤波器缩小尺度（downscale）。如果尺度值在1以上，则它放大尺度（upscale）。可以通过缩放基础滤波器的每个通道来执行缩放。
18.为了使来自多个基础滤波器的基础滤波器具有相同的大小，多个缩放的初始基础滤波器中的基础滤波器被裁剪或填充，使得它们具有与初始滤波器相同的大小。
19.在本发明的上下文中，卷积可以优选地理解为两个张量之间的运算，其中卷积的输出也是张量。
20.可以想象，训练多个基础滤波器包括以下步骤：
●ꢀ
基于第一多个向量、第二多个向量和第三多个标量值确定多个中间基础滤波器；
●ꢀ
基于训练图像（xi）确定训练卷积输入；
●ꢀ
基于根据来自多个尺度的尺度缩放训练卷积输入来确定第一卷积结果；
●ꢀ
基于利用尺度的逆来缩放多个中间滤波器来确定第二卷积结果；
●ꢀ
确定第一卷积结果和第二卷积结果之间的差值；
●ꢀ
确定相对于第一多个向量、第二多个向量和第三多个标量值的差值的梯度；
●ꢀ
根据梯度调整第一多个向量的向量、第二多个向量的向量和第三多个标量值的标量值；
●ꢀ
通过利用多个尺度中的每个尺度缩放中间滤波器中的每个基础滤波器来确定多个缩放的基础滤波器；
●ꢀ
提供多个缩放的基础滤波器作为多个基础滤波器。
21.可以通过根据尺度缩放训练卷积输入并将缩放的训练卷积输入与多个中间基础滤波器卷积来确定第一卷积结果。
22.第二卷积结果可以通过以下各项来确定：利用尺度的逆来缩放多个中间滤波器，将训练卷积输入与缩放的中间滤波器卷积以获得第一中间结果，利用尺度来缩放中间结果以获得第二中间结果，以及将第二中间结果与尺度相乘以获得第二卷积结果。
23.尺度的逆可以理解为尺度的倒数。例如，如果尺度是2（即，用该值进行缩放将把张量放大尺度到2倍），则逆尺度将是（即，将张量缩小尺度到1/2）。
24.第一卷积结果和第二卷积结果二者优选地以张量的形式给出。用尺度值缩放张量可以被理解为根据尺度值调整张量的大小，可能在该过程中对缺失值进行插值。由于尺度值可以理解为标量值，因此将张量与尺度值相乘可以理解为张量的标量乘法。
25.例如，可以通过从第二卷积结果中减去第一卷积结果并对从减法得到的张量元素的绝对值求和来获得差值。替代地，代替于使用张量元素的绝对值，也可以使用元素的平方值。
26.该差值可以理解为第一卷积结果和第二卷积结果之间距离的度量。如果第一卷积结果和第二卷积结果之间的距离为零，则基础滤波器对于尺度是尺度等变的。
27.优选地，通过基于多个尺度的所有尺度确定差值并根据确定的差值之和的梯度调整第一多个向量、第二多个向量和多个值，来训练基础滤波器。这样，基础滤波器被训练成对于多个尺度是尺度等变的。
28.前七个步骤（步骤a.至g.）可以迭代地被重复，以便训练基础滤波器。
29.不管前七个步骤（步骤a.至g.）是否迭代地被重复，中间基础滤波器都可以各自仅表示单个尺度的基础滤波器。为了使用中间基础滤波器作为可操纵卷积的基础滤波器，每个中间基础滤波器有利地根据多个尺度被缩放，并且被缩放的中间基础滤波器被提供作为
基础滤波器。这是有利的，因为它使得可操纵卷积能够实际获得尺度等变的输出。
30.该差值通过可微函数取决于第一多个向量的向量、第二多个向量的向量和第三多个标量值的标量值。这意味着可以通过梯度下降来实现对距离最小化。为此，距离可以用作损失值以及损失值相对于第一多个向量的向量、第二多个向量的向量和第三多个标量值的标量值的梯度，所述梯度可以例如通过自动微分来确定。基于获得的梯度，然后可以通过例如随机梯度下降、adam或adamw之类的已知梯度下降方法根据梯度对第一多个向量的向量、第二多个向量的向量和第三多个标量值的标量值进行调整。
31.优选地，确定多个中间基础滤波器的步骤可以进一步包括以下步骤：
●ꢀ
基于正交化第一多个向量来确定正交列的第一矩阵；
●ꢀ
基于正交化第二多个向量来确定正交列的第二矩阵；
●ꢀ
确定第三矩阵，其中所述矩阵是矩形对角矩阵，并且通过确定将自然指数函数应用于第三多个标量值中的标量值的结果并将预定义值添加到所述结果来确定第三矩阵s的主对角线的每个元素。
●ꢀ
根据以下公式确定第四矩阵其中是第四矩阵，是第一矩阵，是第三矩阵并且是第二矩阵；
●ꢀ
提供第四矩阵的行作为多个中间基础滤波器。
32.可以通过已知的正交化或者例如householder变换或gram-schmidt过程的正交化方法来实现正交化第一多个向量或第二多个向量。
33.第一矩阵是正方形矩阵，其中列的数量和行的数量与第一多个向量中的向量的数量相同。
34.第二矩阵是正方形矩阵，其中列的数量和行的数量与第二多个向量中的向量的数量相同。
35.用于构造第四矩阵的方法可以理解为逆奇异值分解，即第四矩阵的奇异值分解将产生第一矩阵、第二矩阵和第三矩阵作为结果。这具有多个优点。
36.首先，通过构造，第四矩阵的行成对正交，即行形成正交集。这意味着第一多个向量的向量、第二多个向量的向量和第三多个标量的标量可以通过梯度下降方法被自由调整，而第四矩阵的行总是形成正交集。即使迭代地完成调整第一多个向量的向量、第二多个向量的向量和第三多个标量的标量，这也是成立的。因此，通过该方法的构造，行可以用作中间基础滤波器。
37.第二，通过可以看作奇异值分解的逆的方法构造第四矩阵，第四矩阵的自由度与第四矩阵中的元素数量相同。这样，第四矩阵总是具有满秩。由于矩阵具有满秩，因此第一多个向量中的向量的维数确定了滤波器的数量。反过来，通过定义第一多个向量的向量的维数，人们可以规定将生成多少中间基础滤波器。同样，通过确定第二多个向量的向量的维数，人们可以规定中间基础滤波器应该存在多少元素。元素的数量可以理解为张量中的元素的数量，其中张量表示中间基础滤波器。例如，如果中间基础滤波器的数量应该是25，其中每个中间基础滤波器具有大小3乘3并且看到3个通道，则第一多个的向量的维数可以被设置为25，而第二多个中的向量的维数可以被设置为27（）。这样，该方法保
证提供正确大小和深度的正确数量的基础滤波器。
38.总之，优点是可以通过简单地确定第一多个向量的向量的维数和第二多个向量的向量的维数来确定中间基础滤波器的数量、大小和深度。
39.由于第四矩阵的行是向量，因此提供所述行作为中间基础滤波器可以包括重新排列每行的元素，使得每行形成正确高度宽度和深度的张量。该过程也被称为重新成形（reshaping）。
40.第一多个向量中的向量数量和第二多个向量中的向量数量可以任意选择。特别地，这两个数量可以被看作训练基础滤波器的超参数。
41.可以进一步想象，训练卷积输入要么是训练图像，要么是用于训练图像的尺度等变卷积神经网络的中间输出。
42.卷积层可以要么用作输入层——在这种情况下训练卷积输入是图像，要么用作隐藏层——在这种情况下训练卷积输入是另一层的输出，其中通过将图像传播通过在卷积层之前的层来确定输出。
43.为了学习基础滤波器，可以优选地使用多个训练卷积输入。因此，对于多个训练图像，多个训练卷积可以包括多个训练图像或者在卷积层之前的层的多个输出。
44.可以进一步想象，卷积层的卷积输出由以下步骤确定：
●ꢀ
确定多个可操纵滤波器，其中每个可操纵滤波器由基础滤波器的加权和确定，其中每个可操纵滤波器包括每个基础滤波器的权重；
●ꢀ
通过将卷积输入与可操纵滤波器卷积来确定卷积结果；
●ꢀ
提供卷积结果作为卷积输出。
45.可以进一步想象，训练尺度等变卷积神经网络进一步包括以下步骤：
●ꢀ
确定训练图像和期望输出信号，其中期望输出信号表征训练图像的分类；
●ꢀ
通过将训练图像作为输入图像提供给尺度等变卷积神经网络来确定训练图像的输出信号；
●ꢀ
确定表征在确定的输出信号和期望的输出信号之间的差值的损失值；
●ꢀ
确定损失值相对于可操纵滤波器的权重的梯度；
●ꢀ
根据负梯度调整可操纵滤波器的至少一部分权重。
46.当训练基础滤波器的权重时，基础滤波器可以被理解为固定的。
47.在确定损失值的步骤中，损失值可以由例如多项式交叉熵损失函数或二元交叉熵损失函数之类的损失函数确定。
48.梯度可以通过损失值的反向传播来确定。
49.然后，通过例如随机梯度下降、adam或adamw之类的梯度下降方法，可以实现调整可操纵滤波器的权重。
50.当调整权重时，可以想象一些权重也是固定的，并且在权重训练期间不被调整。特别地，可以想象可操纵滤波器仅对于已经从用于预定义尺度的中间基础滤波器获得的那些基础滤波器具有非零权重。其他可操纵滤波器的权重特别地可以是固定的，使得所有可操纵滤波器覆盖多个尺度中的所有尺度。
51.将参考以下各图更详细地讨论本发明的实施例。各图示出：图1是描绘用于训练尺度等变卷积神经网络的方法的流程图；
图2是包括控制其环境中致动器的尺度等变卷积神经网络的控制系统；图3是控制至少部分自主机器人的控制系统；图4是控制制造机器的控制系统；图5是控制自动化个人助理的控制系统；图6是控制访问控制系统的控制系统；图7是控制监督系统的控制系统；图8是控制成像系统的控制系统；图9是控制医疗分析系统的控制系统；图10是用于训练尺度等变卷积神经网络的训练系统。
52.实施例的描述图1中示出了用于训练尺度等变卷积神经网络的方法（1）的实施例的流程图。尺度等变卷积神经网络被配置为接受相机图像作为输入，并提供表征相机图像的分类的输出信号。在下文中，尺度等变神经网络将简称为图像分类器。图像分类器包括卷积层，卷积层进而包括预定义数量的可操纵滤波器，其中可操纵滤波器具有相同的高度、宽度和深度。训练图像分类器包括训练可操纵滤波器的多个基础滤波器以及训练可操纵滤波器的多个权重。通过训练多个中间基础滤波器并将每个中间基础滤波器缩放到来自多个预定义尺度的尺度来训练基础滤波器。
53.在该实施例中，卷积层是图像分类器的输入层。在另外的实施例中，卷积层可以被放置在沿着图像分类器的层序列的任意其他位置。
54.为了训练多个基础滤波器，在第一步骤（s1）中，通过从预定义概率分布中随机采样向量来确定第一多个向量。对向量进行采样，使得它们的维数等于中间基础滤波器的期望数量。此外，通过从预定义概率分布中随机采样向量来确定第二多个向量。对第二多个向量进行采样，使得它们的维数等于可操纵滤波器的期望高度、期望宽度和期望深度的乘积。例如，可以想象可操纵滤波器应当具有高度3、宽度3和深度3。因此，第二多个向量的向量的维数将是27。此外，通过从预定义的概率分布中随机采样值来确定第三多个标量值，其中为第三多个标量值采样的标量值与第一多个向量的向量中存在的维度一样多。
55.预定义的概率分布可以优选地是多变量正态分布或单变量正态分布。然而，也可以使用其他类型的概率分布。
56.然后通过对于第一多个向量中的每个向量确定householder矩阵来正交化第一多个向量其中是第一多个向量中的第i个向量（作为列向量给出），并且i是单位矩阵。优选地，预定义值被添加到分母。在另外的实施例中，预定义的值也可以被省去或设置为零。基于获得的householder矩阵，第一矩阵由针对第一多个向量的n个向量获得的所有householder矩阵的矩阵乘法来确定。
57.通过对于第二多个向量中的每个向量确定householder矩阵来正交化第二多个向量其中是第二多个向量中的第i个向量（作为列向量给出），并且i是单位矩阵。优选地，预定义值被添加到分母，其可以是与相同的值。在另外的实施例中，预定义值也可以被省去或设置为零。基于获得的householder矩阵，第二矩阵由针对第二多个向量的m个向量获得的所有householder矩阵的矩阵乘法来确定。
58.然后确定第三矩阵其中第三矩阵的高度与第一矩阵的宽度相同，并且第三矩阵的宽度与第二矩阵的高度相同，并且矩阵的所有元素，但主对角线上的元素为零。主对角线的第i个元素（即，第三矩阵的位置（i，i）处的元素）通过将自然指数函数应用于第三多个标量的第i个标量并添加预定义值来确定。在另外的实施例中，也可以被省去或设置为零。
59.然后由第一、第三和第二矩阵的矩阵乘积确定第四矩阵然后，通过将第四矩阵的每行重新成形为基础滤波器的期望形状的张量，并堆叠所得张量，从而将第四矩阵重新成形为张量。然后，重新成形的张量可以被理解为表示中间滤波器（例如，第四矩阵的重新成形的行）的张量。
60.在第二步骤（s2）中，确定用于训练中间滤波器的训练卷积输入。在该实施例中，训练卷积输入是图像分类器的训练图像。在另外的实施例中，具有被放置在沿着层序列的其他位置的卷积层，训练卷积输入是表示用在卷积层之前的层处理训练图像的输出的张量。
61.在第三步骤（s3）中，如下确定第一多个第一卷积结果：对于多个预定义尺度的每个尺度，通过根据尺度缩放训练卷积输入并将缩放的训练卷积输入与表示中间滤波器的张量卷积来确定第一卷积结果。
62.在第四步骤（s4）中，如下确定第二多个第二卷积结果：对于多个预定义尺度的每个尺度，通过用尺度的逆来缩放多个中间滤波器，将训练卷积输入与缩放的中间滤波器卷积以获得第一中间结果，用尺度来缩放中间结果以获得第二中间结果，以及将第二中间结果与尺度相乘以获得第二卷积结果，来确定第二卷积结果。
63.在第五步骤（s5）中，确定在已经使用相同尺度获得的每个第一卷积结果和每个第二卷积结果之间的差值。可以例如通过从第二卷积结果中减去第一卷积结果并对从减法得到的张量的绝对值求和而获得该差值。在另外的实施例中，还可以设想，可以通过对从减法得到的张量的平方值求和来获得差值。
64.在第六步骤（s6）中，确定相对于第一多个向量的向量、第二多个向量的向量和第
三多个标量值的标量值的差值的梯度。由于差值是基于计算图来确定的，该计算图涉及作为输入的第一多个向量的向量、第二多个向量的向量和第三多个标量值的标量值，这可以优选地通过自动微分来实现。在另外的实施例中，可以仅针对第一多个向量的一部分向量和/或第二多个向量的一部分向量和/或第三多个标量值的一部分标量值来确定梯度。
65.在第七步骤（s7）中，根据梯度调整第一多个向量的向量、第二多个向量的向量和来自第三多个标量值的标量值。优选地，这是通过相对于差值在第一、第二和第三多个上的梯度下降步骤来实现的。对于梯度下降，可以使用已知的方法，诸如例如随机梯度下降、adam或adamw。
66.在另外的实施例中，步骤二（s2）到步骤七（s7）可以迭代地被重复，其中在至少一次迭代中，在第七步骤（s7）中获得的第一多个向量的向量被用作连续第二步骤（s2）中的第一多个向量的向量，和/或在第七步骤（s7）中获得的第二多个向量的向量被用作连续第二步骤（s2）中的第二多个向量的向量，和/或在第七步骤（s7）中获得的第三多个标量值的标量值被用作连续第二步骤（s2）中的第三多个向量的标量值。
67.在梯度下降之后，在第八步骤（s8）中，从第一多个向量的训练向量、第二多个向量的训练向量和第三多个标量值的训练标量值获得多个中间基础滤波器。除了使用第一多个向量的训练向量、第二多个向量的训练向量和第三多个标量值的训练标量值代替随机采样之外，获得多个中间基础滤波器如在步骤一（s1）中那样完成。
68.在第九步骤（s9）中，通过用预定义尺度的每个尺度缩放在步骤八（s8）中获得的每个中间基础滤波器来确定多个缩放的基础滤波器。如果在缩放之后，缩放的中间基础滤波器在高度方面大于期望的高度和/或在宽度方面大于期望的宽度，则缩放的中间基础滤波器被裁剪到期望的高度和/或期望的宽度。如果在缩放之后，缩放的中间基础滤波器在高度方面小于期望的高度和/或在宽度方面小于期望的宽度，则中间基础滤波器被填充（优选零填充）到期望的高度和/或期望的宽度。
69.在第十步骤（10）中，缩放的基础滤波器被提供为卷积层的可操纵滤波器的多个基础滤波器，即被提供为多个训练的基础滤波器。
70.在第十一步骤（s11）中，训练可操纵滤波器的权重。这可以通过如下各项来实现：确定训练图像的图像分类器的输出信号，确定在确定的输出信号和用于训练图像的期望输出信号之间的差值，以及根据差值相对于权重的梯度来调整可操纵滤波器的权重。这可以理解为相对于差值对权重运行梯度下降。差值可以理解为梯度下降框架中的损失。为了确定差值，可以使用已知的损失函数，例如多项式交叉熵损失、二元交叉熵损失、l2损失或l1损失。
71.然后，图像分类器被提供为训练的分类器。方法到此结束。
72.图2中示出了在其环境（20）中的致动器（10）的实施例。致动器（10）与控制系统（40）相互作用。致动器（10）及其环境（20）将被统称为致动器系统。在优选均匀间隔的时间点，传感器（30）感测致动器系统的状况。传感器（30）可以包括若干个传感器。传感器（30）是拍摄环境（20）的图像的光学传感器。传感器（30）的输出信号（或者，在传感器（30）包括多个传感器的情况下，用于每个传感器的输出信号（s））被传输到控制系统（40），该输出信号对感测到的状况进行编码。
73.因此，控制系统（40）接收传感器信号（s）流。然后，它取决于传感器信号（s）流计算
一系列控制信号（a），然后将一系列控制信号（a）传输到致动器（10）。
74.控制系统（40）在可选的接收单元（50）中接收传感器（30）的传感器信号（s）流。接收单元（50）将传感器信号（s）变换成输入图像（x）。替代地，在没有接收单元（50）的情况下，每个传感器信号（s）可以被直接取作输入图像（x）。输入图像（x）例如可以作为来自传感器信号（s）的摘录给出。替代地，可以处理传感器信号（s）以产生输入图像（x）。换句话说，根据传感器信号（s）提供输入图像（x）。
75.输入图像（x）然后被传递到图像分类器（60），其中图像分类器（60）已经用如图1中所示的方法（1）训练。
76.图像分类器（60）由参数（）参数化，参数（）存储在参数存储装置（st1）中并由其提供。特别地，参数（）包括训练的基础滤波器以及可操纵滤波器的训练的权重。
77.图像分类器（60）根据输入图像s（x）确定输出信号（y）。输出信号（y）包括将一个或多个标签分配给输入信号（x）的信息。输出信号（y）被传输到可选的转换单元（80），该可选的转换单元（80）将输出信号（y）转换成控制信号（a）。控制信号（a）然后被传输到致动器（10）以相应地控制致动器（10）。替代地，输出信号（y）可以直接取作控制信号（a）。
78.致动器（10）接收控制信号（a），被相应地控制，并实行对应于控制信号（a）的动作。致动器（10）可以包括控制逻辑，该控制逻辑将控制信号（a）变换成另外的控制信号，该另外的控制信号然后用于控制致动器（10）。
79.在另外的实施例中，控制系统（40）可以包括传感器（30）。在甚至另外的实施例中，控制系统（40）替代地或附加地可以包括致动器（10）。
80.在仍另外的实施例中，可以设想控制系统（40）代替致动器（10）或除致动器（10）之外控制显示器（10a）。
81.此外，控制系统（40）可以包括其上存储有指令的至少一个处理器（45）和至少一个机器可读存储介质（46），所述指令如果被实行，则使得控制系统（40）实行根据本发明方面的方法。
82.图3示出了实施例，其中控制系统（40）用于控制至少部分自主的机器人，例如至少部分自主的车辆（100）。
83.传感器（30）可以包括一个或多个视频传感器和/或一个或多个雷达传感器和/或一个或多个超声波传感器和/或一个或多个lidar传感器。这些传感器中的一些或全部优选但不是必须集成在车辆（100）中。
84.图像分类器（60）可以被配置为基于输入图像（x）检测在至少部分自主机器人附近的对象。输出信号（y）可以包括表征对象位于至少部分自主机器人附近的信息。然后可以根据该信息确定控制信号（a），例如为了避免与检测到的对象碰撞。
85.优选地集成在车辆（100）中的致动器（10）可以由车辆（100）的制动器、推进系统、发动机、传动系或转向给出。控制信号（a）可以被确定为使得致动器（10）被控制为使得车辆（100）避免与检测到的对象碰撞。检测到的对象也可以根据图像分类器（60）认为它们最有可能是什么——例如行人或树木——来分类，并且控制信号（a）可以取决于分类来确定。
86.替代地或附加地，控制信号（a）也可以用于控制显示器（10a），例如，用于显示由图像分类器（60）检测的对象。还可以想象，如果车辆（100）接近于与至少一个检测到的对象碰撞，则控制信号（a）可以控制显示器（10a），使得它产生警告信号。警告信号可以是警告声音
和/或触觉信号，例如车辆方向盘的振动。
87.在另外的实施例中，至少部分自主的机器人可以由另一个移动机器人（未示出）给出，该另一个移动机器人（未示出）可以例如通过飞行、游泳、潜水或步行来移动。移动机器人尤其可以是至少部分自主的割草机，或者至少部分自主的清洁机器人。在所有以上实施例中，控制信号（a）可以被确定，使得移动机器人的推进单元和/或转向和/或制动器被控制，使得移动机器人可以避免与所述标识的对象碰撞。
88.在另外的实施例中，至少部分自主的机器人可以由园艺机器人（未示出）给出，该园艺机器人（未示出）使用传感器（30）、优选光学传感器来确定环境（20）中植物的状态。致动器（10）可以控制用于喷洒液体的喷嘴和/或例如刀片的切割设备。取决于植物的标识的种类和/或标识的状态，可以确定控制信号（a）以使得致动器（10）向植物喷洒合适量的合适液体和/或切割植物。
89.在甚至另外的实施例中，至少部分自主的机器人可以由家用电器（未示出）给出，家用电器（未示出）例如像是洗衣机、炉子、烤箱、微波炉或洗碗机。例如光学传感器的传感器（30）可以检测将经历由家用电器处理的对象的状态。例如，在家用电器是洗衣机的情况下，传感器（30）可以检测洗衣机内部的衣物的状态。然后可以取决于检测到的衣物材料来确定控制信号（a）。
90.图4中示出了实施例，其中控制系统（40）用于控制例如作为生产线的一部分的制造系统（200）的制造机器（11），例如冲压刀具、刀具、枪钻或夹具。制造机器可以包括移动制造产品（12）的例如传送带或装配线之类的运输设备。控制系统（40）控制致动器（10），致动器（10）进而控制制造机器（11）。
91.传感器（30）可以由光学传感器给出，该光学传感器捕获例如制造产品（12）的特性。
92.图像分类器（60）可以确定制造产品（12）相对于运输设备的位置。致动器（10）然后可以取决于制造产品（12）的确定位置被控制，用于制造产品（12）的后续制造步骤。例如，可以控制致动器（10）在制造产品本身的特定位置切割制造产品。替代地，可以设想，图像分类器（60）对制造产品是否破损或展现缺陷进行分类。然后，可以控制致动器（10）以便从运输设备移除制造产品。
93.图5中示出了实施例，其中控制系统（40）用于控制自动化个人助理（250）。传感器（30）可以是光学传感器，例如用于接收用户（249）手势的视频图像。替代地，传感器（30）也可以是音频传感器，例如用于接收用户（249）的语音命令。
94.控制系统（40）然后确定用于控制自动化个人助理（250）的控制信号（a）。根据传感器（30）的传感器信号（s）确定控制信号（a）。传感器信号（s）被传输到控制系统（40）。例如，分类器（60）可以被配置为例如实行手势识别算法来标识用户（249）做出的手势。控制系统（40）然后可以确定传输到自动化个人助理（250）的控制信号（a）。然后，它将控制信号（a）传输到自动化个人助理（250）。
95.例如，可以根据由分类器（60）识别的所标识的用户手势来确定控制信号（a）。它可以包括使得自动化个人助理（250）从数据库检索信息并以适合用户（249）接收的形式输出该检索信息的信息。
96.在另外的实施例中，可以设想，代替自动化个人助理（250），控制系统（40）控制根
据所标识的用户手势控制的家用电器（未示出）。家用电器可以是洗衣机、炉子、烤箱、微波炉或洗碗机。
97.图6中示出了实施例，其中控制系统（40）控制访问控制系统（300）。访问控制系统（300）可以被设计成物理控制访问。例如，它可以包括门（401）。传感器（30）可以被配置为检测与决定是否准许访问相关的场景。例如，它可以是用于提供图像或视频数据例如以便检测人的面部的光学传感器。
98.图像分类器（60）可以被配置为对人的身份进行分类，例如通过将检测到的人的面部与存储在数据库中的已知人的其他面部进行匹配，从而确定人的身份。然后，可以取决于图像分类器（60）的分类，例如根据确定的身份，来确定控制信号（a）。致动器（10）可以是取决于控制信号（a）打开或关闭门的锁。替代地，访问控制系统（300）可以是非物理的、逻辑的访问控制系统。在这种情况下，控制信号可以用于控制显示器（10a）以示出关于人的身份和/或人是否被给予访问权的信息。
99.图7中示出了实施例，其中控制系统（40）控制监督系统（400）。该实施例在很大程度上与图6中所示的实施例相同。因此，将仅详细描述不同的方面。传感器（30）被配置为检测被监督的场景。控制系统（40）不一定控制致动器（10），但是可以替代地控制显示器（10a）。例如，图像分类器（60）可以确定场景的分类，例如，由光学传感器（30）检测到的场景是否正常或者场景是否展现异常。传输到显示器（10a）的控制信号（a）然后可以例如被配置为使得显示器（10a）取决于确定的分类来调整显示的内容，以例如突出显示被图像分类器（60）认为异常的对象。
100.图8中示出了由控制系统（40）控制的医学成像系统（500）的实施例。成像系统可以是例如mri装置、x射线成像装置或超声波成像装置。传感器（30）例如可以是成像传感器，其拍摄例如显示患者的不同类型身体组织的患者的至少一个图像。
101.分类器（60）然后可以确定感测图像的至少一部分的分类。因此，图像的至少一部分被用作至分类器（60）的输入图像（x）。
102.然后可以根据分类选择控制信号（a），从而控制显示器（10a）。例如，图像分类器（60）可以被配置为例如通过将图像中显示的组织分类为恶性或良性组织来检测感测图像中的不同类型的组织。这可以通过图像分类器（60）对输入图像（x）的语义分割来完成。然后可以确定控制信号（a）以使得显示器（10a）例如通过显示输入图像（x）并以相同的颜色对相同组织类型的不同区域着色来显示不同的组织。
103.在另外的实施例（未示出）中，成像系统（500）可以用于非医疗目的，以例如确定工件的材料特性。在这些实施例中，图像分类器（60）可以被配置为接收工件的至少一部分的输入图像（x）并执行输入图像（x）的语义分割，从而对工件的材料特性进行分类。然后可以确定控制信号（a）以使得显示器（10a）显示输入图像（x）以及关于检测到的材料特性的信息。
104.图9中示出了由控制系统（40）控制的医学分析系统（600）的实施例。医学分析系统（600）供应有微阵列（601），其中微阵列包括已经暴露于医学样本的多个点（602，也称为特征）。医学样本可以例如是例如从拭子获得的人类样本或动物样本。
105.微阵列（601）可以是dna微阵列或蛋白质微阵列。
106.传感器（30）被配置为感测微阵列（601）。传感器（30）优选为诸如视频传感器的光
学传感器。
107.图像分类器（60）被配置为基于由传感器（30）供应的微阵列的输入图像（x）对样本的结果进行分类。特别地，图像分类器（60）可以被配置为确定微阵列（601）是否指示样本中存在病毒。
108.然后可以选择控制信号（a），使得显示器（10a）示出分类结果。
109.图10示出了用于通过训练数据集（t）来训练控制系统（40）的分类器（60）的训练系统（140）的实施例。训练数据集（t）包括用于训练分类器（60）的多个输入信号（xi），其中训练数据集（t）对于每个输入信号（xi）进一步包括对应于输入信号（xi）并表征输入信号（xi）的分类的期望输出信号（yi）。
110.为了训练，训练数据单元（150）访问计算机实现的数据库（st2），该数据库（st2）提供训练数据集（t）。训练数据单元（150）优选地从训练数据集（t）随机确定至少一个输入信号（xi）和对应于输入信号（xi）的期望输出信号（yi），并将输入信号（xi）传输到分类器（60）。分类器（60）基于输入信号（xi）确定输出信号（）。
111.期望的输出信号（yi）和确定的输出信号（）被传输到修改单元（180）。
112.基于期望的输出信号（yi）和确定的输出信号（），修改单元（180）然后确定分类器（60）的新参数（）。出于该目的，修改单元（180）使用损失函数将期望的输出信号（yi）和确定的输出信号（）进行比较。损失函数确定表征确定的输出信号（）偏离期望的输出信号（yi）多远的第一损失值。在给定的实施例中，负对数似然函数被用作损失函数。在替代实施例中，其他损失函数也是可设想的。
113.此外，可设想，确定的输出信号（）和期望的输出信号（yi）各自包括例如以张量的形式的多个子信号，其中期望的输出信号（yi）的子信号对应于确定的输出信号（）的子信号。例如，可设想，分类器（60）被配置用于对象检测，并且第一子信号表征对象相对于输入信号（xi）的一部分的出现概率，并且第二子信号表征对象的确切位置。如果确定的输出信号（）和期望的输出信号（yi）包括多个对应的子信号，则优选地通过合适的损失函数针对每个对应的子信号确定第二损失值，并且确定的第二损失值例如通过加权和被合适地组合以形成第一损失值。
114.修改单元（180）基于第一损失值确定新参数（）。在给定的实施例中，这是使用梯度下降方法、优选地是随机梯度下降、adam或adamw来完成的。
115.在其他优选实施例中，描述的训练迭代地重复预定义数量的迭代步骤，或者迭代地重复，直到第一损失值落入预定义阈值以下。替代地或附加地，还可设想，当相对于测试或验证数据集的平均第一损失值落入预定义阈值以下时，训练终止。在至少一次迭代中，在先前迭代中确定的新参数（）被用作分类器（60）的参数（）。
116.此外，训练系统（140）可以包括包含指令的至少一个处理器（145）和至少一个机器可读存储介质（146），所述指令当由处理器（145）执行时，使得训练系统（140）执行根据本发明的一个方面的训练方法。
117.术语“计算机”可以被理解为涵盖用于处理预定义计算规则的任何设备。这些计算规则可以是软件、硬件或软件和硬件混合的形式。