用于为神经网络生成受干扰的输入数据的方法和生成器与流程

1.本发明涉及一种为用于分析驾驶员辅助系统的传感器数据、特别是用于分析数字图像的神经网络生成受干扰的输入数据的方法。本发明还涉及一种用于检查这种神经网络的稳健性的方法和一种用于改进这种神经网络的参数组的方法。本发明还涉及一种用于为用于分析驾驶员辅助系统的传感器数据、特别是用于分析数字图像的神经网络生成受干扰的输入数据的生成器。


背景技术：

2.现代车辆包括驾驶员辅助系统，所述驾驶员辅助系统支持驾驶员控制车辆，或者部分地或完全地接管驾驶任务。通过使用这种驾驶员辅助系统，可以实现车辆控制的不同程度的自动化。在自动化程度较低的情况下，仅向驾驶员输出信息和警告。在自动化程度较高的情况下，驾驶员辅助系统主动干预车辆的控制。例如，在车辆转向或正向或负向加速中存在干预。在自动化程度更高的情况下，对车辆的设备的干预达到这样的程度：即可以自动执行车辆的某些类型的运动，例如直线行驶。在自动化程度最高的情况下，车辆可以自动驾驶。
3.在此类驾驶员辅助系统中，对在驾驶期间由车辆的周围环境记录的数字图像的分析至关重要。只有在正确分析数字图像时，驾驶员辅助系统才能可靠地控制车辆。在分析驾驶员辅助系统的数字图像时，机器学习具有巨大的潜力。例如由车辆的摄像机、雷达传感器或激光雷达传感器生成的传感器原始数据借助于深度神经网络进行处理。神经网络生成输出数据，驾驶员辅助系统由这些输出数据导出关于部分自动的或全自动的驾驶的相关信息。例如，确定车辆环境中的对象的类型和位置及其行为。此外，可以借助于神经网络来确定道路几何形状和道路拓扑结构。特别是特别的卷积网络（英语：convolutional neuronal networks（卷积神经网络））适合处理数字图像。
4.为了应用在驾驶员辅助系统中，对这种深度神经网络进行训练。在此，神经网络的参数可以通过输入数据进行适当调整，而无需人类专家干预。对于给定的参数化，在此测量神经网络的输出与基本事实的差异。这种差异也称为“损失”。在此，以如下方式选择所谓的损失函数：参数可微分地与其相关。在梯度下降的过程中，神经网络的参数然后在每个训练步骤中根据基于更多示例确定的差异导数进行调整。这些训练步骤经常重复，直到差异（即损失）不再减小为止。
5.采用这种方法时，无需人类专家的评估或语义驱动的建模就可确定参数。这对神经网络造成的结果是，这些神经网络通常对人们来说在很大程度上是不透明的，并且无法解释它们的计算。这导致，特别是深度神经网络通常无法进行系统测试或正式验证。
6.此外存在如下问题：深度神经网络容易受到有害干扰（英语：adversial perturbations（对抗干扰））。人们几乎或根本察觉不到的对输入数据的小篡改，或者不改变情况评估的篡改，可能导致输出数据明显不同于在没有篡改时产生的输出数据。由于传感器噪声、天气影响或某些颜色和对比度，所以此类篡改既可能是对传感器数据的有意引
起的改变，也可能是随机出现的图像变化。
7.在此无法预见的是，神经网络会对哪些输入特征做出如此敏感的反应，以至于在输入数据发生轻微变化的情况下输出数据也会显著改变。这具有如下后果：合成的数据无法成功地用于训练在这种驾驶员辅助系统中使用的神经网络。已经发现，在模拟中或以其他合成数据被训练的神经网络，在利用真实传感器数据的驾驶员辅助系统中使用时，具有很差的性能。还发现，在其他域中实施具有神经网络的驾驶员辅助系统还会大大降低功能质量。例如可能发生的是，具有在夏季训练的神经网络的驾驶员辅助系统可能不适合在冬季实施。因此，基于模拟为驾驶员辅助系统开发和批准神经网络是有问题的。
8.因此，需要的是，为驾驶员辅助系统开发具有抗干扰能力（robust gegen st
ö
rungen）的神经网络。即使当输入数据受到干扰时，神经网络也应为驾驶员辅助系统生成可用的输出数据。
9.为了实现这一点，已知的是，借助已知的干扰，为神经网络生成受干扰的输入数据，并测试神经网络的输出数据如何对这些受干扰的输入数据做出反应。输入数据中存在干扰的集合，借此可以测试神经网络对此类干扰的稳健性。然而，这会导致问题，即，通过已知的干扰只能在有限的程度上生成受干扰的输入数据。因此，有以下需要：为用于分析驾驶员辅助系统的传感器数据、特别是数字图像，以便测试和改进神经网络的神经网络生成受干扰的输入数据。


技术实现要素：

10.因此，本发明的任务在于，提出一种用于为用于分析驾驶员辅助系统的传感器数据、尤其是数字图像的神经网络生成受干扰的输入数据的方法和生成器，利用该方法和生成器，借助已知的干扰以简单的方式可以为神经网络生成的新的受干扰的输入数据。
11.根据本发明，该任务通过一种具有权利要求1的特征的方法和一种具有权利要求12的特征的方法以及一种具有权利要求14的特征的生成器和一种具有权利要求20的特征的生成器来实现。此外，由此可以提出一种用于检查用于分析传感器数据、特别是数字图像的神经网络相对于受干扰的输入数据的稳健性的方法以及一种用于改进这种神经网络的参数组的方法。有利的设计和改进由从属权利要求得到。
12.在根据本发明的、用于为神经网络生成受干扰的输入数据的方法以用于分析驾驶员辅助系统的传感器数据的情况下，定义第一度量且定义第二度量，该第一度量表明如何测量数字图像的变化程度，该第二度量表明数字图像的输入数据的干扰针对的是什么。由第一度量和第二度量的组合产生优化问题。优化问题借助于至少一种求解算法来求解，其中，该求解表明输入数据的目标干扰，并且借助于目标干扰从传感器数据为神经网络生成受干扰的输入数据。
13.传感器数据尤其是数字图像。在这种情况下，目标干扰因此产生受干扰的（即，改变了的）数字图像，其形成了用于神经网络的输入数据，该神经网络分析数字图像。
14.在根据本发明的方法中，在结构层面上观察用于分析传感器数据的神经网络的可能的有害干扰。干扰被视为不同元素的组合，针对所述不同元素定义了不同的度量。令人惊讶的是，由此可以实现的是，不再仅使用随机组合的干扰，而是可能的是，通过以下方式基于已知的干扰生成大量新的有害的目标干扰：在度量方面分析已知干扰的结构。
15.在根据本发明的方法中，有利地由两个度量产生优化问题，这些度量测量传感器数据、尤其是数字图像的变化。对于这种优化问题，存在大量已知的求解算法。因此可以采用这些求解算法来对优化问题求解。由此产生输入数据的目标干扰。然后可以借助该目标干扰，从传感器数据为神经网络生成受干扰的输入数据。然后可以基于这些受干扰的输入数据对神经网络进行测试和训练。有利地，根据本发明的方法能够非常快地并且以简单的方式产生新的干扰。
16.在根据本发明的方法中使用的第一度量表明如何测量传感器数据的变化程度。如果传感器数据是摄像机的数字图像，则用于测试神经网络的干扰通常应尽可能小。第一度量表明如何量化数字图像的变化程度。例如，可以通过移动、旋转、或镜像图像的像素来改变数字图像。第一度量表明此类转换的变化程度。根据第一度量，数字图像的旋转或平移可以由固定点和在水平方向与垂直方向上的旋转角度或平移距离来定义。此外，第一度量可以针对图像的每个像素，通过以下方式来确定图像距离：确定所有像素值的差的总和。像素值例如可以是灰度值或颜色值。针对每个像素，形成原始图像和受干扰图像的像素值的差。针对每个像素都确定该差，并且然后把这些差累加起来。结果，产生了图像距离，该图像距离根据第一度量表明两个图像的差异。
17.此外，可以根据第一度量，观察更改的图像区域。图像区域可以由起点和在水平方向与垂直方向上的范围来定义，或由像素列表来定义。可以根据第一度量为这些图像区域确定图像距离。
18.此外，第一度量可以表明数字图像的与图像特征（例如亮度、对比度和/或结构值或其任何组合）相关的变化的程度。
19.在定义第一度量时，还可以包含限制，例如，在第一度量中观察的变化仅考虑一些图像区域，在这些图像区域中例如存在某些图像特征。例如，可以只观察其中对比度超过某个阈值的那些区域。
20.按照根据本发明的方法的设计，第一度量选自测量潜在自然发生的干扰的第一度量，因为由这些度量确定的干扰实际上可以在现场执行中发生。这种自然干扰例如是传感器数据由于天气影响（例如雾或雪）、传感器噪声或者由于相机污垢而产生的或者由于纹理而产生的变化。此外，自然发生的干扰是在车辆周围环境中自然出现的对象，例如在对象上的印刷的海报或贴纸。如果例如第二度量的干扰针对的是使某个类别的对象消失，则可以将对象上的印刷的海报、贴纸、雾或纹理添加到数字图像中。借助于根据第二度量针对传感器数据中的特定影响的这种干扰，可以有利地为神经网络生成这种受干扰的输入数据，这些受干扰的输入数据对于在驾驶员辅助系统中的使用特别相关。
21.按照根据本发明的方法的设计，第二度量针对的是对象的类别的变化。第二度量特别是测量真实的模型输出与期望的错误模型输出的差异，即对抗干扰的目标。例如，在数字图像的情况下，小图像区域或少量像素可能会受到干扰，使得数字图像的对象不再被识别为交通参与方（例如行人），而是被识别为另一种类别的对象，例如道路区域。此外，干扰可以旨在确保每当区域被识别为街道时，这条街道总是被识别为没有其他交通参与方的空街道。
22.按照根据本发明的方法的另一设计，第二度量可以针对对象的消失。干扰的目的例如是，被识别的对象发生使其消失的改变。第二度量在此也可以仅与某些图像区域相关。
例如，由第二度量描述的干扰的目的可以是针对如下情况：在特定的图像区域中不能出现特定类别的对象。
23.按照根据本发明的方法的另一设计，第二度量针对特定类别的对象的变化。例如可以识别和分类对象。例如，可以将图像区域分配给交通参与方。于是第二度量的目标例如针对的是：更大或更小地或在另一位置处显示这个对象。例如，被分类为行人的对象可以显示得更小或更大。在这种情况下，例如通过像素的绝对量来定义放大，通过该绝对量，对象因干扰而在左边、右边、上面和下面被放大或缩小。
24.存在大量可能的干扰可以通过第二度量来描述。可以对传感器数据进行任何改变，以便改变传感器数据，使得在分析驾驶员辅助系统中的传感器数据时，不再能够正确地获得特别是与安全相关的结果。例如，可以将图案或网格应用于传感器数据，以便特定类别的对象例如行人在数字图像中消失，但其他对象继续被正确分类。对于根据本发明的方法在驾驶员辅助系统中的应用，测量自然发生的干扰的那些第二度量在此是特别相关的：模型输出看起来可信，但在某些与安全相关的细节上偏离了事实。
25.按照根据本发明的方法的设计，由第一度量和/或第二度量描述的干扰是自然发生的干扰。为了在驾驶员辅助系统中使用，因而对由第一度量和/或第二度量描述的可能干扰进行选择，这些干扰对于检查和改进应用在驾驶员辅助系统中的神经网络特别相关。
26.按照根据本发明的方法的另一设计，第一度量和/或第二度量被存储在数据库中。然后从数据库中加载关于自然发生的干扰的数据组，该利用自然发生的干扰利用第一度量和/或第二度量来测量。例如可以将输入数据处可能的干扰的度量（第一度量）和模型输出中可能的变化的度量（第二度量）存储在数据库中。按照根据本发明的方法的设计，然后从数据库加载自然发生的干扰（利用第一度量测量）和可能的目标（模型输出中的对抗变化——例如忽略所有行人——利用第二度量测量）的数据组。
27.按照根据本发明的方法的另一设计，定义了第三度量，其表明将第三干扰应用到何种传感器数据。例如，干扰应用于所有数据、仅一个数据点或具有特定条件的数据，例如具有多车道道路的所有数据。然后从第一度量、第二度量和第三度量中的至少两个度量的组合生成优化问题。优化问题特别是由第一度量、第二度量和第三度量的组合产生。传感器数据尤其是数字图像。这些数字图像特别是通过驾驶员辅助系统中的神经网络进行分析。
28.第三度量可以特别涉及所有传感器数据，例如所有数字图像。例如，在所有数字图像中，干扰可能导致某个类别的对象消失。
29.此外，第三度量只能影响传感器数据尤其是数字图像的子集。干扰例如可以仅描述一些数字图像，这些数字图像包含特定类别的对象，例如分类为行人的对象。此外，第三度量可以描述在下雪或下雨天记录的数字图像。因此，当在驾驶员辅助系统中使用时，神经网络的受干扰的输入数据例如可能会导致对特殊交通状况或环境状况的不同评估。
30.按照根据本发明的方法的另一设计，第三度量仅描述包含特定对象的传感器数据。备选地或附加地，第三度量可以仅选择特定的数字图像。
31.基于度量生成的优化问题例如可以表示如下：对于数字图像的给定的最大变化，例如通过旋转某个图像区域，分类为人的像素的数量应该最少，并且确切地说，出现人的图像尽可能多。
32.在另一个示例中，在高对比度的区域中在输入图像的变化最小的情况下，分类为
人的像素的数量应该最少，并且确切地说，出现人的图像尽可能多。
33.在根据本发明的方法中，为这种优化问题指定了求解算法。按照根据本发明的方法的一种设计，求解算法包括使用神经网络的梯度来确定变化方向的迭代方法。此外，可以使用利用采样、评估及其组合的迭代方法。
34.按照根据本发明的方法的另一设计，使用蒙特卡罗方法作为求解算法，其中，例如为数字图像生成噪声，并且检查结果。根据另一设计，可以使用遗传算法来解决优化问题。
35.优化问题的解决方案例如可以是受干扰的数字图像，或者是可以用来干扰传感器数据的干扰，以便为神经网络生成受干扰的输入数据。受干扰的传感器数据或受干扰的数字图像然后表示要检查的神经网络的输入数据。通过在像素层级进行组合，例如通过求和，还可以将干扰应用于一组输入数据。
36.本发明的另一方面涉及一种为用于分析驾驶员辅助系统的传感器数据、特别是数字图像的神经网络生成受干扰的输入数据的方法，其中，定义包含第一度量的第一组、包含第二度量的第二组，所述第一度量各自不同地表明如何测量传感器数据的变化程度，所述第二度量各自不同地表明传感器数据的干扰针对的是什么，选择第一组的第一度量和第二组的第二度量的任意组合，从第一度量和第二度量的所选择的组合生成优化问题，借助至少一种求解算法来求解该优化问题，其中，该求解表明输入数据的目标干扰，并且借助目标干扰从传感器数据为神经网络生成受干扰的输入数据9。
37.这种方法的优点是，可以使用第一组的任何第一度量和第二组的任何第二度量，以便通过求解优化问题来达到目标干扰。第一组和第二组包含的度量越多，可以由该方法生成的不同的目标干扰就越多。因此可以产生非常大量的目标干扰。
38.按照根据本发明的方法的另一设计，第一组包括至少两个、特别是至少五个不同的第一度量。但是，第一度量也可以包含超过10个、20个或超过100个的度量。
39.按照根据本发明的方法的另一设计，第二组包括至少两个、特别是至少五个不同的第二度量。但是，第二度量也可以包含超过10个、20个或超过100个的度量。
40.第一组或第二组的第一度量和/或第二度量可以特别是单独地或组合地具有如上所述的特征。
41.按照根据本发明的方法的另一设计，定义了第三度量，所述第三度量表明将干扰应用于何种类型的传感器数据，并且选择第一组的第一度量、第二组的第二度量和第三度量的任意组合。然后由第一度量、第二度量和第三度量的所选择的组合生成优化问题。
42.第三度量可以特别是单独地或组合地具有如上所述的特征。
43.按照根据本发明的方法的另一设计，定义了包含多个求解算法的求解算法集合，所述多个求解算法各自不同地求解优化问题，以便生成输入数据的不同的目标干扰。然后，选择求解算法集合中的任意求解算法，以便从传感器数据为神经网络生成受干扰的输入数据。以这种方式，可以产生甚至更多数量的目标干扰，因为求解算法也可以变化，其中，每个求解算法都达到不同的目标干扰。
44.求解算法集合的求解算法可以包括使用神经网络的梯度来确定变化方向的迭代方法，以及基于采样的方法、基于梯度的方法、基于梯度的具有动量的方法和/或基于代理-模型的方法。
45.本发明还涉及一种用于检查用于分析传感器数据、特别是数字图像的神经网络相
对于受干扰的输入数据的稳健性的方法，其中，执行以下步骤：提供具有相关参数组的神经网络；借助示例-传感器数据组生成训练数据；借助神经网络基于训练数据生成示例-传感器数据组的第一分析；借助上述方法来生成受干扰的输入数据，作为示例-传感器数据组的训练数据，以用于为神经网络生成受干扰的输入数据；借助神经网络基于受干扰的输入数据，生成示例-传感器数据组的第二分析；比较第一分析和第二分析；以及根据第一分析和第二分析的比较结果，确定稳健性值。
46.本发明还涉及一种用于改进用于分析传感器数据、特别是数字图像的神经网络相对于受干扰的输入数据的参数组的方法。在该方法中执行以下步骤：a. 提供具有相关参数组的神经网络；b. 借助示例-传感器数据组生成训练数据；c. 借助神经网络基于训练数据生成示例数据组的第一分析；d. 借助上述方法来生成受干扰的输入数据，作为示例-传感器数据组的训练数据，以用于为神经网络生成受干扰的输入数据；e. 借助神经网络基于受干扰的输入数据，生成示例-传感器数据组的第二分析；f. 比较第一分析和第二分析；以及g. 根据第一分析和第二分析的比较结果来确定稳健性值。
47.示例-传感器数据组尤其是数字的示例图像。
48.借助该方法，可以采用在开头描述的方法用于生成受干扰的输入数据，以便检查用以分析传感器数据的神经网络相对于受干扰的输入数据的稳健性。如果将神经网络应用在用于分析驾驶员辅助系统的传感器数据的方法中，那么对于驾驶员辅助系统作用于其上的车辆的运行期间的安全而言，重要的是，神经网络相对于神经网络的受干扰的输入数据是稳健的。如果第一分析和第二分析中的偏差非常小，则神经网络对这种受干扰的输入数据是稳健的。受干扰的输入数据于是对神经网络的输出具有很小的影响。而如果受干扰的输入数据——即使对传感器数据的干扰很小——导致示例-传感器数据组的第二分析与第一分析的偏差非常大，则神经网络对输入数据的干扰不是稳健的。
49.如果传感器数据是数字图像，则第一分析和第二分析可以包括数字图像的语义分割、数字图像的对象的识别、数字图像对象的分类或对象在数字图像中的位置的识别。此外，借助分析可以识别数字图像中的对象如何变化。当在驾驶员辅助系统中使用神经网络时，这些分析特别相关，因此重要的是，神经网络对在这种分析中出现的干扰是稳健的，因而在分析时，如果采用受干扰的输入数据，则会出现轻微的变化。
50.本发明还涉及一种用于改进用于分析传感器数据、特别是数字图像的神经网络相对于受干扰的输入数据的参数组的方法。该方法包括如上所述的步骤a.到f.。然后在步骤h.中，基于第一分析和第二分析的比较结果，生成神经网络的改进的参数组。
51.通过训练神经网络获得改进的参数组。训练是针对受干扰的和未受干扰的传感器数据（即尤其是数字图像）进行的。于是例如由梯度下降（对抗训练）得到改进的参数组。
52.本发明还涉及一种用于为用于分析驾驶员辅助系统的传感器数据、特别是数字图像的神经网络生成受干扰的输入数据的生成器，该生成器具有：带有第一度量的第一度量单元，所述第一度量表明如何测量传感器数据的变化程度；带有第二度量的第二度量单元，所述第二度量表明来自传感器数据的输入数据的干扰针对的是什么；处理单元，其与第一
度量和第二度量单元连接，并且被设计用于由第一度量和第二度量生成优化问题；求解单元，其与处理单元连接，并且被设计用于借助至少一个求解算法来解决优化问题，其中，该求解表明来自传感器数据的输入数据的目标干扰；以及生成单元，其与求解单元连接，并且被设计用于借助目标干扰由传感器数据为神经网络生成受干扰的输入数据。
53.根据本发明的生成器特别地被设计用于执行上述用来生成受干扰的输入数据的方法。因此，该生成器也具有与该方法相同的优点。
54.按照根据本发明的生成器的一种设计，该生成器还包括具有第三度量的第三度量单元，该第三度量表明干扰应用于哪些传感器数据。在这种情况下，处理单元还与第三度量单元连接，并且被设计用于从第一度量、第二度量和第三度量中的至少两个度量生成优化问题。
55.本发明还涉及一种用于生成用于分析驾驶员辅助系统的传感器数据的神经网络的参数组的装置，该装置具有：第一分析单元，用于基于示例-传感器数据组的训练数据，借助神经网络生成第一分析；上述生成器，用于生成受干扰的输入数据，用于生成受干扰的输入数据作为示例-传感器数据组的训练数据；第二分析单元，用于基于受干扰的输入数据，通过神经网络生成示例-传感器数据组的第二分析；比较单元，其与第一分析和第二分析单元连接，并且被设计用于比较第一分析和第二分析；以及生成单元，其与比较单元连接，并且被设计用于基于第一分析和第二分析的比较结果为神经网络生成改进的参数组。
56.用于生成参数组的装置特别设计用于执行上述用来改进神经网络的参数组的方法。因此，该装置也具有与该方法相同的优点。
附图说明
57.现在将参考附图借助实施例解释本发明。
58.图1示意性地示出了根据本发明的生成器的实施例的结构；图2示意性地示出了根据本发明的用于生成受干扰的输入数据的方法的实施例的流程；图3示意性地示出了根据本发明的用于生成参数组的装置的实施例的结构；图4示出了根据本发明的用于检查神经网络的稳健性的方法的实施例的流程；图5示出了根据本发明的用于改进神经网络的参数组的方法的流程；图6示出了干扰的示例。
具体实施方式
59.在本发明的实施例中，由神经网络分析传感器数据，或者由这些传感器数据为神经网络生成受干扰的输入数据。在这些实施例中，传感器数据是来自车辆传感器的原始数据。传感器可以是摄像机、雷达传感器、激光雷达传感器或生成传感器数据的任何其他的传感器，这些传感器数据在驾驶员辅助系统中进一步处理。下面例如假定传感器数据是由车辆的摄像机拍摄的数字图像。但是，本发明也可按相同的方式应用于其他传感器数据。
60.首先参考图1描述用于为用于分析驾驶员辅助系统的数字图像的神经网络生成受干扰的输入数据的生成器10的实施例。
61.生成器10包括第一度量单元1、第二度量单元2和第三度量单元3。第一度量单元1
包括表明如何测量数字图像的变化程度的第一度量。第一度量单元1定义了如何测量数字图像的变化程度。可以将第一度量的定义输入到第一度量单元1中。然而，第一度量单元1也可以经由接口访问数据库16，在该数据库16中存储了具有度量的多个可能定义的数据，这些度量测量数字图像的变化程度。例如，第一度量可以比较两个数字图像之间的图像距离，并为该图像距离输出值。图像距离可以例如通过要比较的数字图像的所有像素值的差值之和来定义。
62.在该实施例中，第一度量单元1从数据库16中选择尽可能自然的干扰。自然干扰被理解为如下干扰：该干扰影响车辆的周围环境的数字图像的，如同也会因车辆的周围环境中自然发生的现象而发生的一样。数字图像因自然干扰引起的变化例如对应于数字图像如发生天气现象时的变化，例如产生发生雾、降雪或雨时的变化。此外，自然干扰被理解为意指如下图像变化：对象被插入图像中或从图像中消失，这也可能在车辆的周围环境中发生。例如，在车辆的周围环境中可能嵌入在对象上的海报或贴纸。第二度量单元1不考虑其他的、非自然发生的比如也可以包含在数据库16中的干扰，因为这些干扰对于测试在驾驶员辅助系统中使用的神经网络来说较不相关。
63.第二度量单元2包括第二度量，其表明数字图像的输入数据的干扰针对的是什么，即第二度量定义了数字图像的干扰针对的是什么。第二度量的定义可以通过输入而传输到第二度量单元2。同样地，第二度量单元2也可以与数据库16连接，在该数据库16中存储了关于大量干扰的数据，这些干扰针对数字图像的特定变化。其在此可以是这些干扰的集合。
64.在实施例中，第二度量单元2从数据库16中选择尽可能可信的干扰。可信的干扰被理解为如下的干扰：明显导致真实模型输出，但在相关细节上与之不同。在可信的干扰的情况下，例如会发生正确的分割，但其中，车道标记一直在移动。其他不可信的干扰，比如也可以包含在数据库16中的干扰，不被第二度量单元2考虑，因为这些干扰对于测试在驾驶员辅助系统中使用的神经网络来说较不相关。严重不可信的模型输出因而可容易地被探测到。
65.第二度量例如可以旨在增加分配给特定类别（例如行人类别）的所有对象的大小。干扰因此生成数字图像，其中，被分类为行人的初始图像的对象在所有四个方向上被迭代放大，其中，受干扰的数字图像的所产生的分割再次彼此组合。结果是数字图像，其中，不属于行人类别的所有对象都保持不变，但属于行人类别的对象被放大显示。其他对象仅在通过放大行人类别的对象而改变的范围内发生变化。
66.第三度量单元3包括第三度量，其表明干扰应用于哪些数字图像。例如，可以通过该度量来定义，干扰仅应用于表明其他交通参与方（即例如行人、骑自行车的人和其他车辆）的数字图像。
67.三个度量单元1至3与处理单元4连接。处理单元4被设计用来由第一到第三度量单元1到3的三个度量生成优化问题。例如，优化问题包括神经网络的损失函数，该神经网络作为参数包含干扰参数和通过干扰产生的图像（第二度量）。对于优化问题，应寻找干扰参数的最小值，并且确切地说，针对根据第三度量定义的数字图像来寻找，并且条件是，生成的图像相对于根据第一度量的输出图像的变化程度低于一定的值。
68.处理单元4将优化问题作为数据组传输到求解单元5。求解单元5与数据库6连接，在该数据库中存储了优化问题的至少一个求解算法，优选地多个求解算法。这种求解算法本身是已知的。例如，在数据库6中可以存储蒙特卡罗方法、遗传算法和/或基于梯度的方
法，求解单元5可以调用这些方法。借助于这些求解算法，求解单元5可以生成数字图像的输入数据的目标干扰，作为优化问题的解。因此，目标干扰产生了受干扰的数字图像，该受干扰的数字图像可以用作用于分析数字图像的神经网络的输入数据。神经网络尤其被设计用于分析驾驶员辅助系统的数字图像。
69.求解单元5将目标-干扰传输到生成单元7。生成单元7还与数据库8连接，在该数据库中存储了多个数字图像。借助于目标-干扰，生成单元7可以干扰数据库8中的数字图像，使得为神经网络生成数字图像的受干扰的输入数据9。受干扰的输入数据9然后由生成单元7输出。利用这些受干扰的输入数据9，然后可以测试、训练神经网络，或者可以改进神经网络的参数组。
70.参考图2将解释根据本发明的方法的实施例用于生成受干扰的输入数据9：在步骤s1中定义第一度量，其表明如何测量数字图像的变化程度。第一度量或描述第一度量的数据组被存储在第一度量单元1中。
71.在步骤s2中定义第二度量，其表明数字图像的干扰针对的是什么。该第二度量或描述第二度量的数据组也存储在第二度量单元2中。
72.最后，在步骤s3中定义第三度量，其表明干扰应用于哪些数字图像。该第三度量或描述该第三度量的数据组存储在第三度量单元3中。
73.在步骤s4中，将描述三个度量的数据组传输到处理单元4。
74.在步骤s5中，处理单元4根据三个度量的组合生成优化问题。在步骤s6中，处理单元4将描述所生成的优化问题的数据组传输到求解单元5。
75.在步骤s7中，求解单元5借助于至少一种求解算法来求解优化问题，例如通过访问数据库6已经将该求解算法传送给求解单元5。求解是数字图像的目标干扰。
76.在步骤s8中，将该目标干扰的数据组传输到生成单元7。
77.在步骤s9中，生成单元7通过访问数据库8生成受干扰的数字图像作为神经网络的输入数据9。在步骤s10中输出这些受干扰的输入数据9。
78.下面以放大行人类别的对象为例详细说明根据本发明的方法：下面参照图6a至图6c，以放大行人类别的对象为例详细说明根据本发明的方法：给定模型m。对于这个模型存在输入x。这个输入x是数字图像，如图6a所示。此外，定义了输出m(x)=y。干扰用δ表示，从而得到改变后的输入x'=x δ。改变后的输出于是为y'=m(x δ)。目标输出用y''表示。
79.模型m的输出y在图6b中示出。数字图像x已被分割，也就是说，数字图像x的像素已经被归类，如图6b中所示。在此产生了以下归类：k1：天空；k2：自然；k3：建筑物；k4：行人；k5：交通标牌；k6：街道；k7：标记。
80.由干扰δ应要产生的目标输出y''在图6c中示出。干扰δ的目标是放大地显示行
人。目标干扰的定义为，各个像素最多允许位移值3。目标数据由具体图像x组成。
81.第一度量于是定义如下：干扰的大小因此被测量为在干扰δ中的处于0到255之间的最大像素值。
82.第二度量定义如下：它定义了与目标输出的像素差异的总和。
83.第三度量定义如下：根据该第三度量，因而只有输入图像x具有较小的大小。因此，如果要求d3(x')《1，则攻击仅涉及到输入图像x。如果要求d3(x')《2，则对要攻击的数据的关注会发生显著变化：那么攻击涉及所有图像。
84.然后从这三个度量形成优化问题如下：根据优化问题，应要找到δ，使得d2(δ)最小，其中，x上的d1(δ)《3。
85.可以凭借已知的求解算法来对该优化问题求解。由此，由已知的(d1, d3)和新(d2)度量得到新的对抗干扰。同样通过以新的方式重新组合已知的度量(d1,..,d3)或通过将它们与另一种求解算法相结合，产生新的对抗干扰。因此，根据本发明的方法允许以简单的方式构建几乎任何数量的新的对抗干扰。
86.根据该示例的一种变型，第一度量只能允许在被分类为“树”的图像区域中的像素变化。于是得到如下优化问题：应将在数字图像x的图像区域“树”中寻找δ，使得d2(δ)最小，其中，d1(δ)《3。
87.根据该示例的另一变型，可以针对第三度量搜寻所有图像的干扰，其中，第一度量d1和第二度量d2保持不变。于是可以将优化问题表述如下：要寻找δ，使得针对所有图像的d2(δ)最小，其中，d1(δ)《3。换句话说：要寻找d1(δ)《3的δ，使得所有输入图像x的模型输出看起来像y"。
88.下面解释根据本发明的生成器10和根据本发明的用于生成受干扰的输入数据9的方法的另一个实施例：如在第一实施例中那样，另一实施例的生成器10包括第一度量单元1和第二度量单元2。然而，在这种情况下，第一度量单元1包括具有多个第一度量的第一组，所述第一度量各自不同地指示如何测量传感器数据的变化程度。在这种情况下，第二度量单元2包括具有多个第二度量的第二组，所述第二度量各自不同地指示传感器数据的输入数据9的干扰针对的是什么。在这种情况下，与第一度量单元1和第二度量单元2连接的处理单元4被设计用来由第一组的第一度量和第二组的第二度量的任意组合生成优化问题。
89.与处理单元4连接的求解单元5于是被设计用于借助至少一种求解算法来求解优
化问题，其中，该求解表明传感器数据的输入数据9的目标干扰。类似于第一实施例，生成单元7还被设计用来借助目标干扰由传感器数据为神经网络11生成受干扰的输入数据9。
90.另一实施例的方法与第一实施例的方法类似地执行。但在这种情况下，定义包含第一度量的第一组，所述第一度量各自不同地表明如何测量传感器数据的变化程度。此外，定义了包含第二度量的第二组，所述第二度量各自不同地表明传感器数据的干扰针对的是什么。然后选择第一组的第一度量和第二组的第二度量的任意组合，并且由第一度量和第二度量的所选择的组合生成优化问题。然后，如同在第一实施例的方法中那样，借助至少一个求解算法来求解该优化问题，其中，该求解表明输入数据9的目标干扰。借助目标干扰，由传感器数据为神经网络11生成受干扰的输入数据9。
91.参考图3将描述用于为神经网络生成参数组的装置的实施例：装置包括具有数字图像的数据库8。参考图1描述的生成器10与这个数据库8连接。神经网络11与数据库8和生成器10连接。神经网络11的输出与第一分析单元12和第二分析单元13连接。第一分析单元12基于从数据库8作为输入数据供应给神经网络11的数字图像，借助于神经网络11产生第一分析。第二分析单元13基于由生成器10供应给神经网络11的受干扰的输入数据9产生第二分析。为了生成受干扰的输入数据9，生成器10访问具有数字图像的数据库8，并且将由生成器10生成的目标干扰应用于该数据库。
92.第一分析单元12和第二分析单元13与比较单元14连接。该比较单元被设计用来将第一分析和第二分析相互比较。
93.比较单元14与参数组生成单元15连接。参数组生成单元15被设计用来基于第一分析和第二分析的从比较单元14传输的比较结果，为神经网络11生成改进的参数组。神经网络11的参数组由参数组生成单元15生成，使得数字图像的由生成器10生成的受干扰的输入数据9很少影响到借助于神经网络11对这些输入数据进行的分析。特别地，改进的参数组被如此生成：干扰的输入数据9对借助于神经网络11针对于受干扰的输入数据的数字图像的语义分割的影响不会导致对于驾驶员辅助系统来说与安全相关的对象被错误地分类，这些对象消失或被改变地显示。神经网络11因此可以借助于由生成器10产生的受干扰的输入数据9来训练。
94.参考图4将描述一种根据本发明的方法的实施例，以用于检查神经网络的稳健性：在步骤r1中，提供具有相关参数组的神经网络。将检查这个神经网络。
95.在步骤r2中，借助于大量数字图像来生成训练数据。
96.在步骤r3中，以本身已知的方式利用训练数据来训练神经网络，并且借助于神经网络在训练数据的基础上产生对数字图像的第一分析。
97.在步骤r4中，借助于参考图2解释的方法产生受干扰的输入数据作为数字图像的训练数据。
98.在步骤r5中，基于受干扰的输入数据，即基于应用了目标干扰的数字图像，借助于神经网络生成对数字图像的第二分析。
99.在步骤r6中，将第一分析和第二分析相互比较。
100.在步骤r7中，最终根据第一分析和第二分析的比较结果来确定稳健性值。当第二分析与第一分析的偏差较小时，尤其是考虑到与驾驶员辅助系统的运行相关的、尤其是安全关键的偏差而言，稳健性值高。
101.参考图5，描述了一种用于改进神经网络的参数组的方法：首先执行步骤r1至r6，如参考图4所解释的。随后，在步骤r8中，基于比较结果和第二分析，产生神经网络的改进的参数组。
102.附图标记清单1 第一度量单位2 第二度量单位3 第三度量单位4 处理单元5 求解单元6 具有求解算法的数据库7 生成单元8 具有数字的图像数据的数据库9 受干扰的输入数据10 生成器11 神经网络12 第一分析单元13 第二分析单元14 比较单元15 参数组生成单元16 带干扰的数据库。