用于特定于功能地鲁棒化神经网络的方法与流程

1.本发明涉及一种用于特定于功能地鲁棒化神经网络的方法。此外，本发明涉及一种用于数据处理的装置、一种计算机程序产品和一种计算机可读存储介质。


背景技术：

2.例如基于神经网络的机器学习对于在现代的驾驶员辅助系统和自动驾驶的机动车中的应用具有很大的潜力。在此，基于深度神经网络的功能处理(例如来自照相机、雷达或激光雷达传感器的)传感器原始数据，以便从中推导出相关信息。这些信息例如包括机动车的周围环境中的对象的类型和位置、对象的行为或道路几何形状或道路拓扑结构。在神经网络中，卷积网络(英文convolutional neural networks)尤其被证明特别适用于图像处理中的应用。虽然这些神经网络在功能精度方面超过了传统的方法，但它们也有缺点。因此，例如在所采集的传感器数据中的干扰影响或基于对抗性干扰影响的攻击可能导致，尽管在所采集的传感器数据中的内容在语义上没有改变，但仍进行错误分类或错误的语义分割。因此尝试针对这种类型的干扰影响鲁棒地设计神经网络。
3.从de 10 2018 200 724 a1已知一种用于产生通用数据信号干扰的方法，该通用数据信号干扰用于生成用于欺骗第一机器学习系统的操纵的数据信号，该第一机器学习系统被设计用于确定所接收的一维或多维数据信号的语义分割，该方法具有以下步骤：确定包括数据信号对和所属的期望的语义分割的训练数据组；依据训练数据组的数据信号、所属的期望的语义分割以及施加有数据信号干扰的数据信号的估计的语义分割来生成数据信号干扰。此外，还描述了一种用于评估具有机器学习系统的致动器控制系统的鲁棒性的方法，其中依据未受干扰的控制信号和受干扰的控制信号来判断，致动器控制系统是否是鲁棒的。
4.然而，神经网络的鲁棒化目前还没有得到令人满意的解决。


技术实现要素：

5.本发明要解决的技术问题是，可以实现用于特定于功能地鲁棒化神经网络的方法和装置。
6.根据本发明，上述技术问题通过具有权利要求1的特征的方法和具有权利要求14的特征的装置来解决。此外，根据本发明，上述技术问题通过具有权利要求15的特征的计算机程序产品和具有权利要求16的特征的计算机可读存储介质来解决。本发明的有利的设计方案由从属权利要求中得出。
7.特别地，提供了一种用于对神经网络进行功能特定鲁棒化的方法，包括以下步骤：
8.a)提供神经网络，其中，神经网络基于包括训练数据的训练数据组被训练或已经被训练，
9.b)通过操纵训练数据组来产生至少一个改变的训练数据组，其中，为此，在保持语义上有意义的内容的情况下分别改变训练数据，
10.c)依据将原始的训练数据组应用到经训练的神经网络和将至少一个改变的训练数据组应用到经训练的神经网络之间的比较来改变神经网络的参数和/或架构，
11.d)基于训练数据组和至少一个改变的训练数据组的至少一部分来训练改变的神经网络。
12.在本发明的另外的方面中提供了一种用于数据处理的装置，其包括用于执行根据所描述的实施方式中的任意一个所述的方法的方法步骤的部件。
13.此外，还提供了一种计算机程序，其包括指令，所述指令在通过计算机执行所述计算机程序时促使计算机执行根据所描述的实施方式中的任意一个所述的方法的方法步骤。
14.此外，还提供了一种计算机可读存储介质，其包括指令，所述指令在由计算机执行时促使计算机执行根据所描述的实施方式中的任意一个所述方法的方法步骤。
15.该方法和装置能够提高神经网络、尤其是卷积网络相对于干扰影响的鲁棒性。为此，改变利用其已经训练或正在训练神经网络的训练数据组。在训练数据组上执行的改变在此不改变语义上有意义的内容，而是仅改变语义上没有意义的内容。在此，语义上有意义的内容尤其表示语义上下文，语义上下文对于经训练的神经网络的功能是重要的。在语义上有意义的内容尤其是经训练的神经网络的功能应在语义分割或分类的范围内识别的内容。与此相反，语义上没有意义的内容尤其是如下内容，该内容在理想情况下可以被任意设计，而不会由此损害经训练的神经网络的功能。然后将这样改变的训练数据组和原始的训练数据组应用到经训练的神经网络，即训练数据和改变的训练数据分别作为输入数据被馈送给经训练的神经网络。随后，依据将原始的训练数据组应用到经训练的神经网络与将至少一个改变的训练数据组应用到经训练的神经网络之间的比较的比较结果来改变神经网络。所述改变通过改变神经网络的参数和/或通过改变神经网络的架构或结构来实现。由此形成在其参数和/或其架构或结构方面改变的神经网络。然后基于训练数据组和至少一个改变的训练数据组的至少一部分来训练改变的神经网络。随后提供训经练的改变的神经网络。
16.该方法的优点是，可以改善神经网络相对于受干扰的输入数据的鲁棒性，因为神经网络的参数和/或架构或结构依据将原始的训练数据组应用到经训练的神经网络与将至少一个改变的(即受干扰的)训练数据组应用到经训练的神经网络之间的比较的比较结果来进行。
17.神经网络尤其是人工神经网络、尤其是卷积网络(英文convolutional neural network)。神经网络尤其被训练为特定功能、例如在所采集的照相机图像中对行人的感知。
18.训练数据组的训练数据可以一维或多维地构造，其中训练数据关于语义上有意义的内容被标记(“附有标签”)。例如，训练数据可以是采集的并且关于语义上有意义的内容(例如行人)标记的照相机图像。
19.为了改变训练数据组的训练数据，可以使用不同的使用操纵方法。在此尤其规定，训练数据的语义上有意义的内容不被改变。这尤其意味着，仅改变不相关的上下文维度。如果神经网络例如被训练为，用于识别所采集的照相机图像中的行人，则用作训练数据的照相机图像在改变时被改变为，使得在所采集的照相机图像中存在的一个或多个行人不被改变或仅以不相关的方式改变。在照相机图像的示例中，例如可以使用以下操纵方法：光度操纵方法(例如亮度、对比度、饱和度的改变)，噪声和模糊(例如高斯模糊、高斯噪声、盐和胡
椒噪声)或对抗操纵方法(例如“快速梯度符号法”)。此外，也可以使用更复杂的方法作为操纵方法，例如可以规定，将夏季场景改变为冬季场景，而不去除语义上有意义的内容(例如被成像的行人)本身。此外，例如可以改变对象和/或对象表面的颜色、纹理或其他特性，例如可以改变机动车的颜色或机动车表面的反射特性。特别地，可以单独地或彼此组合地进行以下操作：在训练数据中添加传感器噪声，对比度、亮度和/或图像清晰度偏移，色调偏移，颜色强度偏移，颜色深度偏移，单个(语义)对象的颜色变化，对象上的小变化(例如污垢、弯曲、对象上的反射、天气影响、对象上的贴纸或涂鸦)，训练数据中的旋转和/或位移和/或失真，对象的物理特性(例如反射特性或机动车的漆面特性等)改变。
20.为了改变神经网络的参数和/或神经网络的架构或结构，尤其可以使用以下方法：
[0021]-改变在神经网络中使用的量化分辨率(例如，通过改变所使用的数据类型)，
[0022]-修剪(例如通过去除对改变的训练数据特别敏感地作出反应的神经网络的各个神经元或区域来简化、缩短和优化神经网络的部分)，
[0023]-改变神经网络中的权重(改变权重的数值)，
[0024]-改变元参数(例如卷积层和激活函数的参数)。
[0025]
该方法尤其作为计算机实现的发明来实施。
[0026]
特别地，该方法借助能够访问存储器的计算装置来实施。计算装置可以被构造为硬件和软件的组合，例如被构造为在微控制器或微处理器上执行的程序代码。
[0027]
在实施方式中规定，重复步骤c)和d)，直至满足至少一个中断标准。由此可以实现鲁棒性的迭代优化或最大化。
[0028]
在实施方式中规定，基于所述比较来确定用于神经网络的鲁棒性度量，其中，基于所确定的鲁棒性度量来进行改变。作为鲁棒性度量例如可以与实数相关联，实数能够实现对鲁棒性的评估和不同神经网络的鲁棒性的相互比较。
[0029]
在改进的实施方式中规定，中断标准是所确定的鲁棒性度量的收敛。特别地，在此检查鲁棒性度量在执行的所述方法的迭代时是否收敛于预设值。
[0030]
在另外的实施方式中规定，中断标准是达到经训练的改变的神经网络的功能品质的目标值和/或达到所确定的鲁棒性度量的目标值。
[0031]
在实施方式中规定，参数和/或架构或结构的改变逐神经元地和/或逐区域地分开地进行。例如可以规定，仅改变神经网络的对改变的训练数据反应最灵敏的神经元和/或区域。由此可能的是，在鲁棒化时仅考虑特别受影响的神经元和/或区域，从而能够降低改变时的开销。
[0032]
在实施方式中规定，在比较时确定通过原始的训练数据组的训练数据激活神经网络与通过至少一个改变的训练数据组的分别对应的训练数据激活神经网络之间的至少一个激活差，其中，改变基于所确定的至少一个激活差进行。由此可以以特别有说服力的方式确定和分析干扰影响。激活尤其基于在神经网络的神经元的输出端处的(推断的)值来确定。为了确定激活差，尤其是在神经网络中的神经元的输出端处的(推断的)值分别成对地针对原始的和改变的训练数据彼此比较。
[0033]
在一种改进的实施方式中规定，逐神经元地和/或逐区域地确定和考虑激活差。这使得能够识别到神经网络的特别受训练数据的操纵影响或对其敏感的神经元和/或区域。这尤其能够实现对神经网络的敏感神经元和/或区域的详细分析，从而能够在随后改变神
经网络的参数和/或架构或结构时优选地考虑这些敏感的神经元和/或区域。为此，例如分别单独地和/或逐区域地形成和提供神经网络的神经元的输出之间的激活差。例如可以规定，在描述神经元或区域的激活的激活向量之间形成l2距离(l2范数)。
[0034]
如果神经网络被构造为卷积网络，则例如可以规定，确定和提供用于卷积网络中的每个过滤器的激活差。
[0035]
在实施方式中规定，分别在多个神经元上和/或在一个区域上平均地考虑所确定的激活差。这使得能够更有效地分析和评估激活差或神经网络的敏感度。例如，可以计算多个神经元和/或区域的平均的激活差。所述平均可以尤其借助统计方法来进行，例如为了进行平均可以确定期望值。然后，神经网络的参数和/或架构或结构的随后改变同样基于平均的激活差进行，也就是说，然后也共同地改变所有在平均时考虑的神经元或整个区域。
[0036]
在另外的实施方式中规定，依据在神经网络内所属的神经元层的位置加权地考虑所确定的激活差。这使得能够考虑对神经网络的输出的预期影响，因为通常在输入附近的神经元层的提高的敏感度比在输出附近的神经元层的提高的敏感度对由神经网络提供的最终结果有更小的影响。如果神经网络的神经元和/或区域的激活差被平均，则在平均时可以根据神经元层在神经网络中的位置考虑加权。所述平均可以尤其借助统计方法来进行，例如为了进行平均可以确定期望值。
[0037]
在实施方式中规定，分别在多个推断过程上平均地考虑所确定的激活差。在此尤其可以规定，多个推断过程分别针对利用不同的操纵方法改变的训练数据执行。由此，单个神经元的激活差和/或在多个神经元上和/或在区域上平均的激活差也可以在多个干扰影响上被平均和考虑。所述平均可以尤其借助统计方法来进行，例如为了进行平均可以确定期望值。
[0038]
在另外的实施方式中规定，分别依据所属的操纵方法加权地考虑所确定的激活差。例如，可以针对多个操纵方法分别针对神经网络中的所有神经元确定相应的激活差并且分别依据所属的操纵方法来加权。这使得在改变神经网络时能够考虑所有使用的操纵方法，其中，通过权重选择的操纵方法可以比其他操纵方法更强烈地被考虑，也就是说，神经网络的所追求的鲁棒性可以在一个或多个操纵方法方面被优先考虑。
[0039]
在另外的改进实施方式中规定，依据分别针对神经网络的神经元和/或区域确定的激活差对该神经网络的神经元和/或区域进行排序，其中，改变基于所属的顺序进行。例如可以规定，将所有的(单个的或平均的)激活差按其数值进行排序并且根据通过排序产生的顺序来提供。这使得能够在所有操纵方法上平均或针对单个操纵方法识别最敏感反应的区域。在随后改变神经网络的参数和/或架构或结构时，例如可以规定，仅改变最敏感的、例如前5％或10％的神经元或区域，但其余的神经网络保持不变。
附图说明
[0040]
下面根据优选的实施例参考附图更详细地阐述本发明。附图中：
[0041]
图1示出了用于实施方法的装置的示意图；
[0042]
图2示出了用于特定于功能地鲁棒化神经网络的方法的实施方式的示意性流程图；
[0043]
图3示出了用于特定于功能地鲁棒化神经网络的方法的实施方式的示意性流程
图；
[0044]
图4示出了分别针对卷积网络的各个过滤器确定的激活差的示意图；
[0045]
图5示出了依据不同的操纵方法分别针对卷积网络的各个过滤器确定的激活差的示意图。
具体实施方式
[0046]
图1中示出了用于实施方法的装置30的示意图。装置30包括用于实施该方法的部件31。部件31包括计算装置32和存储器33。为了执行方法步骤，计算装置32可以访问存储器33并且在该存储器中执行计算操作。
[0047]
在存储器33中存储有神经网络1和训练数据组2。计算装置32通过操纵训练数据组2产生至少一个改变的训练数据组4，其中，为此分别在保持语义上有意义的内容的情况下改变训练数据，其中，至少一个改变的训练数据组4也存储在存储器33中。
[0048]
计算装置32将训练数据组2和改变的训练数据组4应用到神经网络1上，方式是：将相应的训练数据馈送到神经网络1的输入端并且通过神经网络1传播。依据将原始的训练数据组2应用到经训练的神经网络1和将至少一个改变的训练数据组4应用到经训练的神经网络1之间的比较的比较结果，计算装置32改变神经网络1的参数和/或架构或结构。改变的神经网络10同样存储在存储器33中。在改变之后，计算装置32基于训练数据组2和至少一个改变的训练数据组4的至少一部分来训练改变的神经网络10。随后，例如以数字数据包的形式提供经训练的改变的神经网络12，所述数字数据包描述了经训练的改变的神经网络12的架构或结构以及参数和权重。
[0049]
可以规定，在比较时确定通过原始的训练数据组2的训练数据激活神经网络1与通过至少一个改变的训练数据组4的分别对应的训练数据激活神经网络1之间的至少一个激活差，其中，基于所确定的至少一个激活差来改变神经网络1的参数和/或架构或结构。
[0050]
图2中示出了用于说明用于特定于功能地鲁棒化神经网络1的方法的实施方式的示意性流程图。神经网络1在此已经基于训练数据组2进行了训练。
[0051]
通过借助操纵方法3操纵训练数据组2来产生至少一个改变的训练数据组4，其中，为此，分别在保持语义上有意义的内容的情况下改变训练数据组2中包含的训练数据。
[0052]
训练数据组2和改变的训练数据组4分别被应用到神经网络1上，也就是说，它们分别作为输入数据被馈送给神经网络1，其中，输入数据在前馈序列(feed-forward-folge)的范围内通过神经网络1传播，从而可以在神经网络1的输出端处提供推断的结果。
[0053]
如果训练数据例如是采集的照相机图像，则向神经网络1分别馈送原始的训练数据组2的未受干扰的照相机图像。此外，来自改变的训练数据组4的被操纵的或受干扰的照相机图像(随后)被馈送给神经网络1。在此，针对神经网络1的各个神经元和/或区域分别确定激活5并且分别成对地(未受干扰的照相机图像/受干扰的照相机图像)相互比较，例如在差形成步骤6中。该差形成步骤6分别为所考虑的神经网络1的神经元和/或区域提供激活差7。
[0054]
在改变步骤8中，改变神经网络1的参数和/或架构或结构。在此，依据所确定的激活差7进行改变。
[0055]
如此改变的神经网络10随后在训练步骤11中基于训练数据组2和至少一个改变的
训练数据组4的至少一部分来训练并且作为经训练的改变的神经网络12来提供。
[0056]
尤其规定，参数和/或架构或结构的改变逐神经元地和/或逐区域地分开地进行。在此规定，相应地逐神经元地和/或逐区域地确定和考虑激活差7。
[0057]
规定，重复所改变的神经网络10的改变和训练，直到满足至少一个中断标准13。
[0058]
可以规定，基于所述比较，例如基于所确定的激活差7，确定用于神经网络1的鲁棒性度量9，其中，基于所确定的鲁棒性度量9进行改变。
[0059]
于是可以进一步规定，中断标准13是所确定的鲁棒性度量9的收敛。
[0060]
此外可以规定，中断标准13是达到经训练的改变的神经网络12的功能品质的目标值和/或达到所确定的鲁棒性度量9的目标值。
[0061]
可以规定，分别在多个神经元上和/或在一个区域上平均地考虑确定的激活差7。
[0062]
此外可以规定，依据所属的神经元层在神经网络1内的位置加权地考虑所确定的激活差7。
[0063]
可以规定，分别在多个推断过程上平均地考虑所确定的激活差7。进一步地可以规定，分别依据所属的操作方法3加权地考虑所确定的激活差7。
[0064]
此外可以规定，依据分别针对神经网络1的神经元和/或区域确定的激活差7对神经网络1的神经元和/或区域进行排序，其中，改变基于所属的顺序进行。例如可以规定，根据其数值对所有(单个的或平均的)激活差7进行排序并且根据通过排序产生的顺序进行提供。这能够实现，在所有操纵方法3上平均或者针对各个操纵方法3识别最敏感反应的神经元和/或区域。在随后改变神经网络1的参数和/或架构或结构时，例如可以规定，仅改变最敏感的前5％或10％的神经元或区域，但保持神经网络1的其余部分不变。
[0065]
图3中示出了用于特定于功能地鲁棒化神经网络的方法的实施方式的示意性流程图。
[0066]
在方法步骤100中，提供神经网络。神经网络的结构和权重例如存储在计算机的存储器中。神经网络要么已经基于包括训练数据的训练数据组来训练，要么在方法步骤100的范围内基于训练数据组来训练。例如，神经网络被训练为，用于评估所采集的照相机图像并且确定在照相机图像中是否成像出行人。因此，神经网络的输入数据是二维照相机图像。相应地，训练数据组的训练数据是标记的(“附有标签的”)照相机图像。
[0067]
在方法步骤101中，通过操纵训练数据组来产生多个改变的训练数据组，其中为此分别在保持语义上有意义的内容(例如照相机图像中的行人)的情况下改变训练数据。为此，借助操纵方法改变形成训练数据组的训练数据的照相机图像。为了改变照相机图像，例如可以单独地或组合地执行以下操作：
[0068]-在照相机图像中添加噪声(例如高斯噪声，盐和胡椒噪声)，
[0069]-对比度和/或图像清晰度偏移，
[0070]-色调偏移，
[0071]-颜色强度偏移，颜色深度偏移，
[0072]-单个语义对象的颜色变化(例如在照相机图像中成像的机动车、建筑物等)，
[0073]-在所成像的对象上添加脏污(例如污垢、天气影响[雨，雪]，贴纸，涂鸦，
…
)，
[0074]-对部分照相机图像进行旋转、移位和/或失真，
[0075]-改变在照相机图像中成像的对象的物理特性(涂层特性，反射特性，
…
)。
[0076]
在方法步骤102中，将训练数据组的训练数据和改变的训练数据组的分别所属的改变的训练数据作为输入数据馈送给神经网络，也就是说，基于这些输入数据借助经训练的神经网络推断出输出数据。在此，在通过原始的训练数据组的训练数据激活神经网络与通过改变的训练数据组的分别对应的改变的训练数据激活神经网络之间确定至少一个激活差。
[0077]
(一个或多个)激活差的确定既可以逐神经元地，也可以在神经网络的区域上平均地进行。
[0078]
在被构造为卷积网络的神经网络中，例如可以规定，确定用于卷积网络的各个过滤器的激活差。用于确定各个过滤器的激活差的度量例如如下：
[0079][0080]
在此，di是具有下标i的过滤器的激活差，是激活差函数，fi(x)是具有下标i的过滤器的输出函数，wi x hi是具有下标i的过滤器的输出特征图的大小，n是图像的数量，xn是原始的照相机图像(即，原始的训练数据)，是改变的照相机图像(即，改变的训练数据)，并且fi(x)是具有下标i的过滤器的输出函数。然而，原则上也可以使用不同的度量。
[0081]
图4中示意性示出了卷积网络中的每个过滤器的激活差的示例性结果，其中，x轴20示出了卷积网络中的过滤器的下标i，并且y轴21示出了归一化的激活差。激活差在此被归一化到最大激活差。为了进行操纵，例如改变训练数据组的照相机图像中的亮度。在该示例中可看出，卷积网络尤其在过滤器关于过滤器指数为1000左右的情况下特别灵敏地或不太鲁棒地形成。
[0082]
在方法步骤103中，依据分别确定的激活差改变神经网络的参数和/或架构。为了改变神经网络的参数和/或神经网络的架构或结构，尤其可以使用以下方法：
[0083]-改变在神经网络中使用的量化分辨率(例如，通过改变所使用的数据类型)，
[0084]-修剪(例如通过去除对改变的训练数据特别敏感地作出反应的神经网络的单个神经元或区域来简化、缩短和优化神经网络的部分)，
[0085]-改变神经网络中的权重(改变权重的数值)，
[0086]-改变元参数(例如卷积层的超参数和改变激活函数)。
[0087]
随后，在方法步骤104中基于训练数据组和至少一个改变的训练数据组的至少一部分来训练改变的神经网络。
[0088]
在方法步骤105中检查：是否满足至少一个中断标准。中断标准例如可以是所确定的鲁棒性度量的收敛。替换地或附加地，中断标准也可以是达到经训练的改变的神经网络的功能品质的目标值和/或达到所确定的鲁棒性度量的目标值。
[0089]
如果满足中断标准，则在方法步骤106中输出经训练的改变的神经网络，例如以描述经训练的改变的神经网络的架构或结构以及参数和权重的数字数据包的形式。
[0090]
相反地，如果在方法步骤105中的检查得出不满足中断标准，则重新执行方法步骤103和104，也就是说，重新改变神经网络并且随后训练神经网络。以这种方式，可以迭代地提高神经网络的鲁棒性。
[0091]
在方法步骤102中可以规定，所确定的激活差分别在多个神经元上和/或在一个区
域上求平均，其中，分别提供平均的激活差并且在方法步骤103中改变时考虑平均的激活差。
[0092]
在方法步骤102中还可以规定，依据在神经网络内的所属的神经元层的位置加权地提供所确定的激活差并且在方法步骤103中在改变时进行考虑。特别地，与更靠近神经网络的输出的神经元层中的神经元或区域的激活差相比，更靠近神经网络的输入的神经元层中的神经元或区域的激活差被不太强烈地加权。由此，在评估和提高鲁棒性时可以对更靠近神经网络的输出的神经元层的敏感度产生更大的影响。
[0093]
在方法步骤102中可以进一步规定，激活差分别在多个推断过程上求平均，其中，分别提供平均的激活差并且在改变时考虑平均的激活差。特别地，可以在改变的训练数据的推断过程上求平均，该改变的训练数据已经用不同的操纵方法改变。由此，可以在各个操纵方法上平均地评估鲁棒性并且在改变时进行考虑。例如，为此确定基于改变的训练数据分别确定的(即针对单个神经元或针对平均区域的)激活差的期望值。
[0094]
在方法步骤102和103中可以进一步规定，分别依据所属的操纵方法来提供和考虑所确定的激活差。这示例性地在图5中示出，在图5中，针对不同的操纵方法，根据上面给出的度量示出了针对卷积网络的各个过滤器的确定的激活差，其中x轴20示出了卷积网络中的过滤器的下标i，并且y轴21示出了归一化到最大激活差的激活差。可以清楚地看出，不同操纵方法的激活差涉及被构造为卷积网络的神经网络的不同区域。因此，例如噪声的添加(图5：“高斯噪声”和“盐和胡椒”)或多或少相同强度地影响几乎所有过滤器。与此相对地，特别是具有小下标(i《1000)的过滤器对于色彩饱和度(“饱和度 ”)的增加敏感地作出反应。反之，特别是具有大下标(i》3000)的过滤器借助“快速梯度符号法”(“fastgradientsignmethod，fgsm”)对于对抗攻击敏感地作出反应。
[0095]
可以进一步规定，依据分别所属的操纵方法加权地提供所确定的激活差并且在改变时在方法步骤103中进行考虑。在图5中示出的实施例中，各个激活差依据分别所属的操纵方法与加权系数相乘并且随后对于各个过滤器将乘积相加。结果可以以相同的方式以图形方式示出，并且示出在所使用的操纵方法上平均的神经网络的敏感度。由此，在方法步骤103中，改变可以依据在多个操纵方法上平均的激活差来进行，从而可以平均地提高神经网络相对于所有所考虑的操纵方法的鲁棒性。
[0096]
此外可以规定，依据分别针对神经网络的神经元和/或区域确定的激活差对该神经网络的神经元和/或区域进行排序，并且提供所属的顺序。例如，在图4和图5中示出的并且设有过滤器的下标i的激活差可以根据其相应的高度来排序并且形成与排序相对应的顺序。随后，可以识别具有最大激活差的多个过滤器。在方法步骤103中随后改变神经网络的参数和/或架构或结构时，例如可以规定，仅改变最敏感的前5％或10％的神经元或区域，但保持其余的神经网络不变。由此，鲁棒性的优化或提高可以更有针对性和更高效地进行。
[0097]
附图标记列表
[0098]
1神经网络
[0099]
2训练数据组
[0100]
3操纵方法
[0101]
4改变的训练数据组
[0102]
5激活
[0103]
6差形成步骤
[0104]
7激活差
[0105]
8改变步骤
[0106]
9鲁棒性度量
[0107]
10改变的神经网络
[0108]
11训练步骤
[0109]
12经训练的改变的神经网络
[0110]
13中断标准
[0111]
20x轴(过滤器下标)
[0112]
21y轴(归一化的激活差)
[0113]
30装置
[0114]
31部件
[0115]
32计算装置
[0116]
33存储器
[0117]
100-106方法步骤