对分类器网络的训练的基于数据的向前推算的制作方法

1.本发明涉及对分类器网络的训练，例如可以利用所述分类器网络来处理图像数据。


背景技术：

2.为了对图像进行分类，多重采用神经网络。例如，在驾驶辅助系统或者针对至少部分自动化驾驶的系统中，采用图像分类器，以便如下地对交通状况的图像进行分类：所述图像显示何种对象。
3.通常，利用学习输入图像和所属的学习输出，对这样的网络进行训练，该网络在理想情况下应将学习输入图像映射到所述所属的学习输出上。学习输入图像被网络不间断地处理成输出，并且网络的参数被优化，直到这些输出足够好地与相应的学习输出对应。那么，由于其进行一般化的能力，网络也可以正确地对迄今尚未见过的输入图像进行分类。
4.对此的前提条件是，在稍后的有效运行中所输送的输入图像还属于如下相同分布（也称为域）：用于训练的学习输入图像也属于该分布。如果要使用来自与其明显不同的域的输入图像，则需要新的训练。从de 10 2018 210 937 a1中已知了一种方法，利用该方法可以将雷达数据从一个域转移到另一个域，以便节省记录新训练数据及其手动“标记”有学习输出的成本。


技术实现要素：

5.在本发明的范围之内，已开发了一种用于训练神经网络的方法。该神经网络将输入图像映射到作为输出数据的如下内容上：至预先给定的分类的一个或者多个类别的分配、语义分割和/或对一个或者多个对象的识别。
6.输入图像例如可以包括摄相机图像、视频图像、雷达图像、激光雷达图像或者超声图像。
7.在所述方法中，提供了学习输入图像以及所属的学习输出数据，神经网络在理想情况下应将所述学习输入图像映射到所述学习输出数据上。这些学习输入图像也被称为“被标记的”图像，因为学习输出数据作为标记（label）而可供使用。
8.附加地，提供了辅助输入图像。这些辅助输入图像与学习输入图像的不同之处如下：关于辅助输入图像不必进一步知道任何内容。尤其是，在此因此可以涉及“未被标记的”图像，针对所述“未被标记的”图像，没有学习输出数据并且由此也没有标记可供使用。甚至有利的是，辅助输入图像不属于学习输入图像，因为经此避免了“过拟合（overfitting）”到学习输入图像上。
9.通过将至少一个预先给定的变化引入到辅助输入图像中，产生辅助输入图像的修改（abwandlungen）。这些修改在第一“自监督”学习过程中被输送给神经网络。在考虑神经网络将修改分别映射到其上的输出的情况下，确定针对预先给定的变化的预测。
10.利用预先给定的辅助成本函数，评价预测与预先给定的变化的偏差。怀着如下目
的来优化表征神经网络的行为（verhalten）的参数：在进一步处理辅助输入图像时，改进通过辅助成本函数进行的评价。例如，针对该优化，可以使用随机梯度下降法（sgd）或者adam算法。
11.该学习过程被称为“自监督”，因为通过将预先给定的变化引入到辅助输入图像中产生某些如下已知内容：用所述已知内容来衡量神经网络的预测。
12.学习输入图像在第二“监督”学习过程中被输送给神经网络。利用主成本函数，评价在这种情况下获得的输出数据与学习输出的偏差。怀着如下目的来优化表征神经网络的行为的参数：在进一步处理学习输入图像时，改进通过主成本函数进行的评价。
13.这种学习过程被称为“监督”，因为用来衡量神经网络的输出的已知内容作为原有知识从外部被输送。
14.自监督学习过程和监督学习过程不一定要一个接一个地被执行。更确切地说，这些学习过程例如也可以如下相互交错：例如给神经网络交替地输送学习输入图像和辅助输入图像。重要的仅仅是，输送辅助输入图像分别仅对关于辅助成本函数进行优化起作用，而输送学习输入图像分别仅对关于主成本函数进行优化起作用。
15.此外，即使监督学习过程早已结束，自监督学习过程那么也还可以继续。因此，通过输送其他辅助输入图像和其他自监督学习，例如可以事后适配鉴于其主要任务（即分类、语义分割或对象识别）已经完成训练的神经网络。
16.尤其是可以例如使用自监督学习过程，以便通过输送合适的辅助输入图像来根据对来自如下域的图像的处理对神经网络进行训练：所述域在一定程度上不同于学习输入图像的域。简而言之，在每个新辅助输入图像中都插入关于辅助输入图像所属的域的信息。神经网络自监督地学习，对付（umzugehen）来自所述域的图像。
17.以这种方式，神经网络尤其是例如可以稳健地对抗物理记录过程的变化，所述物理记录过程在监督学习过程结束之后供应在真实应用中要处理的输入图像。
18.如果例如应根据对已利用车辆携带的传感器记录的输入图像的处理来训练神经网络，则获取必要的学习输入图像是非常耗时且成本高昂的。必须完成数公里的试验驾驶（testfahrten），以便记录具有对于训练而言足够的可变性的学习输入图像。此外，必须针对这些学习输入图像取得标记，这要求多重手动工作。那么，最终获得的被标记的学习输入图像或多或少地强烈地受到针对图像记录所使用的传感器的配置和几何布局的约束。
19.如果现在在试验驾驶结束之后将一个传感器更换为另一个传感器或者安装在车辆上的另外的位置处，则映射状况是不同于其中已记录针对监督学习的训练图像的映射状况。因此，在神经网络的稍后的有效运行中被处理的输入图像属于相对于学习输入图像的域轻微偏移的新域。通过基于来自这些新域的辅助输入图像的自监督学习，神经网络可以学习，与相对于学习输入图像的原始域的偏移适配。
20.这里所描述的如下训练使神经网络最优地对在有效运行中的稍后的适配有准备：所述训练依据彼此无关的成本函数评价自监督学习和监督学习的成功。一方面，自监督学习可以在稍后的适配中使用与在原始训练中相同的成本函数。另一方面，依据主成本函数，通过附加的成功控制，催促神经网络进行适配，而这无需有损于由神经网络确定的类别分配、语义分割或对象识别的准确性。神经网络因此不能如在利用组合成本函数进行训练中那样走“阻力最小的路径”，并且例如由于鉴于主成本函数特别好的性能而完全避免学习域
适配，在所述组合成本函数中，主成本函数和辅助成本函数例如被相加。
21.这种状况在某种程度上（ein stueck weit）与车辆的在法律上规定的主检查（hauptuntersuchtung）是可对比的。如果在某部位处重大缺陷（如比方说油损失）损害了交通安全性，则该缺陷不能通过超额完成在另外的部位处的要求（如例如更新所有四个轮胎）得到弥补。车主因此不能通过如下维修来取代到期的大修：依该车主看来，该维修承诺更多“单位欧元的交通安全性”。
22.没有应用者的主动帮助，也可能得到所描述的类型的域偏移。例如，针对图像记录所使用的传感器的磨损或者弄脏这样可能导致，稍后的输入图像相对于原始学习输入图像以系统方式改变。此外，例如在记录图像的环境中的持久变化可能同样导致域偏移。这样，比方说戴口罩义务的法律规定和居民针对感染防护提升的意识已导致，许多行人的脸戴上日常口罩，并且行人就此而言在系统上看起来与在交通状况的在新冠病毒大流行之前已记录的学习输入图像中不同。如果在具有更好保护效果的ffp口罩（这些ffp口罩看起来又明显不同于日常口罩）的情况下的供给瓶颈得到克服，则这种趋势将继续。
23.神经网络从辅助输入图像的修改中确定的对预先给定的变化的预测例如可以是与本来通过利用神经网络处理输入图像所追求的结果相同的数据类型。那么，在神经网络中，以与本来追求的类别分配、语义分割和/或对象识别完全相同的方式，可以确定该预测。
24.可是，预先给定的变化的预测也可以是完全不同的数据类型。这样，例如神经网络本身可以设置为，将输入图像映射到具有softmax分数（scores）的向量上，输入图像至一个或者多个类别的从属关系说明所述softmax分数。同时，例如预测可以包括旋转角，辅助输入图像的修改已经相对于辅助输入图像旋转了该旋转角。在这种情况下，鉴于辅助成本函数的训练和鉴于主成本函数的训练也可以从彼此获利。
25.为了这个目的，在特别有利的构建方案中，将包括具有特征提取器和至少两个头部单元（kopfeinheiten）的神经网络，所述头部单元分别获得由特征提取器供应的结果作为输入。
26.在此，至少一个第一头部单元构造为，将由特征提取器获得的结果映射到作为输出数据的如下内容上：至预先给定的分类的一个或者多个类别的分配、语义分割和/或对一个或者多个对象的识别。而至少一个第二头部单元构造为，将由特征提取器获得的结果映射到如下输出数据上：所述输出数据表明针对预先给定的变化的预测。
27.例如，特征提取器可以包括多个卷积层，所述卷积层分别将一个或者多个滤波器核应用于输送给它们的输入。头部单元例如可以包括一个或者多个全部交联的层。
28.有利地，在鉴于辅助成本函数方面进行优化期间，滤波器核相对彼此被重新加权（umgewichtet），可是本身保持不变。此处暗中策划如下构思：由神经网络处理的所有输入图像最终都由相同的基本特征组成，并且在产生修改时被引入的典型变化也没有完全新创建这种基本特征。如果滤波器核本身保持不变，则也无需考虑主成本函数地一开始就提高如下概率：鉴于辅助成本函数的优化不使类别分配、语义分割和/或对象识别的准确度恶化。
29.一般而言有利的是，在鉴于主成本函数进行优化期间，与在鉴于辅助成本函数进行优化期间相比，可改变更多的表征特征提取器的行为的参数。如果例如为了适配输入图像在稍后的有效运行中的域偏移而继续鉴于辅助成本函数的优化，则可以通过对特征提取
器的在此改变的参数进行适当限制来确保，神经网络的性能鉴于主成本函数没有恶化。恰好在有效运行中的域适配的情况下，这是重要的，因为在该时刻不再依据被标记的学习输入图像来训练该神经网络。因此，对于类别分配、语义分割或对象识别的可能恶化，可能不再存在纠正措施。
30.在自监督学习中，除了特征提取器的参数之外，尤其是还可以改变第二头部单元的参数。在监督学习中，除了特征提取器的参数之外，尤其是还可以改变第一头部单元的参数。
31.辅助输入图像的修改带有的预先给定的变化有利地被选择为使得，神经网络将该修改映射到与原始辅助输入图像相同的类别分配、语义分割或对象识别上。如果给神经网络递交这种修改，则这只供应鉴于辅助成本函数来改进神经网络的参数的刺激，而这不与直到现在的关于主成本函数的训练结果相矛盾。
32.例如，预先给定的变化可以包括辅助输入图像的旋转，和/或包括辅助输入图像被划分成的瓷砖式图像块（kacheln）的图像内容的相互交换。修改接着尤其是还包含与原始辅助输入图像相同的对象。
33.在其他有利的构建方案中，在鉴于辅助成本函数进行优化期间来优化的参数包括至少一个元参数，所述至少一个元参数表征神经网络的学习行为的至少一个方面。例如，这些元参数可以包括学习速率、优化神经网络的参数时的步幅（称为“动量项（momentum）”）或者权重因子（“权重衰减（weight decay）”），神经网络的参数本身以该权重因子进入到辅助成本函数中和/或进入到主成本函数中。那么，即使在鉴于主成本函数进行优化时，也可以使用这些元参数中的一个或者多个。例如，为了训练元参数，可以使用基于梯度的元学习算法（metalern-algorithmus）、如比方说maml或者reptile。
34.这样的元参数要看上去在某种程度上类似于发动机调节，所述发动机调节使发动机中的燃料燃烧更高效。在神经网络中的被标记的学习输入图像和用于处理学习输入图像的计算开销形成燃料的类似物。关于主成本函数的训练成功形成利用发动机实现的推进的类似物。
35.一方面是鉴于辅助成本函数而另一方面是鉴于主成本函数的两个训练的其他协同效应在于，鉴于辅助成本函数的优化可以在比较短的时间内针对神经网络的如下参数供应良好的起始值：鉴于主成本函数的优化可以从这些参数出发。该训练因此不必从针对参数的随机起始值出发，其中由神经网络供应的输出数据与属于学习输入图像的学习输出数据还没有太多关系。
36.在其他有利的构建方案中，学习输入图像包括合成生成的图像。相反，辅助输入图像包括利用至少一个传感器记录的图像。例如，可以利用生成式对抗网络gan（generative adversarial network）的生成器来产生合成生成的图像。这些合成生成的图像对于鉴于主成本函数的训练而言有如下优点：所述合成生成的图像不仅以大数目和带有大的可变性是可用的，而且所述合成生成的图像的标记在其产生时就已经事先已知。利用传感器记录的图像接着可以被使用在自监督学习中，以便教会神经网络从合成生成的图像的域到利用传感器记录的图像的域的域偏移。在最终效应中，神经网络因此学习，将利用传感器记录的图像映射到语义分割上和/或映射到对一个或者多个对象的识别上，但是只还更少地或者甚至不再需要经过手动标记的学习输入图像。同时，训练中的如下伪迹被抑制：由于采用合成
生成的学习输入图像，可能会招致所述伪迹。
37.在其他有利的构建方案中，选择如下一个或者多个辅助输入图像：所述辅助输入图像带有至少一个干扰，学习输入图像没有所述干扰。以这种方式，无需新的被标记的学习输入图像地，神经网络可以被训练成，对付这些干扰。
38.如果例如供应输入图像的摄相机受在至所观察的场景的光路中的雨、冰或者污物损害并且用于有因果关系地消除这种干扰的设备（如比方说加热器或者刮水器片）不可用，则神经网络作为替代地可以学习，适应于这种干扰。同样适用的是，因在行驶期间的石崩已损坏了例如摄相机的镜头或者布置在镜头之前的保护片（schutzscheibe），并且所有其他所记录的图像现在都与因石崩而被引入到玻璃中的损坏图案重叠。至少作为直至维修的临时解决方案，神经网络可以学习“忍受”损坏，并且尽管如此还供应可靠的类别分配、语义分割或对象识别。
39.如前面所阐述的那样，前面所描述的训练使神经网络在特别的程度上对如下内容有准备：在有效运行中，在利用被标记的学习输入图像进行的初始训练结束之后，依据未被标记的输入图像，适应于输入图像与原始学习输入图像相比的域偏移。
40.因而，本发明也涉及一种用于运行神经网络的方法，该神经网络将输入图像映射到作为输出数据的如下内容上：至预先给定的分类的一个或者多个类别的分配、语义分割和/或对一个或者多个对象的识别。
41.在该方法的范围之内，首先利用前面所描述的方法，对神经网络进行训练。紧接着，提供已利用至少一个传感器记录的输入图像。
42.通过将至少一个预先给定的变化引入到输入图像中，产生这些输入图像的修改。这些修改被输送给神经网络。类似于前面所描述的方法，在考虑神经网络将修改分别映射到其上的输出数据的情况下，确定针对预先给定的变化的预测，并利用预先给定的辅助成本函数，评价预测与实际上引入的预先给定的变化的偏差。
43.怀着如下目的来优化表征神经网络的行为的参数：在进一步处理输入图像的修改时，改进通过辅助成本函数进行的评价。以此，依据新输送的输入图像，对先前的鉴于辅助成本函数的训练进行向前推算（fortgeschrieben）。如果输入图像的域相对于原始学习输入图像的域偏移，则神经网络因此适配该偏移。
44.有利地，输入图像被输送给神经网络，并且由神经网络被映射到至预先给定的分类的一个或者多个类别的分配上，被映射到语义分割上和/或被映射到对一个或者多个对象的识别上。以这种方式，依据输入图像的修改来学习的与提到过的域偏移的适配可以如下地是值得的：类别分配、语义分割和/或识别变得更准确。
45.这在如下其他构建方案中又是特别有利的：在所述其他构建方案中，由类别分配、由语义分割或由对象识别形成操控信号，并且利用操控信号来操控车辆。那么，有利地提高如下概率：响应于具有交通状况的输入图像，车辆接着执行与所述交通状况相称的反应。
46.例如，本发明可以实体化成软件。因而，本发明也涉及一种具有机器可读指令的计算机程序，当在一个或者多个计算机上执行所述机器可读指令时，所述机器可读指令促使所述一个或者多个计算机，执行所描述的方法之一。在该意义上，同样能够执行机器可读指令的针对车辆的控制设备和针对技术设备的嵌入式系统应被视为计算机。
47.同样，本发明也涉及一种具有计算机程序的机器可读的数据载体和/或下载产品。
下载产品是可以经由数据网络传输的数字产品、也就是说可以由数据网络的用户下载的数字产品，所述数字产品例如可以在在线商店中被出售用于立即下载。
48.此外，计算机可以配备有计算机程序，配备有机器可读的数据载体或配备有下载产品。
附图说明
49.以下，与对本发明的优选实施例的描述一起，依据附图更详细地示出其他改进本发明的措施。
50.其中：图1示出了用于训练神经网络1的方法100的实施例；图2示出了具有特征提取器11以及两个头部单元12和13的示例性神经网络1；图3示出了用于运行神经网络1的方法200的实施例；图4示出了针对方法200的示例性应用状况。
具体实施方式
51.图1是用于训练神经网络1的方法100的实施例的示意性流程图。在步骤105中，特定地可以选择具有特征提取器11和两个头部单元12和13的神经网络1，该神经网络1在图2中更详细地示出。
52.在步骤110中，提供学习输入图像2a以及所属的学习输出数据4，神经网络1在理想情况下应将学习输入图像2a映射到所述学习输出数据4上。根据块110a，学习输入图像2a尤其是可以包括例如合成生成的图像。
53.在步骤111中，提供辅助输入图像2b。倘若学习输入图像2a包括合成生成的图像（框110a），则辅助输入图像2b尤其是可以包括利用至少一个传感器8记录的图像。这通过在块110a和111a之间的连接来勾画。
54.根据块111b，一般可以选择不属于学习输入图像2a的辅助输入图像2b。根据块111c，尤其是例如可以选择具有干扰的辅助输入图像111c，学习输入图像2a没有这些干扰。
55.在步骤120中，至少一个预先给定的变化5被引入到辅助输入图像2b中，使得形成修改2c。根据块121，变化5可以尤其是例如使类别分配、语义分割和/或对象识别不改变，神经网络1将辅助输入图像2b映射到所述类别分配、语义分割和/或对象识别上。根据块122，变化5尤其是例如可以包括辅助输入图像2b的旋转，和/或包括辅助输入图像2b被划分成的瓷砖式图像块的图像内容的相互交换。
56.在步骤130中，修改2c被输送给神经网络1。在这种情况下，形成输出数据3、3b，在步骤140中从所述输出数据3、3b中确定针对预先给定的变化5的预测5'。在步骤150中，利用预先给定的辅助成本函数6，评价该预测5'与预先给定的变化5的偏差。在步骤160中，怀着如下目的来优化表征神经网络1的行为的参数1a：在进一步处理辅助输入图像2b时，改进通过辅助成本函数6进行的评价150a。这是自监督学习过程。
57.在步骤170中，学习输入图像2a被输送到神经网络1，并被映射到输出数据3、3a上，所述输出数据3、3a说明至预先给定的分类的一个或者多个类别的分配、语义分割和/或对一个或者多个对象的识别。在步骤180中，利用主成本函数7，评价这些输出数据3、3a与学习
输出数据4的偏差。在步骤190中，怀着如下目的来优化表征神经网络1的行为的参数1a：在进一步处理学习输入图像2a时，改进通过主成本函数7进行的评价180a。这是监督学习过程。
58.如通过在步骤130和170之间的虚线连接所阐明的那样，自监督学习过程和监督学习过程如下携手合作：参数1a的在一个学习过程中拟定出的变化至少部分地也对分别另外的学习过程有用。用附图标记1a*来标明参数1a的通过两个学习过程的组合最终获得的经过训练的状态。
59.图2示意性地示出了可以利用前面所描述的方法100来训练的示例性神经网络1的架构。神经网络1包括特征提取器11，该特征提取器11例如可以具有多个卷积层，并且分别为输入图像、学习输入图像以及辅助输入图像2b的修改2c供应结果14。结果14被输送给第一头部单元12和第二头部单元13。
60.第一头部单元12特定地构造为，针对已从输入图像2或者学习输入图像2a中产生结果14的情况，作为输出数据3、3a供应至预先给定的分类的一个或者多个类别的分配、语义分割和/或对一个或者多个对象的识别。
61.第二头部单元13特定地构造为，针对已从辅助输入图像2b的修改2c中产生结果14的情况，供应输出数据3b，所述输出数据3b表明针对在形成修改2c时所使用的预先给定的变化5的预测5'。
62.图3是用于运行神经网络1的方法200的实施例的示意性流程图。在步骤210中，利用前面所描述的方法100来训练神经网络1，使得形成神经网络1的参数1a的经过训练的状态1a*。
63.在步骤220中，提供已利用至少一个传感器8记录的输入图像2。在步骤230中，预先给定的变化5被引入到所述输入图像2中，使得形成修改2c。
64.在步骤240中，这些修改2c被输送给神经网络1，并由神经网络1被映射到输出数据3、3b上，所述输出数据3、3b表明针对预先给定的变化5的预测5'。在步骤250中，根据输出数据3b来评估该预测5'。
65.在步骤260中，利用预先给定的辅助成本函数6，评价预测5'与预先给定的变化5的偏差。在步骤270中，怀着以下目的来优化表征神经网络1的行为的参数1a：在进一步处理输入图像2的修改2c时，改进通过辅助成本函数6进行的评价260a。
66.因此，依据输入图像2，继续训练已经在前面通过由自监督学习和监督学习构成的组合来训练的神经网络1。如前面所阐述的那样，神经网络1经此学习，相对于学习输入图像2a的域检测到可能的域偏移。利用附图标记1a**，标明参数1a的经过继续训练的状态。
67.在步骤280中，输入图像2可以被输送给如此经过继续训练的神经网络1，使得形成类别分配、语义分割和/或对象识别作为输出数据3、3a。那么，在步骤285中，根据输出数据3、3a，可以形成操控信号285a，利用该操控信号285a在步骤290中操控车辆61。
68.图4示出了其中可以应用方法200的示例性状况。示出了交通状况60的示例性学习输入图像2a，该学习输入图像2a例如可以利用gan合成地产生。要清楚地识别出车辆61、道路62和交通标志63。
69.可以利用这种类型的学习输入图像2a来训练神经网络1。而在将神经网络1真实用于从车辆61出发被记录的输入图像2时，预期没有同在学习输入图像2a中一样好的图像质
量。这样，所使用的图像传感器8例如对于沉淀物81和/或污物82积聚在其上无抵抗力。这导致，在用图像传感器8记录的输入图像2中，例如车辆61显得非常模糊，并且交通标志63部分地被污物82遮盖。在自监督学习的范围之内，神经网络1学习，跟在学习输入图像2a上完全一样好地也在质量上更差的输入图像2上胜任它的主要任务、亦即比方说类别分配、语义分割或对象识别。