为识别模型生成训练数据的方法和生成识别模型的方法与流程

1.本发明涉及一种用于为用于在车辆的环境传感装置的传感器数据中识别对象的识别模型生成训练数据的方法、一种用于生成用于在车辆的环境传感装置的传感器数据中识别对象的识别模型的方法以及一种用于操控车辆的执行器的方法。本发明还涉及一种用于实施所提到的方法中的至少一种方法的装置、计算机程序和计算机可读介质。


背景技术：

2.研发、优化和测试自主或部分自主驾驶和辅助功能的一个重要方面是大量可能的要考虑的条件。一方面，这涉及在训练用于实现这种系统的算法时考虑尽可能所有重要的条件。另一方面，应该在所有条件下确保系统的足够的性能并且因此应该确保系统的安全性，其方式是针对可能的情况执行对算法和功能的测试。所要考虑的条件例如可以是：环境的不同状态，例如由于天气条件或照明变化而引起的不同状态，这些不同状态根据相应的传感器模态来影响测量数据；不同的交通状况；或者其他交通成员的不断变化的行为方式。尤其是在部分自主功能的情况下，也要考虑自我车辆的不同的驾驶情况和驾驶风格。为此，可以执行适合的行驶试验或者也可以执行模拟。
3.为了处理传感器数据和/或为了识别对象，例如可以使用机器学习算法，比如以人工神经网络的形式。为了训练这种算法，通常需要对最初未标记的样本进行注释，也就是说确定在自我车辆的周围环境中的重要的静态和/或动态对象的地面实况参数。这例如可以通过手动分配标记来实现，这由于数据量大而可能非常费时且成本非常高昂。


技术实现要素：

4.在该背景下，利用这里介绍的方案，提出了按照独立权利要求所述的一种用于生成训练数据的方法、一种用于生成识别模型的方法、一种用于操控车辆的执行器的方法、一种装置、一种计算机程序和一种计算机可读介质。这里所介绍的方案的有利的扩展方案和改进方案从说明书得到并且在从属权利要求中予以描述。
5.本发明的优点本发明的实施方式能够有利地实现：比如结合自动驾驶车辆或自主机器人，在不手动分配标记的情况下生成被标记的训练数据，用于环境识别模型的机器学习。由此，用于实现、优化和/或评估自主驾驶功能的时间和财务花费可以显著降低。
6.例如，（部分）自主车辆在行驶试验中的所要测试的功能要么可以直接在车辆中被评判，要么可以记录传感器数据，而且在需要时可以记录重要的系统状态。所记录的数据可以被称为样本。然后，可以依据该样本来执行对算法和功能的评估。
7.用于获得标记数据的另一种可能性是执行模拟。在这种情况下，可以依据适合的生成模型来生成合成传感器数据。这种模拟的结果又可以是样本，其中在这种情况下，地面实况参数或者标记直接可供支配，使得可以省去耗费的手动标记。
8.然而，在实践中，这种模拟通常只是有限应用，因为通常无法针对所有传感器模态
及其与周围环境的交互实现足够准确的生成模型。例如，基于复杂的物理关系来生成真实的雷达传感器测量数据是一个相当大的挑战。
9.在下文所描述的方案能够实现：以足够的质量并且以比较低的计算花费来为难以模拟或者只能以非常高的花费来模拟的传感器模态、诸如雷达传感器提供合成传感器数据。
10.本发明的第一方面涉及一种用于为用于在车辆的环境传感装置的传感器数据中识别对象的识别模型生成训练数据的计算机实现的方法。该方法至少包括如下步骤：将第一传感器数据和第二传感器数据输入到学习算法中，其中第一传感器数据包括环境传感装置的第一环境传感器的多个时间上连续的真实测量，第二传感器数据包括环境传感装置的第二环境传感器的多个时间上连续的真实测量，并且第一环境传感器的真实测量中的每个真实测量都分配有第二环境传感器的时间上对应的真实测量；通过学习算法，基于第一传感器数据和第二传感器数据来生成训练数据生成模型，该训练数据生成模型生成被分配给第一环境传感器的测量的第二环境传感器的测量；将第一模拟数据输入到该训练数据生成模型中，其中第一模拟数据包括第一环境传感器的多个时间上连续的模拟测量；而且通过该训练数据生成模型，基于第一模拟数据来生成第二模拟数据作为训练数据，其中第二模拟数据包括第二环境传感器的多个时间上连续的模拟测量。
11.该方法例如可以由处理器自动实施。
12.车辆可以是机动车，比如以载客车（pkw）、载货车（lkw）、公共汽车或摩托车的形式。在更广泛的意义上，车辆也可以被理解成自主移动机器人。
13.第一环境传感器和第二环境传感器可以在它们的传感器类型方面彼此不同。换言之，这两个环境传感器可以是不同的传感器模态或传感器实体。第二环境传感器尤其可以是其测量与第一环境传感器的测量相比可以不那么好地被模拟的环境传感器。这样，第一环境传感器例如可以是激光雷达传感器或摄像机，而第二环境传感器例如可以是雷达传感器或超声传感器。
14.第一环境传感器和第二环境传感器应该彼此取向为使得这些环境传感器的相应的检测范围至少部分地重叠。
15.测量通常可以被理解成所观察到的输入、在特定时间间隔内的测量值集合或者特征值向量。
16.例如，第一环境传感器的真实测量中的每个真实测量都可以在某个时间点分配有在同一时间点或近似同一时间点的第二环境传感器的时间上对应的真实测量。
17.第一传感器数据和第二传感器数据可以分别是未标记的、也就是说未注释的数据。第一模拟数据和第二模拟数据同样可以是未标记数据。然而，例如可以在生成第一模拟数据时自动化地生成相对应的标记，接着在生成识别模型时可以使用这些标记，用于对输入数据、例如第二模拟数据的注释。由此，可以省去对标记的手动创建和/或分配。
18.学习算法通常可以被理解成用于模型的机器学习的算法，该模型将输入转换成特定输出，例如用于分类或回归模型的学习。例如可以通过无监督学习来生成训练生成模型。可能的学习算法的示例是人工神经网络、遗传算法、支持向量机、k-means、核回归或判别分析。学习算法也可包括所提到的示例中的多个示例的组合。
19.第一模拟数据例如可以已经通过适合的计算模型来生成，该计算模型描述了至少第一环境传感器和车辆的借助于第一环境传感器所要检测的环境的物理特性、更准确地说在车辆的环境中的借助于第一环境传感器所要识别的对象的物理特性（见下文）。该计算模型也可以描述第一环境传感器与车辆的环境之间的物理相互作用。
20.对应于第一环境传感器的真实测量与第二环境传感器的真实测量的时间相关，第一环境传感器的模拟测量也可以与第二环境传感器的模拟测量时间相关。换言之，训练数据生成模型可以被配置用于：为第一环境传感器的每个模拟测量，生成第二环境传感器的时间上对应的模拟测量，也就是说将第一环境传感器的每个模拟测量都转换成第二环境传感器的相对应的模拟测量。
21.训练数据可以被理解成适合于训练、也就是说生成和/或测试识别模型的数据。例如，训练数据的第一子集可以被用于训练识别模型，并且训练数据的第二子集可以被用于在该训练之后测试识别模型。通过使用训练数据作为测试数据，例如可以执行对已经训练的识别模型的评估，以便检查经训练的识别模型的功能和/或计算用于评判识别性能的质量度量和/或识别模型的可靠性。
22.这种方法所提供的优点在于：可以借助于针对这种传感器模态的模拟来生成合成传感器数据，对于这些传感器模态来说，以足够的质量来生成合成传感器数据的生成模型不可用或者难以实现。
23.该方法例如可基于对人工神经网络的使用（见下文）。具体来说，例如可以使用生成对抗网络、简称gan或者“pix2pix”的风格迁移方法。（为此参见：goodfellow、ian等人的“generative adversarial nets.”advances in neural information processing systems. 2014；isola, phillip等人的“image-to-image translation with conditional adversarial networks.”proceedings of the ieee conference on computer vision and pattern recognition. 2017）。
24.现有的用于传感器数据的风格迁移方法通常使用针对不同的域或传感器模态的不同的数据集，其中在这些数据集的大小和/或内容方面不存在一致或者至少不存在足够的一致。因此，尤其是在这些域之间也没有关联，这可能限制结果的真实性和可达到的精度。
25.这里所描述的方法是相比于现有方法的改进，其方式是使用其它传感器模态并且附加的信息通过不同传感器模态的测量的关联来影响训练。在该上下文中，术语“关联”能被理解为使得对于其中一个传感器模态在特定时间点的所有测量值的集合来说也存在相同或近似相同的环境的另一个传感器模态在相同或近似相同的时间点的测量值的类型集合，使得例如通过对gan的训练，可以依据这两个传感器模态的这对测量值集合来实现训练数据生成模型的学习。因此，可以省去通过手动分配标记对（例如每个对象的）各个测量的关联，因为测量值集合的已经通过所记录的时间戳给出的关联就足够。接着，在应用训练数据生成模型、例如经训练的gan时，例如可以将能良好模拟的传感器模态的合成数据变换成（不能那么良好模拟的）第二传感器模态，其中例如来自模拟中的标记可以被转用于第二传感器模态。在这种情况下，基于所提到的关联的训练数据，可以实现经变换的传感器数据的更高精度。
26.本发明的第二方面涉及一种用于生成用于在车辆的环境传感装置的传感器数据
中识别对象的识别模型的计算机实现的方法。该方法至少包括如下步骤：将在按照本发明的第一方面的实施方式的方法中生成的第二模拟数据作为训练数据输入到另一学习算法中；并且通过该另一学习算法基于这些训练数据来生成识别模型。
27.例如，可以通过该另一学习算法，基于这些训练数据来生成至少一个分类器作为识别模型，该分类器将环境传感装置的测量分配给对象类别。该分类器例如可以输出离散值，如1或0，连续值或者概率。
28.也可能的是：通过该另一学习算法，基于这些训练数据来生成回归模型作为识别模型。例如，该回归模型可以借助于对环境传感装置的测量的识别、比如借助于从更大的测量值集合中对测量值的子集的选择或分配来探测对象并且必要时估计这些被探测到的对象的属性。
29.该方法例如可以由处理器自动实施。
30.该另一学习算法可以不同于用于生成训练数据生成模型的那个学习算法。例如可以通过无监督学习来生成识别模型。识别模型例如可包括至少一个分类器，该分类器已通过该另一学习算法被训练来将输入数据、更准确地说车辆的环境传感装置的传感器数据分配给特定类别和/或在这些传感器数据中识别对象。这种类别例如可以是表示车辆的环境中的特定对象的对象类别。然而，视应用而定，识别模型也可以将传感器数据分配给任意其它类型的类别。例如，识别模型可以基于相应的传感器数据来输出数值或者像“1”或“0”那样的是/否信息，该数值以百分比来显示在车辆的环境中出现特定对象的概率或者特定类别的概率。
31.识别模型例如也可以根据这些传感器数据来估计在车辆的环境中的对象的属性，诸如对象的位置和/或方位和/或大小，例如通过回归。
32.本发明的第三方面涉及一种用于操控车辆的执行器的方法。在此，该车辆除了执行器之外具有环境传感装置。该方法至少包括如下步骤：接收由环境传感装置生成的传感器数据；将这些传感器数据输入到识别模型中，该识别模型是在按照本发明的第二方面的实施方式的方法中生成的；并且基于该识别模型的输出，生成用于操控执行器的控制信号。
33.该方法例如可以由处理器自动实施。该处理器例如可以是车辆的控制设备的组件。执行器例如可包括转向执行器、制动执行器、发动机控制设备、电动机或者所提到的示例中的至少两个示例的组合。可能的是：车辆装备有驾驶员辅助系统，用于基于环境传感装置的传感器数据对执行器的部分或完全自动化的操控。
34.本发明的第四方面涉及一种数据处理装置。该装置包括处理器，该处理器被配置用于实施按照本发明的第一方面的实施方式的方法和/或按照本发明的第二方面的实施方式的方法和/或按照本发明的第三方面的实施方式的方法。数据处理装置可以被理解成计算机或计算机系统。该装置可包括硬件和/或软件模块。除了该处理器之外，该装置可包括：存储器；用于与外围设备进行数据通信的数据通信接口；和使该处理器、该存储器和该数据通信接口彼此连接的总线系统。按照本发明的第一、第二或第三方面的实施方式的方法的特征也可以是该装置的特征，而且反之亦然。
35.本发明的第五方面涉及一种计算机程序。该计算机程序包括指令，在由处理器执行该计算机程序时，这些指令促使该处理器：实施按照本发明的第一方面的实施方式的方法和/或按照本发明的第二方面的实施方式的方法和/或按照本发明的第三方面的实施方
式的方法。
36.本发明的第六方面涉及一种计算机可读介质，在其上存储有按照本发明的第五方面的实施方式的计算机程序。该计算机可读介质可以是易失性或非易失性数据存储器。该计算机可读介质例如可以是硬盘、usb存储设备、ram、rom、eprom或闪速存储器。该计算机可读介质也可以是能够实现程序代码的下载的数据通信网络，比如因特网或数据云（云（cloud））。
37.按照本发明的第一、第二或第三方面的实施方式的方法的特征也可以是该计算机程序和/或该计算机可读介质的特征，而且反之亦然。
38.本发明的实施方式的思路尤其可以被视为基于随后描述的思想和认识。
39.按照一个实施方式，该学习算法包括人工神经网络。该人工神经网络可包括具有输入神经元的输入层和具有输出神经元的输出层。附加地，该人工神经网络可包括至少一个使输入层与输出层连接的具有隐藏神经元的中间层。这种人工神经网络例如可以是多层感知器或者卷积神经网络（cnn）。特别有利地，具有多个中间层的人工神经网络在下文也称为深度神经网络（dnn）。通过该实施方式，可以以比较高的预测精度来生成训练数据生成模型。
40.按照一个实施方式，该学习算法包括：用于生成第二模拟数据的生成器；和用于基于第一传感器数据和/或第二传感器数据来评估第二模拟数据的鉴别器。例如，为了生成训练数据生成模型，可以利用第一和/或第二传感器数据和第二模拟数据来训练该鉴别器。附加地或替代地，为了生成训练数据生成模型，可以利用该鉴别器的输出来训练该生成器。例如，该鉴别器可以被训练来将生成器的输出、也就是说第二模拟数据与相对应的真实传感器数据区分开，而该生成器可以被训练来将第二模拟数据生成为使得该鉴别器将这些第二模拟数据识别为真实，也就是说不再能将这些第二模拟数据与真实传感器数据区分开。生成器和鉴别器例如可以是生成对抗网络（gan）的彼此关联的子网络。gan例如可以是深度神经网络。训练完成的gan可以有能力将其中一个传感器模态、这里是第一环境传感器的传感器数据自动转变成另一传感器模态、这里是第二环境传感器的传感器数据。因此，该实施方式能够实现：以无监督学习方法生成训练数据生成模型。
41.按照一个方式，该方法还包括：通过计算模型来生成第一模拟数据，该计算模型描述了至少第一环境传感器和车辆的环境的物理特性。该计算模型例如可以包括：传感器模型，该传感器模型描述了第一环境传感器的物理特性；传感器波传播模型；和/或对象模型，该对象模型描述了在车辆的环境中的对象的物理特性（见下文）。通过该实施方式，可以生成任意的传感器数据、尤其是难以测量到的传感器数据。
42.一般来说，该计算模型可以基于在数学上和在算法上精确地描述第一环境传感器的物理特性并且基于此来实现软件模块，该软件模块以计算方式根据被模拟的对象的属性、物理环境传感器的相应的实施方案的特性和虚拟环境传感器的位置来生成在模拟中所预期的传感器数据。
43.在实现该计算模型的情况下，可以使用不同的子模型或相对应的软件组件。
44.一方面，传感器模型可取决于所使用的传感器模态，诸如激光雷达传感装置、雷达传感装置或超声传感装置。另一方面，传感器模型可以特定于相应的环境传感器的结构类型，并且必要时特定于实际使用的物理环境传感器的硬件和/或软件版本或者配置。例如，
激光雷达传感器模型可以在考虑物理激光雷达传感器的特定特性的情况下模拟由激光雷达传感器的相应的实施方案所发出的激光光线。这些特性例如可包括激光雷达传感器在垂直和/或水平方向上的分辨率、激光雷达传感器的旋转速度或频率（在旋转式激光雷达传感器的情况下）或者激光雷达传感器的垂直和/或水平辐射角度或视场。传感器模型也可以模拟对由对象反射的最终引起传感器测量的传感器波的探测。
45.传感器波传播模型同样可以是该计算模型的部分，比如在使用激光雷达传感器的情况下。该传感器波传播模型描述并计算传感器波的变化，一方面是在从激光雷达传感器到重要对象的途中而另一方面是在从该对象返回激光雷达传感器的途中。在这种情况下，可以考虑物理效应，诸如传感器波的取决于所走过的路程的衰减或者传感器波的取决于周围环境特性的散射。
46.最后，该计算模型可以附加地包括至少一个对象模型，该至少一个对象模型的任务在于：根据到达相应的重要对象的传感器波来计算发生变化的传感器波。由于环境传感器所发出的传感器波的一部分被对象反射，可能发生传感器波的变化。该对象模型可以考虑相应对象的影响传感器波的反射的属性。在激光雷达传感器的情况下，例如像反射率那样的表面特性可以是重要的。在此，对象的决定激光的入射角的形状也可以是重要的。
47.对计算模型的组件的上述描述尤其适用于其中传感器波被主动发出的传感器模态，比如在激光雷达传感器、雷达传感器或超声传感器的情况下。在比如摄像机那样的被动的传感器模态的情况下，同样可以将计算模型分解成所描述的组件。但是，接着模拟可能部分有区别。例如，这里可以省去对传感器波的生成的模拟。代替于此，可以使用用于生成周围环境波的模型。
48.借助于该计算模型，例如能够灵活地带来具有其他交通成员的特定的、精确限定的行为、自我车辆的移动和/或自我车辆的环境的特性的特定交通状况。尤其是在由于会太过危险而不那么适合于真实的行驶试验的交通状况下，借助于该计算模型的模拟是一种获得相对应的数据的良好途径。此外，几乎不可能在真实的行驶试验中以合理的花费来模拟所有可设想的且重要的交通状况。即，该计算模型能够模拟相当罕见和/或危险的交通状况并且这样生成尽可能完整的、有代表性的训练样本，用于训练识别模型的正确行为或者用于证实识别模型的正确行为。
49.按照一个实施方式，通过该计算模型给第一环境传感器的模拟测量中的每个模拟测量都分配目标值，该目标值应该通过识别模型来输出。该目标值例如可以表明被分配给相应测量的对象类别，比如“行人”、“迎面而来的车辆”、“树”等等。在上文以及在下文也称为标记的目标值可以在生成训练数据生成模型和/或识别模型时例如被用于使损失函数最小化，比如在梯度法的框架内，该损失函数对这些目标值与训练数据生成模型或识别模型的实际预测之间的偏差进行量化。
50.按照一个实施方式，还将第一模拟数据作为训练数据输入到另一学习算法中，这些第一模拟数据是在按照本发明的第一方面的实施方式的方法中被生成的。在此，基于第一模拟数据，通过该另一学习算法来生成第一分类器作为识别模型，该第一分类器将环境传感装置的第一环境传感器的测量分配给对象类别。附加地或替代地，在此，基于第二模拟数据，通过该另一学习算法来生成第二分类器作为识别模型，该第二分类器将环境传感装置的第二环境传感器的测量分配给对象类别。通过该实施方式，识别模型可以利用模拟数
据被训练来在两个不同的传感器模态的传感器数据中识别对象。在此，可以省去将被标记的真实传感器数据输入到该另一学习算法中。因此，可以省去对训练数据的耗费的手动注释，这节省了时间和成本。
51.附加地或替代地，例如可以基于第一模拟数据通过该另一学习算法来生成第一回归模型作为识别模型，该第一回归模型在环境传感装置的第一环境传感器的测量中探测对象和/或估计对象属性、例如在第一环境传感器的测量中所探测到的对象的属性。
52.附加地或替代地，例如可以基于第二模拟数据通过该另一学习算法来生成第二回归模型作为识别模型，该第二回归模型在环境传感装置的第二环境传感器的测量中探测对象和/或估计对象属性、例如在第二环境传感器的测量中所探测到的对象的属性。
53.按照一个实施方式，还将目标值输入到另一学习算法中，这些目标值是在按照本发明的第二方面的实施方式的方法中被分配的。在此，还基于这些目标值通过该另一学习算法来生成识别模型。通过该实施方式，可以省去对训练数据的手动注释。
附图说明
54.随后，本发明的实施方式参考附图予以描述，其中无论附图还是说明书都不应被视为对本发明进行限制。
55.图1a、1b示意性示出了按照本发明的实施例的数据处理装置。
56.图2示出了用来阐明按照本发明的实施例的用于生成训练数据的方法的流程图。
57.图3示出了用来阐明按照本发明的实施例的用于生成识别模型的方法的流程图。
58.图4示出了用来阐明按照本发明的实施例的用于操控车辆的方法的流程图。
59.这些附图仅仅是示意性的并且没有按正确比例。在这些附图中，相同的附图标记表示相同或起相同作用的特征。
具体实施方式
60.图1a示出了用于生成训练数据102并且用于生成识别模型104的装置100，该识别模型用于基于训练数据102来识别在车辆110（参见图1b）的环境中的对象106、108。该装置100包括用于执行相对应的计算机程序的处理器112和在其上存储该计算机程序的存储器114。该装置100的在下文描述的模块可以是软件模块并且通过由处理器112执行该计算机程序来实施。然而，也可能的是：在下文描述的模块附加地或替代地被实现为硬件模块。
61.在图2至图4中以流程图来阐明在下文描述的方法步骤。
62.为了生成训练数据102，装置100包括训练数据生成模块116，该训练数据生成模块执行适合的学习算法。
63.在步骤210（参见图2）中，将传感器数据120输入到该学习算法中，这些传感器数据是由车辆110的环境传感装置122生成的。传感器数据120包括：第一传感器数据120a，这些第一传感器数据是由环境传感装置122的第一环境传感器122a、例如摄像机或激光雷达传感器生成的；以及第二传感器数据120b，这些第二传感器数据是由环境传感装置122的第二环境传感器122b、例如雷达或超声传感器生成的。因此，两个环境传感器122a、122b可以是两个不同的传感器模态a或b。环境传感器122a、122b可以彼此取向为使得它们相应的检测范围至少部分地重叠。在此，第一传感器数据120a包括第一环境传感器122a的多个时间上
连续的真实测量，例如由摄像机生成的多个时间上连续的单个图像或由激光雷达传感器生成的多个时间上连续的点云。类似于此，第二传感器数据120b包括第二环境传感器122b的多个时间上连续的真实测量，例如由雷达或超声传感器生成的多个时间上连续的回波距离。第一环境传感器122a的每个测量都分配有第二环境传感器122b的正好一个时间上对应的测量，也就是说两个环境传感器122a、122b的测量成对地在时间上彼此关联，其中每对都被分配给同一时间步长或时间戳。术语“测量”这里应被理解成测量值或单个测量的集合，该集合在特定时间段、也就是说帧之内由相应的环境传感器122a或122b生成。
64.在步骤220中，由训练数据生成模块116执行的学习算法根据第一传感器数据120a和第二传感器数据120b来生成训练数据生成模型124，该训练数据生成模型给第一环境传感器122a的测量分配第二环境传感器122b的测量。更准确地说，训练数据生成模型124生成第二环境传感器122b的测量，这些测量被分配给第一环境传感器122a的测量。为此，该学习算法例如可以训练人工神经网络，如更下文进一步描述的那样。
65.被用于生成训练数据生成模型124的传感器数据120可以来自同一车辆110或者也可以来自多个车辆110。
66.然后，在步骤230中，将第一模拟数据126a输入到训练数据生成模型124中。类似于第一传感器数据120a，第一模拟数据126a包括第一环境传感器122a的多个时间上连续的模拟测量，区别在于：这里涉及虚拟的而不是物理的第一环境传感器122a的测量。
67.在步骤240中，训练数据生成模型124然后生成相对应的第二模拟数据126b作为训练数据102并且向用于生成识别模型104的训练模块128输出这些第二模拟数据。类似于第一模拟数据126a，第二模拟数据126b或训练数据102包括第二环境传感器122b的多个时间上连续的模拟测量，这些模拟测量在时间上与第一环境传感器122a的模拟测量相关。
68.例如，第一模拟数据126a可以在步骤230之前的步骤230'中通过模拟模块129来生成，在该模拟模块上运行适合的物理计算模型130。根据所要模拟的传感器模态，计算模型130例如可以包括：用于模拟第一环境传感器122a的传感器模型132；用于模拟对象106、108的对象模型134；和/或传感器波传播模型136，如其在更上文已被描述的那样。
69.由训练数据生成模块116执行的学习算法例如可以被配置用于生成以生成对抗网络、简称gan为形式的人工神经网络，作为训练数据生成模型124。这种gan可包括用于生成第二模拟数据126b的生成器138和用于评价第二模拟数据126b的鉴别器140。例如，在步骤220中，鉴别器140可以利用传感器数据120被训练来在所测量到的传感器数据、也就是说环境传感装置122的真实测量与计算机计算的模拟数据、也就是说环境传感装置122的模拟测量之间进行区分，其中生成器138可以利用鉴别器140的输出、诸如“1”代表“模拟”而“0”代表“真实”被训练来生成第二模拟数据126b，使得鉴别器140不再能将这些第二模拟数据与真实传感器数据区分开，也就是说将这些第二模拟数据识别为真实。因此，训练数据生成模型124可以通过无监督学习、也就是说在不使用标记的输入数据的情况下被生成。
70.附加地，模拟模块129可以在步骤230'中为第一环境传感器122a的模拟测量中的每个模拟测量生成目标值142，该目标值表明所要生成的识别模型104的所希望的输出。目标值142，也称为标记，例如可以表明对象类别、这里示例性地是“树”和“行人”，或者其它适合的类别。目标值142例如可以是被分配给（对象）类别的数值。
71.在步骤310（参见图3）中，训练模块128从训练数据生成模块116接收训练数据102
并且将这些训练数据输入到另一学习算法中。
72.在步骤320中，例如可以是另一人工神经网络的该另一学习算法通过机器学习根据训练数据102来生成识别模型104，用于将在车辆110的环境中的对象106、108识别为“树”或“行人”。在这种情况下，至少一个分类器144、146可以被训练来将训练数据102分配给相对应的对象类别，这里示例性地是对象类别“树”或“行人”。
73.训练数据102可包括第一模拟数据126a和/或第二模拟数据126b。例如，该另一学习算法可以利用第一模拟数据126a来训练被分配给第一环境传感器122a的第一分类器144以对第一传感器数据120a进行分类和/或利用第二模拟数据126b来训练被分配给第二环境传感器122b的第二分类器146以对第二传感器数据120b进行分类。然而，也可能的是：该另一学习算法训练超过两个分类器或者也只训练唯一一个分类器。除了分类器之外或者替代于分类器，该另一学习算法例如可以训练至少一个回归模型。
74.在使用由模拟模块129生成的目标值142或标记142的情况下可以在步骤320中生成识别模型104。
75.现在，以这种方式生成的识别模型104例如可以在车辆110的控制设备148中被实现为软件和/或硬件模块并且被用于自动化地操控车辆110的执行器150，比如车辆110的转向或制动执行器或者驱动马达。例如，车辆110为此可以装备有适合的驾驶员辅助功能。然而，车辆110也可以是具有适合的控制程序的自主机器人。
76.为了操控执行器150，在步骤410（参见图4）中，在控制设备148中接收由环境传感装置122提供的传感器数据120。
77.在步骤420中，将传感器数据120输入到识别模型104中，该识别模型由控制设备148的处理器以相对应的计算机程序的形式来实施。
78.最后，在步骤430中，控制设备148根据识别模型104的输出、例如根据所识别出的对象106或108和/或根据所识别出的对象106或108的所识别出的速度、位置和/或方位来生成用于操控执行器150的相对应的控制信号152并且向执行器150输出该控制信号。控制信号152例如可以促使执行器150将车辆110控制为使得避免与所识别出的对象106或108的碰撞。
79.随后，换种说法再次描述本发明的各种实施例。
80.例如，训练数据102的生成可包括如下阶段。
81.在第一阶段，获得并记录具有关联的测量的真实传感器数据120的多模态的、未标记的样本，也就是说该样本由每个时间点的两个传感器模态a和b、也就是说两个环境传感器122a或122b的测量集合对组成。
82.在第二阶段，在使用在第一阶段获得的未标记的样本的情况下，训练人工神经网络、比如gan。
83.在第三阶段，在使用在第二阶段被训练的人工神经网络的情况下，借助于模拟和变换来生成被标记的样本。
84.在第一阶段对真实传感器数据120的多模态的、未标记的样本的生成例如可以按如下地进行。
85.为此，可以使用单个车辆110或者也可以使用车辆110的队列。车辆110可以装备有两种不同的传感器模态a和b的两个或更多个环境传感器122a、122b。例如，传感器模态a可
以是激光雷达传感装置，并且传感器模态b可以是雷达传感装置。传感器模态a应该是对其来说能够借助于计算模型130借助模拟来生成传感器数据的环境传感器，其中这些模拟数据应该具有高质量，原因在于这些模拟数据与传感器模态a的真实传感器数据非常近似地一致。两个环境传感器122a、122b应该被设计并且在车辆110上被安装和取向为使得得到它们相应的视场的重要的重叠区域。在使用这样装备的一个或多个车辆110的情况下，提供多模态的、未标记的样本。
86.在这种情况下，应该能够将在特定时间点的传感器模态a的所有测量的全体分配给在同一时间点或者至少在近似同一时间点的传感器模态b的所有测量的全体。例如，环境传感器122a、122b可以彼此同步，使得两个环境传感器122a、122b的测量分别在同一时间点被执行。即，在该上下文中，“分配”或“关联”不应被理解为使得传感器模态a的关于特定的静态或动态对象的测量与传感器模态b的关于同一对象的测量关联。这会需要对样本的相对应的（手动的）注视，而这一点正应该通过这里所描述的方法来予以避免。
87.例如，多模态的、未标记的样本可以在车辆110中被记录在永久存储器上并且然后被传输到适合于第二阶段的装置100上。替代地，对样本的传输在行驶期间就已经可以进行，比如经由蜂窝网络等等来进行。
88.通过在第二阶段训练gan来生成训练数据生成模型124例如可以按如下地进行。
89.如已经提及的那样，在第一阶段获得并记录的多模态的样本可以在第二阶段被使用，以便训练以gan形式的人工神经网络。gan可以被训练为使得该gan在训练完成之后能够将可良好模拟的传感器模态a的测量变换成不能那么良好模拟的传感器模态b的测量。
90.可以利用两个传感器模态a和b的关联的测量集合对来进行该训练。在该上下文中，测量集合应被理解成相应的传感器模态a或b在特定时间点或在短时间段之内的所有测量。这种测量集合通常可包含多个静态和动态对象的传感器数据并且例如也可以被称为帧。帧例如可以是摄像机的单个图像或者单个激光雷达扫描（lidar-sweep）的点云。
91.传感器模态a在特定时间点t(n)的测量集合可以被用作针对gan的输入，而传感器模态b在同一时间点t(n)的测量集合可以是针对关联的输入的所希望的输出。时间t对于该训练来说并非绝对必要。现在，通过对可以是深度神经网络（dnn）的gan的迭代训练，可以确定训练数据生成模型124的权重。在完成该训练之后，gan能够为传感器模态a的不包含在训练集合中的帧生成传感器模态b的相对应的帧。
92.在第三阶段对所模拟的、被标记的样本的生成例如可以按如下地进行。
93.现在，在使用在第二阶段被训练的gan的情况下，可以在第三阶段借助于模拟来生成传感器模态b的被标记的样本，更确切地说即使对于传感器模态b来说未提供适合的物理计算模型，也可以在第三阶段借助于模拟来生成该传感器模态的被标记的样本。
94.首先，生成传感器模态a的第一模拟数据126a。这一点借助于模拟模块129来实现，该模拟模块例如不仅可以模拟车辆110的移动而且可以模拟在车辆110的周围环境中的其它对象106、108的移动。附加地，可以模拟车辆110的静态的周围环境，使得在每个时间点都生成车辆110的静态和动态的周围环境，其中对象属性可以适当地被选择并且因此对于对象106、108来说重要的标记142可以被推导出。在此，通过计算模型130来生成这些对象106、108的以第一模拟数据126a形式的合成传感器数据。
95.因此，对于传感器模态a的第一模拟数据126a，也提供相应所分配的标记142，在上
文称为目标值142，即所模拟的动态和静态对象的属性，作为地面实况。这些标记同样可以由模拟模块129来输出。然后，没有标记142的第一模拟数据126a通过以经训练的gan模型形式的训练数据生成模型124被变换成传感器模态b的传感器数据，也就是说被变换成第二模拟数据126b，这些传感器数据在每个时间点都表示车辆110的相同的、所模拟的周围环境。出于该原因，由模拟模块129生成的标记142对于第二模拟数据126b来说也是有效的。例如，可以将传感器模态a的传感器数据分配给传感器模态b的传感器数据，使得描述在特定时间点的车辆110的周围环境的标记142可以在不改变的情况下、也就是说在没有预先的内插的情况下直接被传输。
96.视应用而定，可以使用所得到的由第二模拟数据126b和标记142或目标值142组成的被标记的样本或者也可以使用所得到的由第一模拟数据126a、第二模拟数据126b和标记142或目标值142组成的被标记的多模态的样本，作为用于生成识别模型104的训练数据102，比如用于训练深度神经网络。
97.替代地或附加地，训练数据102可以被用于优化和/或验证环境感知算法，比如其方式是执行对未标记的样本的重放（replay）并且将由这些算法生成的符号环境表示、即由模式识别算法生成的环境的对象的属性与标记的样本的地面实况属性进行比较。
98.最后，应指出：如“具有”、“包括”等等那样的术语并不排除其它要素或步骤，而如“一个”或“一”那样的术语并不排除多个。权利要求书中的附图标记不应被视为限制。