利用机器学习增加和处理雷达数据的制作方法

1.本发明涉及从已经存在的雷达数据中产生真实雷达数据，以及完全一般性地涉及借助于机器学习处理雷达数据。


背景技术：

2.为了使车辆能够在道路交通中至少部分自动地移动，需要检测车辆的环境并且如果面临与车辆的环境中的对象碰撞的危险，则引入对策。创建环境表示以及定位对于安全自动驾驶也是必要的。
3.借助于雷达检测对象与照明条件无关并且例如即使在夜间在较大的距离上也是可能的，而不通过远光灯使迎面车流目眩。此外，对象的距离和速度也直接由雷达数据得知。这些信息对于评价是否可能发生与对象的碰撞是重要的。然而，不能直接从雷达信号中识别出是哪种类型的对象。这种识别当前通过从数字信号处理中计算属性来解决。
4.经训练的机器学习模型、诸如神经网络，在这里尤其是对于对象识别可以做出主要贡献。为了训练这些模型，需要训练数据，经常根据试验行驶记载所述数据并且随后用在分别观察的场景中实际包含的对象进行注释（“标记”）。标记需要许多手动工作，并且因此是昂贵的。de 10 2018 204 494 b3公开一种发生器，利用该发生器可以给给定的训练数据储备扩展合成雷达数据。


技术实现要素：

5.在本发明的范围中，开发了一种用于将源雷达数据转换为目标雷达数据的方法。源雷达数据是通过利用雷达系统的源配置观察场景获得的雷达数据。目标雷达数据是在利用雷达系统的目标配置观察相同场景时应该预期的雷达数据。雷达系统的源配置以及目标配置均分别包括用于雷达辐射的至少一个发射器和接收器，并且附加地可以通过诸如发射器和/或接收器的设定之类的其他参数来表征。
6.在此，源配置可以与目标配置相同。在这种情况下，可以对用于雷达系统的配置的给定雷达数据储备扩展真实的合成雷达数据，正如这例如可以利用开头提到的发生器实现的那样。
7.然而，利用本方法，基于利用雷达系统的源配置记录的源雷达数据，也可以获得在利用相同或不同的雷达系统的完全不同的目标配置观察相同的场景时真实地应该预期的目标雷达数据。以这种方式，同一雷达数据储备例如可以作为训练数据被重新用于利用雷达系统的任意新目标配置进行对象识别，所述同一雷达数据储备可能也已经被标记。由此节省用于物理地记录其他雷达数据的巨大耗费。只要雷达系统由车辆携带，就尤其是例如可以大大降低用于执行其他试验行驶的附加耗费。
8.例如，在利用安装在车辆的特定部位处的雷达传感器已经执行了非常多的试验行驶的时间点，可以作出决定：将来可以将雷达传感器安置在车辆的另一部位处。由此改变雷达传感器的记录特性。尤其是，可观察的视野和视角发生变化。迄今，在先前试验行驶上记
录的雷达数据不能再被用于基于从传感器的新位置记录的雷达数据来训练对象识别或其他评估。代替地，训练数据的记录必须再次从零开始。
9.迄今，将雷达传感器装入到其他制造商的车辆中也可能导致之前为训练目的记录的雷达数据不再可用。雷达传感器对每个最终客户不在视觉上显得引人注目，并且因此经常安装在车辆制造商的标志后面。在穿过这种标志时，雷达辐射被影响，并且如果用另一制造商的标志替换一个制造商的标志，这种影响发生变化。就此而论，在第一标志后面记录的雷达数据仅有条件地与记录在第二标志后面的雷达数据可比较。利用本方法，可以人工地产生这种信号变化，使得即使在用第二标志替换第一标志之后，也可以继续使用在第一标志后面记录的训练数据储备。
10.通常，源雷达数据或目标雷达数据至少包括源反射位置或目标反射位置的空间坐标，由所述源反射位置或目标反射位置反射的雷达辐射入射到雷达系统中。在该方法的范围中，现在首先为源反射位置的空间坐标提供网格单元的二维或更多维源阵列。为每个网格单元从所有源反射位置的空间坐标中确定针对一个或多个源反射位置位于网格单元中的概率和/或频率，并分配给相应的网格单元。构成源张量，所述源张量至少包括以概率和/或频率占据的源阵列。
11.为此，例如可以将1的占用概率分配给围绕源反射位置具有预给定半径的圆或球体。然后可以根据面积份额或体积份额将该占用概率分布到圆的面积或球体的体积分布到的源阵列的所有网格单元上。
12.已经认识到，利用雷达辐射的观察的特定物理特性导致雷达数据的不确定性。例如利用摄像机或利用激光雷达的光学观察使用与要成像的结构相比极其短波的辐射，并且因此提供非常清晰的图像。与此相比，雷达辐射是显著更长波的，使得辐射的波特性明显地显露出来，并且所测量的反射在很大程度上具有随机特性。
13.具体来说，这意味着雷达反射
•
在时间上波动，即在相继的单测量中显现并且再次消失，以及
•
在空间上波动，即在雷达辐射好像来自的位置的空间坐标中摆动和有噪声。
14.因此，周围环境的真正图像典型地只能经由大量的雷达测量作为平均值和/或单测量的叠加从雷达测量中获得。
15.因为该源张量包含表征雷达数据的概率分布的参量，所以这种不确定性在源张量中大部分地被抑制。因此，源张量基本上包含利用同样仅在空间上可变的、与时间无关的传递函数处理来自所观察的场景的空间信息的结果。
16.源张量现在被变换成目标张量，所述目标张量包括用于目标反射位置的空间坐标的网格单元的至少一个目标阵列。该目标阵列对于每个网格单元说明针对在利用目标配置观察场景时获得的目标反射位置位于相应的网格单元中的概率和/或频率。根据目标阵列中的概率和/或频率，对目标反射位置的空间坐标进行采样，使得形成目标雷达数据。
17.在开头提到的简单情况下，其中仅使用单个配置并且应该扩展对于该配置存在的雷达数据储备，源配置与目标配置相同，并且源张量相同地被采用为目标配置。然后从恰好根据原始雷达数据确定的概率分布中抽取新样本。
18.而如果源配置和目标配置不相同，则寻求的目标反射位置又经由空间上的与时间无关的传递函数与目标张量相关。源张量和目标张量之间的关系于是通过源配置和目标配
置之间的差异引起，并且同样与时间无关。虽然如此，对于这种关系通常不存在封闭公式。然而，从源张量到目标张量的路径对于机器学习是可访问的。这意味着可以利用经训练的机器学习模型将源张量变换成目标张量。机器学习模型又可以利用与源配置相关的雷达数据和与目标配置相关的雷达数据被训练。
19.在此，相比于在具体应用中通常适用于转换成目标雷达数据的源雷达数据量，用于这样的训练所需要的训练数据量小。如果该源雷达数据量可供使用并且需要至少相同大小的目标雷达数据量，则因此用于获取训练数据和随后训练将源张量变换为目标张量并且从而最终从源雷达数据引导到目标雷达数据的机器学习模型的耗费明显低于用于直接在测量技术上获取所寻求的目标雷达数据的耗费。此外，也可以一再地使用机器学习模型来将其他雷达数据从源配置变换到目标配置。
20.如上所阐述的，源配置和目标配置尤其是例如可以至少如下不同，即
•
两种配置包括不同的雷达传感器，和/或
•
雷达传感器在两种配置中在空间上不同地布置，和/或
•
在这两种配置中，通过布置在至少一个雷达传感器和所观察的场景之间的材料以不同的方式影响雷达辐射。
21.在这里介绍的方法因此具有以下效果：这种配置切换不使在切换之前已获取的雷达数据储备“无效”。代替地，可以仅仅获取针对这种切换特定地训练的机器学习模型，或者可以训练这样的模型。
22.相反，这意味着使先前获取的雷达数据“无效”不再是针对所力求的配置切换的重要论据。如果例如表明用于车辆的新雷达传感器提供具有比迄今为止使用的雷达传感器明显更好的质量的雷达数据，则迄今利用旧雷达传感器执行的所有试验行驶的重复同样地可能对于更换（umstieg）是如此高的成本，使得更换归根结底不再是经济的。如果该成本强烈地被降低，则没有什么可以再阻碍更换。
23.在一个特别有利的扩展方案中，机器学习模型包括具有编码器和解码器的编码器-解码器装置，所述编码器将源张量映射到具有所降低维数的表示上，所述解码器将该表示映射到目标张量上。这样的装置可以被训练为使得编码器在将源张量压缩成所述表示时基本上忽略源配置的细节，并且获得关于所观察的场景的最重要的信息，所述信息很难被放入明确表达的条件中。然后解码器相反地将目标配置的细节添加到经压缩的表示，并且从而产生目标张量。
24.在另一特别有利的扩展方案中，机器学习模型包括生成对抗网络（generative adversarial network）gan的发生器。可以训练这样的发生器，用于从与源配置相关的源张量中产生目标张量，所述目标张量不能或很难与在与从源雷达数据中产生源张量相同的路径上从实际测量的目标雷达数据中产生的这样的目标张量相区别。这种训练可以与鉴别器协力地被执行，所述鉴别器被训练，用于将从源张量产生的目标张量与从实际测量的目标雷达数据产生的目标张量相区别。发生器和鉴别器一起构成gan。如果在此涉及cyclegan，则即使虽然许多利用源配置测量的源雷达数据和许多利用目标配置测量的目标雷达数据可供使用，但是由与相同的场景相关的源雷达数据和目标雷达数据组成的对不可供使用，也可以对其进行训练。
25.以先前描述的方式由源雷达数据构成源张量不仅适用于产生新的雷达数据，可以
以与利用雷达系统的源配置或目标配置实际测量的雷达数据相同的方式使用所述新的雷达数据。更确切地，将源雷达数据表示为源张量中的概率和/或频率的分布通常是有利的，以便将源雷达数据的评估（诸如对象识别或向类的其他分配）与雷达反射的随机波动屏蔽开。
26.因此，本发明也涉及一种用于利用神经网络处理源雷达数据的方法，所述源雷达数据通过利用雷达系统的源配置观察场景而获得。源雷达数据至少包括源反射位置的空间坐标，由所述源反射位置反射的雷达辐射入射到雷达系统中。
27.在该方法情况下，为源反射位置的空间坐标提供网格单元的二维或更多维源阵列。为每个网格单元从所有源反射位置的空间坐标中确定针对一个或多个源反射位置位于网格单元中的概率和/或频率，并且分配给相应的网格单元。构成源张量，所述源张量至少包括以概率和/或频率占据的源阵列。该源张量被馈送给神经网络。
28.以这种方式，源雷达数据带有的不确定性不再影响由神经网络提供的结果。从而，首先记录源雷达数据、将这些源雷达数据处理成结果并且基于该结果例如操控车辆的总系统变得更可靠。
29.例如，源张量可以由神经网络映射到预给定分类的一个或多个类。这些类例如可以表示对象，源雷达数据指示所述对象的存在。然而，这些类也可以例如表示车辆所处于的交通状况，从所述车辆检测源雷达数据。
30.因此，尤其是例如可以从由神经网络提供的输出中为车辆构成操控信号，并且可以利用该操控信号来操控车辆。
31.与是否应该由源张量最终产生新的真实目标雷达数据或其他处理结果无关地，源张量和必要时目标张量可以分别包括从源雷达数据或从目标雷达数据中可推导的至少一个其他附加参量到源阵列或目标阵列的网格单元的分配。
32.附加参量尤其是可以例如包括
•
在源雷达系统和源反射位置之间或在目标雷达系统和目标反射位置之间的间距，和/或
•
雷达辐射入射到源雷达系统或目标雷达系统的角度，和/或
•
反射雷达辐射的对象的速度，和/或
•
反射雷达辐射的对象到预给定分类的一个或多个类的归属性，和/或
•
所反射的雷达辐射的信号强度。
33.如果利用神经网络直接从源张量中确定处理结果，则可以例如使用附加参量的值，以便解决在识别对象时的多义性。如果例如附加参量之一说明特定源雷达反射属于的对象以特定的速度独立地移动，则该对象不可能是交通标志或类似的固定安装的对象。
34.如果从源张量中确定目标张量，并且从目标张量中又确定目标雷达数据，则可以与将源阵列变换到目标阵列一起也学习：在从源配置切换成目标配置时附加参量的值到网格单元的分配如何变化。
35.如果例如雷达传感器在目标配置中从与在源配置中不同的角度观看场景，则目标雷达数据提供关于与源雷达数据不同的对象速度分量的信息。例如，与雷达传感器在源配置中看到源反射位置所采取的角度相比，雷达传感器在目标配置中看到目标反射位置所采取的角度也发生了变化。
36.这可以尤其是例如被映射，其方式是在一个特别有利的扩展方案中，从附加参量的一个或多个值中针对目标阵列的一个或多个网格单元构成附加参量的新值并且在目标雷达数据中将其添写到目标反射位置，所述网格单元有助于对具体目标反射位置进行采样。
37.通常，源阵列与源张量中的附加参量的结合使继续使用机器学习模型变得容易，所述机器学习模型最初被设计用于处理图像。具有多个颜色通道的图像同样可以被表示为张量，所述张量具有与源张量非常相似的形式。
38.尤其是，这些方法可以完全或部分地是计算机实施的。因此，本发明也涉及一种具有机器可读指令的计算机程序，当所述指令在一个或多个计算机上被执行时，所述指令促使所述一个或多个计算机执行所描述的方法之一。在这个意义上，也可以将用于车辆的控制设备和用于同样能够执行机器可读指令的技术设备的嵌入式系统视为计算机。
39.同样，本发明也涉及机器可读数据载体和/或具有计算机程序的下载产品。下载产品是可以经由数据网络传输、即可以由数据网络的用户下载的数字产品，所述数字产品例如可以在在线商店中被出售用于立即下载。
40.此外，计算机可以配备有计算机程序、机器可读数据载体或下载产品。
附图说明
41.在下面与本发明的优选实施例的描述一起根据附图更详细地示出改善本发明的其他措施。
42.图1示出用于将源雷达数据3转换成目标雷达数据5的方法100的实施例；图2示出观察具有雷达系统的不同配置2、4的车辆50的示例性情形；图3示出用于利用神经网络7处理源雷达数据3的方法200的实施例。
具体实施方式
43.图1示出用于将源雷达数据3转换成目标雷达数据5的方法200的一种实施例的示意性流程图。源雷达数据3通过利用雷达系统的源配置2观察场景1而获得。目标雷达数据5是在利用雷达系统的目标配置4观察相同场景1时应该预期的雷达数据。
44.源雷达数据3至少包括源反射位置31的空间坐标，由所述源反射位置反射的雷达辐射入射到雷达系统上。在步骤110中，为这些空间坐标提供网格单元32a的二维或更多维源阵列32。在步骤120中，为每个网格单元32a从所有源反射位置31的空间坐标中确定针对一个或多个源反射位置31位于网格单元32a中的概率和/或频率32b并且分配给相应的网格单元32a。
45.为此，例如按照块121，可以将1的占用概率分配给围绕源反射位置31具有预给定半径的圆或球体。然后按照块122，可以根据面积份额或体积份额将该占用概率分布到圆的面积或球体的体积分布到的源阵列32的所有网格单元32a上。
46.在步骤130中，构成源张量33，所述源张量至少包括以概率和/或频率32b占据的源阵列32。源张量33除此之外例如还可以包括附加参量8的值，所述附加参量分别分配给源阵列32的网格单元32a。
47.源张量33在步骤140中被变换成目标张量53，所述目标张量包括用于目标反射位
置51的空间坐标的网格单元52a的至少一个目标阵列52。该目标阵列52对于每个网格单元52a说明针对在利用目标配置4观察场景1时获得的目标反射位置51位于相应网格单元52a中的概率和/或频率52b。
48.如果源配置2与目标配置4相同，则为此目的例如按照块141可以采用与目标张量53相同的源张量33。
49.而如果目标配置4不同于源配置2，则源张量33可以例如按照块142将源张量33利用经训练的机器学习模型6变换成目标张量53。
50.在步骤150中，根据目标阵列52中的概率和/或频率52b对目标反射位置51的空间坐标进行采样，使得形成目标雷达数据5。在此情况下，尤其是按照块151，对于有助于对具体目标反射位置51进行采样的目标阵列52的一个或多个网格单元52a，可以由附加参量8的一个或多个值构成附加参量（8）的新值8'。然后可以按照块152将该新值8'添写给目标反射位置51。
51.图2示意性地阐明利用雷达系统的源配置2获得的场景1的源雷达数据3如何以及为什么不同于利用相同或不同的雷达系统的目标配置4在相同的场景1处获得的目标雷达数据5。
52.在图2中所示的示例中，场景1示出车辆50。利用包括发射器2a和接收器2b的源配置2，在源反射位置31处记录雷达反射，为清楚起见在图2中仅绘入所述源反射位置中的三个。而利用包括在另一空间位置处的发射器4a和接收器4b的目标配置4，在目标反射位置51处记录雷达反射，为了清楚起见在图2中仅绘入了所述目标反射位置中的三个。
53.图3是用于处理源雷达数据3的方法200的一种实施例的示意性流程图。该方法首先以与上述方法100类似的方式开始。
54.如在上述方法100中那样，源雷达数据3至少包括源反射位置31的空间坐标，由所述源反射位置反射的雷达辐射入射到雷达系统上。在步骤210中，为这些空间坐标提供网格单元32a的二维或更多维源阵列32。在步骤220中，为每个网格单元32a从所有源反射位置31的空间坐标中确定针对一个或多个源反射位置31位于网格单元32a中的概率和/或频率32b并且分配给相应的网格单元32a。
55.为此，例如按照块221，可以将1的占用概率分配给围绕源反射位置31具有预给定半径的圆或球体。然后按照块222，可以根据面积份额或体积份额将该占用概率分布到圆的面积或球体的体积分布到的源阵列32的所有网格单元32a上。
56.在步骤230中，构成源张量33，所述源张量至少包括以概率和/或频率32b占据的源阵列32。源张量33除此之外例如还可以包括附加参量8的值，所述附加参量分别分配给源阵列32的网格单元32a。
57.源张量33在步骤240中被馈送给神经网络7并且由该神经网络7处理成输出240a。在此，源张量7尤其是例如可以被映射到预给定分类的一个或多个类上。
58.在图3所示的示例中，在步骤250中，由输出240a为车辆50构成操控信号250a，并且在步骤260中，利用操控信号250a操控车辆50。