用于在机动车辆中定位车道标记的方法和机动车辆与流程

1.本发明涉及一种用于在机动车辆中定位车道标记的方法，其中，机动车辆具有摄像机，对该摄像机的图像数据进行评估以生成对车道标记的存在和位置进行说明的车道标记数据。本发明还涉及一种机动车辆。


背景技术：

2.在现代机动车辆中大量提出和已经实施的车辆系统可利用关于车道标记与机动车辆的相对位置的知识。这种车辆系统的示例包括尤其涉及机动车辆的横向引导的驾驶辅助系统，以及构造成至少部分地自动引导机动车辆的车辆系统，在其自动驾驶干预的情况下，关于当前和/或未来行驶的行车道的进一步的走向的知识是重要的。例如，在现有技术中已知车道保持辅助系统和车道偏移警告系统，这些系统在机动车辆即将离开行车道时发出警告和/或可自己进行纠正的驾驶干预。不同车道位置的知识对于支持变道的驾驶辅助系统同样重要。很多其他车辆系统还可适宜地使用与车道标记相关的数据，这例如是关于当前行驶道路、道路的行车道数量、机动车辆正在行驶的行车道、行车道宽度等等。
3.为了在机动车辆内探测这种车道标记，已知使用指向机动车辆的前方区域的摄像机、评估摄像机的关于车道标记的存在和位置的图像数据，其中，评估结果例如可通过车道标记数据给出。相应的车辆系统然后可车道标记数据用于车辆系统的相应的功能。当道路标记难以或根本无法用光学方式识别时，在这种探测中总是会出现问题。例如，车道标记可能被雪、泥、污物等遮盖。还可想到的是，随着时间的推移，道路标记会磨损和/或被破坏。光学传感器系统将不再可提供车道标记数据。虽然这在驾驶员仍处于“闭环中”的车辆系统的情况下(即自己观察驾驶情况)不太重要，因为驾驶员可自己评估情况并做出相应的反应，但在高度自动驾驶功能的情况下不再是这种情况，因此无法识别车道标记可能非常严重，尤其是可能导致相应的车辆引导功能被丢弃。
4.de 10 2016 224 558 a1涉及一种用于确定车辆位置的方法。车辆具有导航系统和透地雷达系统，其中车辆周围区域的地面被透地雷达扫描。透地雷达系统位置数据通过与地面参考数据的比较来确定，当前车辆位置由导航系统位置数据和透地雷达系统位置数据两者确定。因此应能够实现更精确的位置确定。
5.de 10 2018 132 366 a1涉及车辆的无线充电。在此，车辆上的接收线圈在使用透地雷达数据的情况下与充电线圈对齐。因此，该系统不需要地上对象和/或车道标记的视觉识别，就能将接收器的接收线圈与发射器的充电线圈对准。该系统尤其是在许多户外环境条件下适用，尤其是在无地上对象和/或无路面标记、路面标记磨损或风化和/或标记被树叶、雪、泥土或其他杂物遮盖的情况下的场景下。
6.de 10 2018 202 267 a1涉及一种用于在补充车道标记的情况下照亮车道的方法。为了实现在照亮车道时为机动车辆驾驶员增加信息量，至少部分地确定在机动车辆的周围区域中的至少一个车道标记的走向，并且计算光分布，使得车道标记的走向由发射到道路上的亮度分布至少部分地补充。在此，例如可借助地图数据和/或通过机动车辆的摄像
机探测车道标记的走向。通过对探测到的车道标记进行内推、外推和/或平滑来确定缺失的标记。在没有车道标记或车道标记被遮挡的区域中，可外推或内推出被遮挡的区域。此外，可将车道标记与借助数字地图确定的车道标记进行比较，以通过比较补充缺失的区域。


技术实现要素：

7.本发明的目的在于，即使对于被遮盖的和/或以其他方式无法识别的光学车道标记，也能尽可能鲁棒和准确地定位车道标记。
8.为了实现该目的，根据本发明，在开头提到类型的方法中规定，还使用机动车辆的至少一个指向所行驶的地表/地表层的透地雷达传感器，对该透地雷达传感器的雷达数据进行评估，以确定对所行驶的地表的地表结构/地表层结构(地面以下的结构)进行描述的地表数据/地表层数据(地面以下数据)，其中，使用测绘数据库，与相同的记录地点/探测地点相关联的、指示车道标记是否存在的车道标记数据与地表数据彼此相关联地存储在该测绘数据库中，其中，尤其在摄像机数据中，至少在识别到遮盖车道标记的地面覆层时，借助地表数据对当前的地表结构与数据库的地表结构的至少一部分进行比较，并且在一致的情况下，使用与一致的地表结构的地表数据相关联的车道标记数据。
9.遮盖车道标记的地面覆层例如可包括雪、泥、树叶和/或其他污物。这例如可在摄像机的图像数据中识别，其中，如果在本发明的具体实施方式中需要，还可——尤其补充地——使用机动车辆的其他的环境传感器，例如雷达传感器等等，以便可确定光学上不可识别的车道标记。在此，尤其还可适宜地与数字地图数据进行比较，之后例如可确定是否可能存在车道标记。
10.虽然根据本发明的方法尤其是对于被遮盖的车道标记是有利的，然而同样还适宜进行地表结构的相应比较，这是因为此时可提高对车道标记的确定的鲁棒性和/或可实施合理性检查。尤其当在测绘数据库中已经存在与当前的记录地点有关的信息时，那么原则上总是可进行比较。
11.由于摄像机和透地雷达传感器的相对安装位置是固定的并且甚至可能是已知的，因此将地表结构与车道标记明确地相关联，并且使地表结构与车道标记的位置相关联。在本发明的范围中尤其可规定，在一致的地表结构彼此侧向偏移时，该偏移用以修正车道标记在相关联的车道标记数据中的位置。换句话说，可确定机动车辆是否能稍微侧向错位地通过地表结构，从而还可相应地调整车道标记数据的通常相对于机动车辆存储在车道标记数据中的位置，因此正确识别车道标记相对于机动车辆的相对位置。
12.透地雷达传感器(英文：ground penetrating radar(gpr))被理解成一种雷达传感器，该透地雷达的雷达信号穿透地表并且可表征出存在于该地的、在不同深度处的反射模式。例如可根据来自不同的地层的反射逐层地对雷达数据进行分类和评估。
13.根据本发明，现在具体提出，建立测绘数据库，其能够将地表结构与确定的、存在于相应地点的车道标记相关联，使得即使车道标记例如由于被遮盖而不能被光学地探测到，也可根据地表结构推断出车道标记是否存在及车道标记的位置，因此可推断出合适的车道标记数据组。在此可具体地设置成，为了生成数据库，借助于所述机动车辆和/或至少一个相同地构造的机动车辆在至少一次行驶时确定地表数据和车道标记数据，并且将与同一记录地点相关联的、指示车道标记的存在的车道标记数据与地表数据彼此关联地存储在
测绘数据库中。也就是说，每当机动车辆或在透地雷达传感器和摄像机的相对布置和取向方面构造相同的机动车辆经过一路段时，其中，沿着路段既可记录地表数据、又可以基于车道标记的可探测性记录车道标记数据，将车道标记数据与一般还可在一时间段上记录的相应地表数据相关联地存储在测绘数据库中，从而在对通过地表数据说明的相应地表结构再次进行探测时，即使不可光学地探测车道标记，也可获得车道标记数据。换句话说，通过将借助于透地雷达传感器探测的地表结构和光学地确定的车道标记数据相结合生成测绘数据库，该侧绘数据库能够实现与当前测量的地表结构进行比较，从中又可得出正确的、相关联的车道标记数据。因此，地表结构的比较基本上相应于机动车辆在测绘数据库的地表地图/地表层地图中的定位，在该地表地图中还含有车道标记所在的位置。
14.因此，在地表上、即尤其是车道上行驶时，透地雷达传感器感测地表结构，并且将可理解为地图部分的当前的地表结构与存储在测绘数据库中的、可理解为整体地图的地表结构进行比较。通过将当前使用透地雷达感测到的地表结构与存储在系统中的地表结构相比较，仍然可识别到例如被雪遮盖的车道标记。
15.这基于的认识是，地表结构不会或几乎不会随着年限或由于天气影响而发生改变，从而提供了可鲁棒地探测的参考，其提供了光学上不可探测的车道标记。因此，车道标记间接地通过与测绘数据库的比较来探测。
16.以这种方式，在车道标记由于雪、污物、老化等而被遮盖时，根据本发明的方法能够实现安全的行驶。地表结构形成可靠的用于“匹配(matching)”的地图。即使在自动驾驶中，该解决方案能够在车道标记被遮盖的情况下实现可靠的驾驶。虽然在车道标记被遮盖时光学传感器不可确定车道标记数据，透地雷达能够在技术上实现穿透遮盖层，例如雪或污物，并且尽管存在遮盖，仍能确定车道标记数据。因此，尽管遮盖了车道标记，仍然可执行与车道标记相关的功能、尤其是驾驶员辅助功能。尽管不可光学地识别车道标记，仍可为驾驶员例如实现车道标记的可视化；在离开当前所行驶的行车道时可向驾驶员发出警告；尽管遮盖了车道标记，仍可执行自动的车道变换；可将探测到的对象与行车道正确地关联，以便及时识别危险场景并避免碰撞；无需直接光学感测车道标记即可正确计算各轨迹；尽管遮盖了车道标记，也能对机动车辆或其他探测到的交通参与者在行车道中进行定位；可自动地控制机动车辆进入到行车道中，等等。
17.在本发明的有利的改进方案中，透地雷达传感器可具有至少0.5m的穿透深度。例如可考虑，在评估时考虑至少20个不同深度的层，例如25个不同深度的层。以这种方式产生对地表结构进行描述的充足的信息量。此外，透地雷达传感器可以在1mhz与1ghz之间的载波频率和/或以至少250mhz、尤其是至少500mhz频率带宽运行。为了提供在地表中的确定的穿透深度，必须使用确定的频率范围。因此，在1mhz至1ghz载波频率的范围内的透地雷达传感器提供能够穿透地表的可行性。为此，优选地，使用能够实现期望的距离分辨率的特定的频率带宽。如果穿透深度小，则可使用更高的频率带宽，例如500mhz，以便以距离分辨率的方式分析地表的层(以小的距离，例如约20cm)。在本发明的具体的设计方案中，例如可规定，在距离分辨率处于小于2cm的范围中的情况下，以2cm的距离分层地来扫描地表，直至0.5m的穿透深度，也就是说，扫描车道之下的25层，这能够实现地表的高分辨率的测绘。
18.透地雷达传感器可作为脉冲雷达或连续波雷达来运行，以记录雷达数据。一般来说，透地雷达传感器应是单站地起作用的，也就是说，通过一个共用的天线组件发送和接收
雷达信号。当今已知的、因此容易获得的透地雷达传感器传统上基于脉冲技术，其中，透地雷达传感器的天线组件的至少一个发射天线元件发出一系列的雷达脉冲，其中，透地雷达传感器的天线组件至少一个接收天线元件探测从地表反射的雷达脉冲。在发射和接收之间的时间使得能够进行各反射的距离测量或定位。在此，特别是常用脉冲雷达技术，这是因为多普勒测量(探测到的对象的运动速度)在地表分析中不起任何作用。
19.相比之下，连续波雷达技术(调频连续波“fmcw-frequency modulated continuous wave”)的使用提供了进行频谱分析的可行性，以便从频谱中生成附加信息。换言之，本发明的一种有利的改进方案规定，在作为连续波雷达运行时执行频谱分析，尤其是用于探测和消除多义性。这样可更容易区分不同的目标。
20.可以特别有利地规定，透地雷达传感器作为具有合成孔径的雷达运行，特别是当透地雷达传感器垂直于行驶方向取向时。因此，在机动车辆的运动方向与透地雷达传感器的发射方向(向前或向下)之间通常给定的正交性(90
°
)可允许使用高分辨率sar雷达概念(合成孔径雷达“synthetic aperture radar”)，以便在地表分析中大幅提升角度分辨率性能。合成孔径的原理是用许多小型移动天线组件的记录代替大型天线组件的快照。因为在这个运动的过程中，目标区域中的每个反射对象都会以变化的视角被照射并相应地被记录下来。如果天线组件的路径以足够的准确度已知并且场景——如地表的情况下——是固定不动的，则可从接收到的雷达信号的强度和相位合成更大的天线组件的孔径，从而可在天线组件的运动方向上实现高的方位分辨率。
21.在本发明的另一特别优选的设计方案中，在测绘数据库中，绝对的、尤其是测地的和/或涉及数字地图的位置信息还被分配给彼此相关联的地表数据和车道标记数据。这使得能够在测绘数据库中首先至少粗略地定位机动车辆自身，以便可进行地表结构的可实时执行的、鲁棒的匹配。换句话说，可规定，基于机动车辆的当前的、尤其是用位置传感器(例如gps传感器)确定的机动车辆的位置信息，将来自数据库的、可用于比较的数据量限制到在通过机动车辆的当前位置信息说明的位置周围的区域。在此，位置传感器尤其可为全球导航卫星系统的传感器，尤其是gps传感器。可以说，通过这种方式，预选可能的地表结构，以便大幅减少要进行比较的量，并且因此更快获得可靠的结果。在此，可固定地预定区域的大小，然而还可考虑根据与位置信息相关联的误差值调整区域大小，例如，比起极其精确地已知位置信息的情况，在位置信息的不确定性较时，则选择较大的区域。
22.就此而言，还可适宜的是，必要时将表现为大的数据量的测绘数据库存储在机动车辆外部，并且仅将当前所需的测绘数据(至少地表结构数据和相关联的车道标记数据)下载到机动车辆中。换句话说，可规定，对于在机动车辆外部存储的测绘数据库，调取对该区域进行描述和/或对包括该区域的地域进行描述的测绘数据作为本地数据库以进行比较。这尤其是可通过蜂窝网络和/或互联网来完成。
23.就此而言，还应注意，原则上可适宜地使用集中管理的测绘数据库，例如在后端设备上，因为这时至少在透地雷达传感器和摄像机方面结构相同的各种机动车辆都可有助于构建测绘数据库，该测绘数据库因此获得高的遮盖度和高的精度。尤其地，当机动车辆自身到目前为止尚未通过一路段时，对于机动车辆自身来说，也可获得信息。在优选地进行地表结构的抽象化时，即使由于测量条件中存在偏差，仍然可将略微不同的数据没有问题地相组合。
24.一般而言，在本发明的范围内还特别有利的是，为了确定地表数据，对由雷达数据描述的地表结构尤其是以减少数据量的方式进行抽象化，尤其是确定地表地图。例如，可具体规定，在地表数据中仅包括满足相关性标准的反射对象，其中，相关性标准尤其是要求最小尺寸和/或最低反射率，和/或尤其是所包括的反射对象通过分类来配属对象类别，尤其是裂缝类别和/或至少一种夹杂物对象类别。尤其地，在地表中的裂缝走向、地表中气穴的位置和/或地面中其他夹杂的对象的位置是地表地图的极好的基础，尤其是当限制于机动车辆当前位置周围的区域上时，在该地表地图中可轻易地通过比较找到尤其是通过从本地地表地图说明的地表结构，该本地地表地图由当前记录的雷达数据得出。为了进一步适宜地减少数据量，还可要求反射对象、尤其是裂缝和/或夹杂物的最小尺寸和/或最低反射率。
25.无论车道标记数据是通过摄像机还是由测绘数据库中确定，车道标记数据可如现有技术中基本已知的那样使用。因此，例如可考虑，评估当前的车道标记数据，以用于确定行车道宽度和/或车道宽度和/或行车道数量和/或本机动车辆的行车道分配和/或至少一个另外的交通参与者。此外，车道标记数据可通过和/或针对至少一个车辆系统进行评估，尤其是驾驶辅助系统和/或构造成至少部分地自动引导的车辆系统。关于本发明的优点，已经更详细地介绍了相应的示例。
26.除了方法之外，本发明还涉及一种机动车辆，该机动车辆具有摄像机、至少一个透地雷达传感器和设立成用于实施根据本发明的方法的控制装置。关于根据本发明的方法的所有实施方案可类似地应用于根据本发明的机动车辆，由此通过根据本发明的机动车辆也可获得已经提到的优点。控制装置可尤其为控制器，尤其是分配给至少一个车辆系统、例如驾驶辅助系统的控制器。控制器尤其可以是所谓的中央驾驶辅助系统的控制器，在该中央驾驶辅助系统中组合了多个驾驶辅助系统的功能。控制装置可具有：至少一个处理器，该处理器实现适用于实施根据本发明的方法的功能单元；和/或存储器件，尤其是用于测绘数据库和/或本地数据库。此外，在本发明的范围内，术语摄像机应广义地理解为成像光学传感器，从而特别是成像的激光雷达传感器也可用作摄像机。
附图说明
27.由下文说明的实施例以及借助附图得到本发明的其他的优点和细节。
28.其中：
29.图1示出了根据本发明的机动车辆在所行驶的地表上的原理图，
30.图2示出了根据本发明的方法的工作方式的原理图，以及
31.图3示出了根据本发明的机动车辆的原理图。
具体实施方式
32.图1示出了根据本发明的机动车辆1的原理图，该机动车辆在地表2、在此是车道3上行驶。在此，机动车辆位于由车道标记4标出的行车道内。为了探测车道标记4，机动车辆1具有作为成像的光学传感器装置的、朝机动车辆的前方区域指向的摄像机5，该摄像机例如可安装在机动车辆1的挡风玻璃6后面。
33.在当前的情况下，车道标记4中的至少一个被层7遮盖，该层例如是雪层、污物层或树叶，从而使得在摄像机5的图像数据中不能探测到车道标记。
34.针对这种情况，机动车辆1在这种情况下还具有两个透地雷达传感器8，其探测区域9竖向向下指向。在此，透地雷达传感器8中的每个透地雷达传感器以在1mhz至1ghz的范围内的载波频率在500mhz的频率带宽下如此运行，使得得到0.5m的穿透深度。此外，由于高的频率带宽，也获得很高的距离分辨率，尤其是小于2cm。在透地雷达传感器8向下并且因此垂直于机动车辆1的运动方向(其通常向前，但如论如何是水平的)的情况下，为了提高角度分辨率，还使用合成孔径的原理，也就是说，可一起考虑连续记录的反射对象的雷达信号，以生成增大的虚拟孔径。
35.在此，可在穿透深度为0.5m的情况下划分成50个2cm的层，在这些层中可对地表2进行测绘，通过虚线绘制的测绘区域10表示。通过和对具有相关性标准、尤其是最小尺寸和/或最低反射率的反射对象的分类以及对反射对象的抽象化，可评估透地雷达传感器8的雷达数据，以形成对地表2的地表结构进行描述的地表数据。因此最终创建最新记录的本地地表地图。
36.透地雷达传感器8可作为脉冲雷达或连续波雷达来运行。使用脉冲雷达对于透地雷达传感器8来说很常见，并且利用了无需速度方面的多普勒信息的事实。然而，使用连续波雷达技术能够实现进行频谱分析，这可解决多义性并在必要时提供额外信息。
37.现在可在机动车辆1中使用地表结构数据来确定车道标记4的存在和相对位置，或者用于合理性检查和/或在总归可光学识别的车道标记4的情况下提高鲁棒性，或者用于确定车道标记4的存在和位置，即使车道标记在光学上无法识别，例如由于层7。
38.为此访问存储在机动车辆1内或机动车辆外部的测绘数据库，该测绘数据库包含彼此相关联的地有结构数据和车道标记数据连同各自配属的位置信息，在此是测地位置。换句话说，测绘数据库主要包括覆盖面广的地表地图作为整体地图。如果现在基于借助机动车辆1的位置传感器11确定的机动车辆1的位置信息，从测绘数据库中选择相关的局部区域(这可基于该地的位置信息实现)，则当前测量的地表结构、即尤其是作为地图局部的所述本地地表地图可与该区域的地表结构、即较大的地表地图进行比较，使得机动车辆1可在较大的地表地图内进行定位，并且得到正确的车道标记数据作为与一致的地表结构相关联的车道标记数据。在此，显然还可考虑侧向偏移。
39.在此，测绘数据库可通过机动车辆1、更确切地说通过在摄像机5和透地雷达传感器8方面结构相同的机动车辆在先前驶过车道3时确定，其中，在该时间点可光学地探测车道标记4。尤其可使用机动车辆的车队来产生测绘数据库，其然后可在外部的后端装置上进行编译，其中，至少包括该区域的地域的测绘数据可作为本地数据库传输到机动车辆1中。基于对地表结构的抽象化以及对机动车辆的当前位置的周围区域的限制而得到较少的数据量。
40.图2以简单的示意图解释了本发明所基于的思想。提供测绘数据库12，使得在步骤13中与当前地表数据14、尤其是本地地表地图的比较可从测绘数据库12中找到一致的地表结构。然后由此得出正确的、相关联的当前车道标记数据15。
41.众所周知，可进一步评估车道标记数据15，例如以便可确定车道宽度、行车道宽度、车道数量和/或至少一个车道分配。相应的信息例如可通过相应的车辆系统来评估，尤其是驾驶辅助系统和/或构造成至少部分地自动引导机动车辆1的车辆系统。
42.在这方面，图3示出了根据本发明的机动车辆1的功能原理图。除了摄像机5、透地
雷达传感器8和位置传感器11之外，机动车辆1还具有构造为控制器16的控制装置17，该控制装置被构造成用于执行根据本发明的方法，即尤其是用于将当前确定的地表数据14与在测绘数据库12中的地表结构进行比较，以便尤其是在不能通过摄像机5光学地探测到车道标记4时确定相应的车道标记数据15。然后可将车道标记数据提供给其他的车辆系统18，尤其至少一个驾驶辅助系统19和/或至少一个构造成全自动地引导机动车辆1的车辆系统20。