光学车道识别的制作方法

1.本发明涉及根据输入图像识别线状对象，所述线状对象可以界定车辆的车道。


背景技术：

2.在道路交通中驾驶车辆时的基本任务之一是将车辆移动到所划线的车道中。对此的前提是车辆能够现场识别该所划线的车道。在此情况下，必要时也必须识别由于施工现场而引起的短期临时变化，所述短期临时变化被保持在另一颜色（例如黄色）并且使其他颜色（例如白色）的已经存在的划线失效。
3.从de 103 45 802 a1中已知一种用于进行车道识别的方法，该方法尤其从对自身车辆的周围环境中的其他交通参与者的识别中推导出存在的车道的数量以及由自身车辆当前行驶在的车道。


技术实现要素：

4.在本发明的范围中，开发了一种用于在输入图像中识别至少一个线状对象的方法。所述线状对象尤其是例如可以包括
•
在行车道上以彩色方式和/或作为钉行划线的机动车道界线（fahrstreifenbegrenzung）、行车道界线（fahrbahnbegrenzung）或车道线（leitlinie）；和/或
•
行车道的结构界线；和/或
•
停车指示牌或交通信号灯前的停车线。因此，要识别的线状对象不仅仅限于在行车道上沿着车辆的行驶方向伸展的对象。
5.在该方法的范围中，将输入图像和/或所述输入图像的片段输送给图像分类器。所述图像分类器将所述输入图像或片段的预先给定的区域、如例如以规则的网格布置的单元格至少分类成o一方面相关的区域，所述相关的区域的中心位于至少一个至少部分地穿过该区域伸展的线状对象的中心的较近周围环境中，和o另一方面背景区域，在所述背景区域中情况并非如此。
6.在此情况下，线状对象的中心指的是该对象在输入图像中的整个走向的中心，而不仅仅指的是该走向的穿越恰好所考虑的区域的分量的中心。
7.由回归器对于所述相关的区域获得坐标，所述坐标说明所述线状对象在相应的相关的区域中的至少一个局部走向。从这些坐标中评估所述线状对象在整个输入图像中的走向。
8.已经认识到，与回归器单独相比，由图像分类器和回归器组成的总体可以更好地鉴于线状对象的识别被训练。
9.在无附加的图像分类器的情况下，必须由回归器也对于不包含线状对象的分量的图像区域以额定坐标的形式进行某种预设，回归器应该输出所述预设。为此在任何情况下
均将会可以激发一组零坐标。因此，输入图像的大的分量必须应该被映射成零坐标作为额定坐标，并且仅输入图像的小分量必须应该被映射成线状对象伸展所穿过的实际坐标。这有点自相矛盾，这使回归器的训练变得困难。尤其是，有利于回归器将假象引入所确定的坐标中，以便“以某种方式”使这对于训练数据的两种矛盾的模式是“合意的”。
10.在该方法的范围中上游的图像分类器现在引起：只有当输入图像的区域已经证明是相关的时才根本必须咨询回归器。这些同时是以下区域，在所述区域中可以毫无问题地训练回归器以提供有意义的坐标值。相反，这意味着回归器仅仍必须被训练用于为这些图像区域输出有意义的坐标。
11.这些坐标尤其是可以例如相对于分别所考虑的区域的参考点、例如对应的单元格的角点或中心被说明。坐标于是与该单元格在整个输入图像中的位置无关。因此，回归器可以检查该区域（例如单元格）本身，而不必例如知道该区域在输入图像中位于何处。
12.就此而论，特别有利的是，在确定相关的区域时恰好根据线状对象的中心安排。从该起点出发，可以根据由回归器获取的坐标以良好的精度重构线状对象在两个方向上的走向。
13.由回归器获取的坐标可以尤其是例如包括线状对象伸展所穿过的点的位置坐标。只要例如在对学习输入图像手动地加标记时比较快速且以低的误差有可能沿着线状对象的走向规定一些点，则这使训练变得容易。然而，也可以使用其他坐标，诸如由点和角度组成的组合。
14.尤其是可以例如根据单个相关的区域评估线状对象在整个输入图像中的走向，所述单个相关的区域已经获得最高分类分数作为相关的区域。这个最高分类分数与以下相关：即该区域的中心最接近线状对象在整个输入图像中的中心。以这种方式，可以避免对同一线状对象的双重识别（“非最大抑制（non-maximum suppression）”）。但是，为多个相关的区域确定的坐标也可以被聚合成线状对象在整个输入图像中的走向。在特定的应用中，从而可以以可能存在双重识别为代价来减少识别的定量误差。
15.在另一特别有利的设计方案中，所述分类器此外将所述输入图像或片段的预先给定的区域分类成不同类型的相关的区域，所述不同类型的相关的区域对应于不同类型的线状对象。例如，界定机动车道所利用的不同线型表明不同的规定和禁止。可以驶过虚线机动车道界线以变换机动车道或超车，但是不允许驶过实线或双实线车道界线。加粗车道线又允许右侧比左侧更快地行驶。在例如通过黄色标出的施工现场中的划线又比所有其他划线具有最高优先级。
16.在一种特别有利的设计方案中，选择共同的神经网络作为分类器和回归器。这样的网络可以例如包含由分类器和回归器共同使用的部分，所述部分产生不仅由分类器而且由回归器可使用的前驱体。从而，例如由卷积层组成的装置产生一个或多个可普遍用于评估的特征图，在所述卷积层中分别使用一个或多个过滤器核。然后可以将这些特征图输送给不同的网络部分（“head”=称为头部），所述网络部分实现分类器或回归器的特定功能性。
17.通过共同使用网络的一部分，网络总共包括与由分类器和回归器组成的级联电路相比更少的参数。就此而言，网络可以更快速和更简单地被训练。因为仅必须正向经历一个网络，所以利用网络对线性对象的识别也更快速。
18.在另一有利的设计方案中，检验在输入图像中是否识别到两个线状对象，所述线
状对象以一距离彼此平行地伸展，所述距离以车道的宽度是合理的。如果这是这种情况，则将这两个线状对象评价为车道的界线。其中存在以下考虑，不准确性或系统误差以高的概率至少在一定程度上不同地对两个对象产生影响，使得丧失平行性和/或改变两个对象之间的距离。
19.如开头所阐明的，存在用于在至少部分自动化驾驶的车辆的方向控制中识别线状对象的重要的应用目的。因此，在另一特别有利的设计方案中，从所述输入图像中的至少一个线状对象的所评估的走向中确定操控信号。利用所述操控信号操控车辆。在该上下文中，在识别线状对象时的改善的精度具有以下效果，即即使在复杂的交通状况下，例如在大型十字路口或在具有大量行车道划线的施工现场中，车辆也以高的概率保持正确的车道，而不例如突然变换车道。
20.本发明还提供一种用于训练神经网络用于在前述方法中使用的方法。
21.在该方法的范围中，提供具有线状对象的学习输入图像。所述学习输入图像用点加标记，相应的线状对象穿过所述点伸展。如先前阐明的，这种类型的标记例如在手动加标记时可以特别快速和简单地被输入。在学习输入图像中显示的线状对象上点击一系列点比例如调节线使得所述线精确地遵循线状对象的走向更容易和更快速。尤其是，在设置点时的误差和不可靠性至少部分地在线状对象的整个长度上得到平衡。不可靠性的源例如在于许多线状对象具有有限的宽度。
22.从每个线状对象伸展所穿过的点中评估所述学习输入图像中的线状对象的中心。
23.•
响应于所述学习输入图像的预先给定的区域的中心距所述线状对象的中心的距离不超过预先给定的阈值，将额定分类作为相关的区域分配给所述学习输入图像的预先给定的区域，和
•
否则将额定分类作为背景分配给所述学习输入图像的预先给定的区域。
24.以点的形式提供的标记因此被转换成可由神经网络处理的分类标记。
25.对于所述相关的区域，沿着所述线状对象的走向对所述线状对象伸展所穿过的点相对于所述相关的区域的参考点的额定坐标进行采样。这些是回归器理想地应该将相关的区域映射到的那些坐标。
26.由所述神经网络将学习输入图像映射成分类分数和点的坐标。这尤其是意味着为学习输入图像的根据其分类分数被神经网络认为是相关的那些区域（例如以网格布置的单元格）还确定点的坐标。不需要为神经网络已分类为背景的区域确定坐标，或者可以丢弃仍然由神经网络提供的坐标。
27.利用预先给定的成本函数测量所述分类分数与所述额定分类和点的坐标与所述额定坐标在何种程度上一致。因此，成本函数尤其是例如可以包括第一分量和第二分量，所述第一分量测量分类分数与额定分类的一致性，所述第二分量测量通过回归确定的坐标与额定坐标的一致性。这两个份额可以以任意方式相对于彼此加权。
28.对表征所述神经网络的行为的参数进行优化，具有以下目的，即在利用所述神经网络进一步处理学习输入图像时可能通过成本函数改善评定。
29.在一种特别有利的设计方案中，成本函数仅根据所述分类分数与所述额定分类的比较将具有额定分类的区域评定为背景。从而考虑一下事实，即仅能从线状对象处的区域开始切合实际地确定该线状对象伸展所穿过的坐标。不需要的坐标于是首先甚至不需要从
神经网络中被调用。
30.在另一有利的设计方案中，对所述线状对象伸展所穿过的并且其坐标应该被用作额定坐标的点等距地进行采样。从而增强这些点尽可能沿着线状对象的整个长度延伸的趋势。当利用完成训练的神经网络评估线状对象的准确位置时，这减少最终的定量误差。
31.这些方法尤其是可以完全或部分地是计算机实现的。因此，本发明还涉及具有机器可读指令的计算机程序，当由一个或多个计算机执行所述机器可读指令时，所述机器可读指令促使所述一个或多个计算机执行所描述的方法之一。在该意义上，用于车辆的控制设备和用于技术设备的嵌入式系统也可以被视为计算机，所述技术设备同样能够执行机器可读指令。
32.本发明同样还涉及具有计算机程序的机器可读数据载体和/或下载产品。下载产品是可通过数据网络传输、即由数据网络的用户可下载的数字产品，所述数字产品例如可以在网上商店出售用于立即下载。
33.此外，计算机可以装备有计算机程序、机器可读数据载体或下载产品。
34.下面与根据附图对本发明的优选实施例的描述共同地更详细地表示改善本发明的其他措施。
附图说明
35.图1示出用于识别线状对象2、3的方法100的实施例；图2示出输入图像1中的两个线状对象2、3的示例性识别；图3示出其他所确定的示例性点2a，所述点属于线状对象2；图4示出用于训练神经网络6的方法200的实施例。
具体实施方式
36.图1是用于识别输入图像1中的至少一个线状对象2、3的方法100的实施例的示意性流程图。
37.在步骤110中，输入图像1被输送给图像分类器4。图像分类器4给输入图像1的预先给定的区域1a（例如以网格布置的单元格）如下配备分类分数4a，即相应的区域1a是与线状对象2、3的识别相关的区域1a 还是背景区域1a-。相关的区域1a 是以下区域1a，即所述区域1a的中心位于至少一个至少部分地穿过该区域1a伸展的线状对象2、3的中心2c、3c的较近周围环境中。
38.根据框111，分类分数4a附加地还可以说明不同类型的线状对象2、3。
39.在步骤120中，由回归器5为相关的区域1a 获得坐标2a、3a，所述坐标说明线状对象2、3在相应的相关的区域1a 中的至少一个局部走向。
40.在步骤130中，从这些坐标2a、3a中评估线状对象2、3在整个输入图像1中的走向2b、3b。为此，例如根据框131，可以聚合为多个相关的区域1a 确定的坐标2a、3a。但是也可以根据框132仅使用具有最高分类分数4a的那个区域1a 作为相关的区域，以便从针对该区域1a 获得的坐标2a、3a中评估走向2b、3b。例如，为此目的可以通过坐标2a、3a确定补偿直线。
41.在步骤140中，检验在输入图像1中是否已识别出两个线状对象2、3，所述线状对象
以一距离彼此平行地伸展，所述距离以车道的宽度是合理的。如果这是这种情况（真值1），则在步骤150中将这两个线状对象2、3评价为车道的界线。
42.在步骤160中，从输入图像1中的至少一个线状对象2、3的所评估的走向2b、3b中确定操控信号160a。例如，这可以在轮辙保持辅助系统或其他驾驶员辅助系统或用于至少部分自动化驾驶的系统中发生。
43.在步骤170中，利用该操控信号160a来操控车辆50。
44.图2示出具有作为线状对象2的双实线行车道界限和作为线状对象3的虚线行车道界线3的交通状况的划分成单元格1a的示例性输入图像1。这些线状对象2、3的中心2c、3c分别是最近的特别相关的单元格1a 的中心。其余单元格1a被分类为背景1a-。可选地，也可以存在中间等级。例如，相关的单元格1a 的相邻单元格分别可以被分类为有限地相关的并且以较低的权重有助于确定坐标2a、3a。
45.在图2中所示的示例中，机动车道界线2和虚线行车道界线3以一距离彼此平行地伸展，所述距离以车道的宽度是合理的。因此，可以将这两个对象2、3共同评价为车道的界线。
46.图3示例性地示出坐标2a，回归器5已经为作为线状对象2的双实线行车道界线确定了所述坐标2a。从该对象2的中心2c开始，可以在整个输入图像1中利用这些坐标2a更新所述对象的走向2b。
47.图4是用于训练用于在前述方法100中使用的神经网络6的方法200的实施例的示意流程图。
48.在步骤210中，提供具有线状对象2、3的学习输入图像1*。这些学习输入图像1*用点2d、3d加标记，相应的线状对象2、3穿过这些点伸展。
49.在步骤220中，从每个线状对象2、3伸展穿过的点2d、3d中评估学习输入图像1*中的相应的线状对象2、3的中心2c、3c。
50.在步骤230中，对于学习输入图像1*的预先给定的区域1a*、例如以网格布置的单元格分别检验：相应的区域1a*的中心距线状对象2、3的中心2c、3c的距离是否超过预先给定的阈值。如果这是这种情况（真值1），则有关的区域1a*在步骤250中获得额定分类4a*作为背景1a-。否则（真值0），有关的区域1a*在步骤240中获得额定分类4a*作为相关的区域1a 。
51.在步骤260中，对于相关的区域1a ，沿着线状对象2、3的走向对线状对象2、3伸展穿过的点相对于相关的区域1a 的参考点的额定坐标2a*、3a*进行采样。这可以根据框261尤其是等距地进行。
52.在步骤270中，由神经网络6将学习输入图像1*映射成分类分数4a和点的坐标2a、3a。
53.在步骤280中，利用预先给定的成本函数7测量分类分数4a与额定分类4a*和点的坐标2a、3a与额定坐标2a*、3a*在何种程度上一致。在此情况下，尤其是例如根据框281，成本函数7可以仅根据分类分数4a与该额定分类4a*的比较来评定具有作为背景1a-的额定分类4a*的区域1a*。
54.在步骤290中，表征神经网络6的行为的参数6a被优化，具有以下目的，即在利用神经网络6进一步处理学习输入图像1*时可能通过成本函数7改善评定7a。参数6a的完成训练
的状态用附图标记6a*表示。