通过融合航空图像和遥测数据检测道路边缘的系统和方法与流程

1.本公开涉及通过道路数据检测和收集的自动驾驶车辆(av)导航。


背景技术：

2.自动驾驶车辆(av)的运行需要数据库地图中道路边缘的准确地理位置，以便自动驾驶车辆进行定位和导航。许多道路缺乏使用已知传感器融合技术的亚米级精度的精确测量数据。
3.居住区道路在北美所有道路中占重要部分，约为30％。居住区道路最小，且通常在路面上没有任何标记，因此自动驾驶车辆可能无法在居住区道路上准确导航。识别道路边缘和导航标记的已知方法可以利用地理定位数据或成本高昂的激光制导系统，或者可以利用车载相机系统来帮助识别道路边缘。因此，拥有激光制导设备或车载相机系统的车辆数量仍然是实现大范围自动驾驶车辆运行的一个限制条件。
4.其他已知系统基于穿越道路路段的一定数量车辆的遥测数据的集合来估计道路中心线。使用在道路路段上沿相反方向行驶的车辆的集合数据来估计近似道路中心线，其可与道路卫星数据一起用于模拟道路行驶车道。
5.因此，虽然当前道路边缘和导航标记的自动驾驶车辆识别达到了预期目的，但是仍需要一种新型和改进的用于在自动驾驶车辆中检测道路边缘的系统和方法。


技术实现要素：

6.根据若干方面，一种检测道路边缘的系统，包括根据道路的航空图像计算的道路边缘的第一似然性(likelihood)。使用车辆遥测和沿道路的遥测点所拟合的概率分布来确定道路边缘的第二似然性。道路边缘的第一似然性和道路边缘的第二似然性的融合，以识别道路边缘的最终似然性。
7.在本公开的另一方面，随时间从道路上行驶的多个车辆收集代表遥测点的多个数据点。
8.在本公开的另一方面，将多个数据点分组为多个组，包括代表车辆在第一行驶方向上行驶的第一组。
9.在本公开的另一方面，多个组包括代表车辆在与第一行驶方向相反的第二行驶方向上行驶的第二组。
10.在本公开的另一方面，道路包括中心线，道路边缘的第一似然性通过垂直于中心线移动中心线并且用图像梯度重叠(overlapping)航空图像来计算；并且道路边缘的第一似然性进一步使用以下方式中的至少一种来确定：相对于第一组数据点的中心线确定的第一行驶方向上的数据点的第95百分位；基于道路的类型；以及报告的车道数量。
11.在本公开的另一方面，道路边缘的第二似然性进一步使用以下方式中的至少一种来确定：相对于第二组数据点的中心线确定的第二行驶方向上的第95百分位的数据点；基于道路的类型；以及报告的车道数量。
12.在本公开的另一方面，使用道路的航空图像数据生成航空图像数据地图。
13.在本公开的另一方面，包括至少一个对象的多个数据点用于限定道路边缘。
14.在本公开的另一方面，曲线图使用识别道路边缘的地理位置来呈现第一似然性。
15.在本公开的另一方面，该曲线图呈现以下至少一个：至少一个对象的地理位置的似然性的第95百分位概率、道路的类型；以及报告的车道数量。
16.根据若干方面，一种检测道路边缘的方法，包括：通过垂直于道路中心线移动道路中心线并用图像梯度重叠中心线，根据道路的航空图像计算道路边缘的第一似然性；使用拟合沿道路的遥测点的概率分布的车辆遥测来确定道路边缘的第二似然性；以及将道路边缘的第一似然性和道路边缘的第二似然性融合，以识别道路边缘的最终似然性。
17.在本公开的另一方面，该方法还包括识别多个数据点，这些数据点代表从道路上行驶的多个车辆随时间收集的遥测点。
18.在本公开的另一方面，该方法还包括将数据点分组为多个组，包括表示车辆在第一行驶方向上行驶的第一组，以及表示车辆在与第一行驶方向相反的第二行驶方向上行驶的第二组。
19.在本公开的另一方面，该方法还包括通过计算相对于第一组数据点的道路中心线的第一数据方向上数据点的第95百分位来确定道路边缘的第二似然性。
20.在本公开的另一方面，该方法还包括通过计算相对于第二组数据点的道路中心线的第二数据方向上的数据点的第95百分位来确定道路边缘的第二似然性。
21.在本公开的另一方面，该方法还包括：使用道路区域的航空图像数据生成航空图像数据地图；以及从航空图像数据地图中去除无关数据。
22.在本公开的另一方面，该方法还包括：识别包括限定道路边缘的至少一个对象的数据点；以及通过呈现至少一个对象的地理位置的似然性的第95百分位概率，使用识别道路边缘的地理位置来生成呈现第一似然性的曲线图。
23.根据若干方面，一种检测道路边缘的方法包括：识别道路的中心线；通过垂直于道路中心线移动道路中心线，根据道路的航空图像计算道路边缘的第一似然性；使用车辆遥测来确定道路边缘的第二似然性，该车辆遥测拟合车辆遥测的遥测点的概率分布，该遥测点具有表示车辆沿第一行驶方向行驶的第一组和表示车辆沿与第一行驶方向相反的第二行驶方向行驶的第二组；以及将道路边缘的第一似然性的第95百分位和道路边缘的第二似然性的第95百分位融合，以识别道路边缘的最终似然性。
24.在本公开的另一方面，该方法包括以距离中心线的预定增量移动中心线。
25.在本公开的另一方面，该方法包括在计算道路边缘的第一似然性期间用图像梯度重叠中心线。
26.从本文提供的描述中，在其他领域的进一步应用将变得显而易见。应当理解，本文的描述和具体实例仅用于说明的目的，并且不旨在限制本公开的范围。
附图说明
27.本文的附图仅用于说明的目的，并不旨在以任何方式限制本公开的范围。
28.图1是使用根据示例性方面的用于检测道路边缘的系统和方法的示例性道路部分的俯视图；
29.图2是去除了无关数据的图1的航空图像的俯视图；
30.图3是呈现使用地理位置识别道路边缘的第一似然性的曲线图；
31.图4是呈现分别代表车辆遥测数据的多个数据点的曲线图；
32.图5是示出了制备图2的航空图像的步骤的流程图；
33.图6是类似于图2的航空图像，呈现道路中心线位移；
34.图7是呈现在图6所示的第一数据方向上的图像数据的曲线图；
35.图8是呈现在图6所示的第二数据方向上的图像数据的曲线图；
36.图9是从图4修改而来的曲线图，呈现了分别代表车辆遥测数据的多个数据点；以及
37.图10是示出将图2的航空图像的数据与图9的曲线图的数据融合的步骤的流程图。
具体实施方式
38.以下描述本质上仅仅是示例性的，并不旨在限制本公开、应用或使用。
39.参考图1，用于检测道路边缘10的系统和方法识别道路16的第一道路边缘12的位置的概率和第二道路边缘14的概率。根据若干方面，道路16可以穿过在道路16的至少一侧上具有人行道18的区域、连接到道路16中的一个或多个车道20、以及沿着道路16具有例如草或树的一个或多个厂房区域或生活区域22。
40.参考图2并再次参考图1，在第一方法步骤中，使用道路16的区域的航空图像数据生成航空图像24的数据地图。在去除无关数据之后，生成数据点，这些数据点包括例如代表第一道路边缘12的第一似然性的第一对象26、代表第二道路边缘14的第二对象28以及代表人行道18的边缘的第三对象30。
41.参考图3并再次参考图2，在第一次计算之后，生成曲线图32，该曲线图32使用识别可能道路边缘的地理位置来表示第一似然性，并表示参考图2定义的各种对象的地理位置的似然性的第95百分位概率。道路边缘的第一似然性是根据道路的航空图像来计算的，道路的中心线垂直于中心线移动(详见图6)，并且用图像梯度重叠。
42.在曲线图32中，第一峰值34呈现代表道路16的真实边缘的第二对象30的第95百分位概率。第二峰值36呈现代表道路16的真实边缘的第三对象30的第95百分位概率。注意，在该实例中，限定人行道18的边缘的第二峰值36为道路16的真实边缘的概率更大。
43.参考图4并再次参考图2和图3，为了增强参考图2和图3生成的数据并增加识别道路16的真实边缘的概率，使用车辆遥测数据执行第二计算以识别道路边缘的第二似然性。第二计算生成曲线图38，该曲线图38呈现多个数据点，这些数据点分别表示被识别为数据点40的车辆遥测数据，数据点40是随时间从道路16上行驶的多个车辆收集的。遥测数据点40表示在离散的相继时间段的点，这些点识别车辆“姿态”，每个点对应于车辆航向、车辆纬度、车辆经度和车辆速度。数据点40被分为若干组，包括代表车辆在第一行驶方向44上行驶的第一组42，以及代表车辆在与第一行驶方向44相反的第二行驶方向48上行驶的第二组46。这些组还可以包括显示在人行道18外侧的第三组50和代表道路16外侧的车辆位置的第四组52，例如车道20之一中的车辆位置。
44.参照图5并再次参照图1至图4，使用诸如第一组42和第二组46的组数据，在沿第一行驶方向44和相反的第二行驶方向48行驶的车辆之间的中点处估计道路中心线54。道路中
心线54例如在步骤56中用于识别沿着道路方向的相对边缘，这有助于消除相对边缘之外的数据点，从而允许减少航空图像数据地图24中的数据点。
45.参照图6并再次参照图1至图5，根据若干方面，道路中心线54可用于按如下方式识别相对的道路边缘。分别分析垂直于道路中心线54的第一数据方向58上的数据和垂直于道路中心线54并与第一数据方向58相反的第二数据方向60上的数据。
46.参照图7并再次参照图6，曲线图62将图6所示的第一数据方向58上呈现的示例性图像数据识别为距离道路中心线54以0.2m增量的距离64的函数。具有最高幅值的第一数据峰值66表示对应于第一道路边缘12的道路边缘的第95百分位似然性。幅值低于第一数据峰值66的第二数据峰值68表示人行道的外边缘，幅值类似于第二数据峰值68的第三数据峰值70表示人行道的内边缘。
47.参照图8并再次参照图6和图7，曲线图72将图6所示的第二数据方向60上呈现的示例性图像数据识别为距道路中心线54以0.2m增量的距离74的函数。第三数据峰值76表示对应于第二道路边缘14的道路边缘的第95百分位似然性。幅值大于第三数据峰值76的第四数据峰值78表示人行道18的外边缘，幅值低于第四数据峰值78的第五数据峰值80表示人行道18的内边缘。
48.参照图9并再次参照图4至图6，基于相对于代表车辆在第一行驶方向44上行驶的第一组42数据点40和第三组50数据点40的道路中心线54在第一数据方向58上计算的第95百分位82来部分地确定限定第一道路边缘12的道路边缘的似然性。类似地，基于相对于表示第二行驶方向48上的车辆行驶的第二组46数据点40和第四组52数据点40的道路中心线54在第二数据方向60上计算的第95百分位峰值84来部分地确定限定第二道路边缘14的道路边缘的似然性。根据若干方面，道路边缘的第一似然性可以进一步使用以下方式中的至少一种来确定：相对于第一组数据点的中心线确定的第一行驶方向上的数据点的第95百分位；基于道路的类型；以及基于报告的车道数量。根据若干方面，道路边缘的第二似然性可以进一步使用以下方式中的至少一种来确定：相对于第二组数据点的中心线确定的第二行驶方向上的数据点的第95百分位；基于道路的类型；以及基于报告的车道数量。
49.参考图10并再次参考图1至图9，为了确定道路边缘12和14的位置的最终似然性，在最后的方法步骤中，将参考图1至图3和图5至图8确定和识别的图像数据和参考图4和图9确定和识别的遥测数据进行融合。例如，表示第三数据峰值76处的边缘的曲线图72表示人行道边缘30处的道路边缘的第95百分位似然性，以及相对于第二组46数据点40的道路中心线54在第二数据方向60上计算的第95百分位峰值84表示道路边缘86的似然性；在融合步骤88中，使用第三数据峰值76的数据和计算的第95百分位峰值84的组合峰值融合来确定第二道路边缘14的位置的第95百分位似然性。
50.本公开的用于检测道路边缘的系统和方法具有几个优点。本公开包括基于航空图像分析计算道路边缘地理位置的似然性的方法。本公开还包括基于车辆遥测分析计算道路边缘地理位置的似然性的方法。本公开还包括一种融合航空图像分析数据和车辆遥测数据的方法。本公开的系统和方法最大程度地降低了训练用于检测例如居住区道路的道路边缘的神经网络而进行人工标记的需要。
51.本公开的描述本质上仅仅是示例性的，并且不脱离本公开精髓的变化均落入本公开的范围。这种变化不应视为脱离本公开的精神和范围。