用于更新导航地图的系统和方法与流程

1.所描述的技术总体涉及用于自主驾驶的系统和方法，更具体地，涉及使用传感器数据更新导航地图的系统和方法。


背景技术：

2.在自主驾驶系统中，对周围驾驶环境和交通参与者的准确感知和预测对于自主车辆或主车辆的控制做出正确且安全的决策至关重要。自主车辆的驾驶可以依靠详细的地图来提供足够准确的路线信息，这些信息可用于选择导航路线。随着驾驶环境的改变，导航地图可能会过时。依靠不准确的导航地图进行自主驾驶可能是危险的。因此，期望基于在驾驶时从传感器接收的数据来更新导航地图，以减少导航地图中的不准确性。


技术实现要素：

3.一个发明方面是一种用于自主车辆的控制系统，包括：处理器；以及计算机可读存储器，其与所述处理器通信，并且存储在其上有计算机可执行指令，使所述处理器：从位于所述自主车辆上的至少一个传感器接收指示所述自主车辆的驾驶环境的输出，检索用于驾驶所述自主车辆的导航地图，检测所述至少一个传感器的输出与所述导航地图之间的一个或多个不一致性，响应于检测到所述一个或多个不一致性，基于所述至少一个传感器的输出触发所述驾驶环境的绘制，基于绘制的驾驶环境更新所述导航地图，以及使用经更新的导航地图驾驶所述自主车辆。
4.所述一个或多个不一致性的检测可以是使用异常检测模块来执行的，并且所述驾驶环境的绘制是使用实时绘制模块来执行的，并且所述实时绘制模块可以比所述异常检测模块更为计算密集。
5.所述触发所述驾驶环境的绘制还可以响应于确定检测到的不一致性的数目大于不一致性的阈值的数目。
6.所述存储器上还存储有计算机可执行指令，使所述处理器：响应于检测到的不一致性的数目小于所述不一致性的阈值的数目，避免触发所述驾驶环境的绘制，以及使用检索到的导航地图驾驶所述自主车辆。
7.所述存储器上还可以存储有计算机可执行指令，使所述处理器：检测所述至少一个传感器的输出中的一个或多个校准不一致性。
8.所述存储器上还可以存储有计算机可执行指令，以使所述处理器：确定所述至少一个传感器的输出与所述导航地图之间的所述一个或多个不一致性是由于检测到的一个或多个校准不一致性所导致的，以及响应于确定所述至少一个传感器的输出与所述导航地图之间的一个或多个不一致性是由于检测到的一个或多个校准不一致性所导致的，避免触发所述驾驶环境的绘制。
9.所述存储器上还可以存储有计算机可执行指令，以使所述处理器：确定所述驾驶环境的绘制是否已经生成了足够的新地图数据以用于所述导航地图的更新。
10.所述确定所述驾驶环境的绘制是否已经生成了足够的新地图数据可以包括：确定包括所述新地图数据和所述导航地图之间的一致性测量的第一参数，以及确定指示所述新地图数据是否为所述自主车辆提供了足够的可驾驶空间的第二参数。
11.所述确定所述驾驶环境的绘制是否已经生成了足够的新地图数据可以包括：将所述第一参数与第一参数阈值进行比较，将所述第二参数与第二参数阈值进行比较，以及响应于所述第一参数大于所述第一参数阈值以及所述第二参数大于所述第二参数阈值，确定所述驾驶环境的绘制已经生成了足够的新地图数据。
12.所述确定所述驾驶环境的绘制是否已经生成了足够的新地图数据可以包括：响应于以下至少之一，确定所述驾驶环境的绘制没有生成足够的新地图数据：所述第一参数小于所述第一参数阈值和所述第二参数小于所述第二参数阈值，以及响应于所述确定所述驾驶环境的绘制没有生成足够的新地图数据，基于所述至少一个传感器的输出继续所述驾驶环境的绘制。
13.另一方面是一种存储在其上有指令的非瞬态计算机可读存储介质，所述指令当被执行时使至少一个计算设备：从位于所述自主车辆上的至少一个传感器接收指示所述自主车辆的驾驶环境的输出；检索用于驾驶所述自主车辆的导航地图；检测所述至少一个传感器的输出与所述导航地图之间的一个或多个不一致性；响应于检测到所述一个或多个不一致性，基于所述至少一个传感器的输出触发所述驾驶环境的绘制；基于所绘制的驾驶环境更新所述导航地图；以及使用更新后的导航地图驾驶所述自主车辆。
14.所述导航地图的更新可以包括：从所述导航地图中删除对应于所述一个或多个不一致性的一个或多个对象。
15.所述非瞬态计算机可读存储介质还可以在存储在其上有指令，所述指令当被执行时使至少一个计算设备：通过空中向其他自主车辆提供经更新的地图。
16.所述驾驶环境的绘制可以包括：基于来自所述至少一个传感器的输出标识车道，检测到所述车道内的地面绘画，以及基于所述地面绘画标识所述车道的车道类型。
17.所述非瞬态计算机可读存储介质还可以在存储在其上有指令，所述指令当被执行时使至少一个计算设备：标识指示所述自主车辆前方施工的标志，以及响应于标识指示施工的所述标志，减少触发所述驾驶环境的绘制所需的不一致性的阈值的数目。
18.可以在预先确定的时间长度内减少触发所述驾驶环境的绘制所需的不一致性的所述阈值的数目。
19.再一方面是一种方法，包括：从位于所述自主车辆上的至少一个传感器接收指示所述自主车辆的驾驶环境的输出；检索用于驾驶所述自主车辆的导航地图；检测所述至少一个传感器的输出与所述导航地图之间的一个或多个不一致性；响应于检测到所述一个或多个不一致性，基于所述至少一个传感器的输出触发所述驾驶环境的绘制；基于所绘制的驾驶环境更新所述导航地图；以及使用更新后的导航地图驾驶所述自主车辆。
20.该方法还可以包括：基于所述至少一个传感器的输出检测交通灯，以及基于检测到的交通灯确定停止线的位置。
21.所述至少一个传感器可以包括以下一项或多项：相机、激光雷达lidar、全球定位系统gps和惯性测量单元(imu)、雷达radar以及速度计。
22.所述驾驶环境的绘制可以包括以下一项或多项：绘制道路的一个或多个车道，绘
制一个或多个交通标志，绘制一个或多个交通灯，以及绘制一个或多个地面绘画。
附图说明
23.提交的专利或申请包含至少一个彩色附图。本专利或专利申请出版物的复印件及彩色附图将由专利商标局根据请求并支付必要的费用而被提供。
24.图1是示出根据本公开的各方面的包括车载控制系统和图像处理模块的示例生态系统的框图。
25.图2示出了根据本公开的各方面的示例地图更新子系统，其可以用于基于传感器数据实时更新导航地图。
26.图3示出了根据本公开的各方面的示例方法或过程，其可以用于检测导航地图和驾驶环境之间的不一致性并更新导航地图。
27.图4是根据本公开的各方面的包括地面绘画的道路的示例图像。
28.图5是根据本公开的各方面的具有临时标志的驾驶环境的示例图像。
29.图6是根据本公开的各方面的具有标志的另一驾驶环境的示例图像。
30.图7是包括覆盖在图像上的一个或多个传感器的输出的又一驾驶环境的示例图像。
31.图8是根据本公开的各方面的又一驾驶环境的示例图像，包括校准不一致性检测器可以检测到的校准不一致性的示例。
32.图9示出了根据本公开的各方面的用于更新导航地图的示例方法。
33.某些创造性的实施例的具体实施方式
34.车载控制系统简介
35.在下面的描述中，出于解释的目的，为了提供对各种实施例的透彻理解，提出了许多具体细节。然而，对于本领域的普通技术人员而言明显的是，可以在没有这些具体细节的情况下实施各种实施例。
36.本文公开的示例实施例可以在车辆生态系统101中的车载控制系统150的上下文中使用。在一个示例实施例中，具有驻留在车辆105中的图像处理模块200的车载控制系统150可以类似于图1所示的架构和生态系统101来配置。然而，对于本领域普通技术人员而明显见的是，本文描述的图像处理模块200也可以在各种其他应用和系统中实现、配置和使用。
37.继续参考图1，框图示出了其中可以实现示例实施例的车载控制系统150和图像处理模块200的示例生态系统101。下面将更详细地描述这些组件。生态系统101包括各种系统和组件，它们可以生成和/或向车载控制系统150和图像处理模块200递送一个或多个信息/数据源和相关服务，车载控制系统150和图像处理模块200可以安装在车辆105中。例如，安装在车辆105中的相机，作为车辆子系统140的设备中的一个设备，可以生成可由车载控制系统150接收的图像和定时数据。车载控制系统150和在其中执行的图像处理模块200可以接收该图像和定时数据输入。如下文更详细描述的，图像处理模块200可以处理图像输入，并提取可由自主车辆控制子系统(作为车辆子系统140中的另一个子系统)使用的对象特征(也简称为“对象”)。自主车辆控制子系统可以例如使用实时提取的对象特征，来通过真实世界驾驶环境安全且高效地导航和控制车辆105，同时避开障碍物并安全地控制车辆。如本
文所使用的，对象可以指可由车辆传感器感知的任何物理实体，包括例如道路、车道标记(例如，道路上的实线、虚线或其他标记)、路标、建筑物、交通锥体、其他车辆、行人、桥梁等。
38.在本文描述的示例实施例中，车载控制系统150可以与多个车辆子系统140进行数据通信，所有车辆子系统140都可以驻留在用户的车辆105中。提供车辆子系统接口141以便于车载控制系统150和多个车辆子系统140之间的数据通信。车载控制系统150可以包括数据处理器171，该数据处理器171被配置为执行图像处理模块200以用于处理从一个或多个车辆子系统140接收的图像数据。数据处理器171可以与数据存储设备172相结合，作为车载控制系统150中的计算系统170的一部分。数据存储设备172可用于存储数据、处理参数和数据处理指令。可以提供处理模块接口165以便于数据处理器171和图像处理模块200之间的数据通信。在各种示例实施例中，可以提供与图像处理模块200类似配置的多个处理模块以用于数据处理器171执行。如图1中的虚线所示，图像处理模块200可以集成到车载控制系统150中，可选地下载到车载控制系统150，或者与车载控制系统150分开部署。
39.尽管未在图1中示出，但是网络资源122可以包括地图更新子系统300(例如，如图2中所示)，地图更新子系统300可以包括图1中所示的组件中的至少一些。在某些实施例中，地图更新子系统300被配置为基于从一个或多个传感器(诸如，车辆传感器子系统144中包括的传感器)接收的数据来更新自主车辆105使用的导航地图。下面提供了关于子系统300的其他细节。
40.车载控制系统150可以被配置为向/从广域网120和连接到其的网络资源122接收或发送数据。车载式启用web的设备130和/或用户移动设备132可用于经由网络120进行通信。车载控制系统150可以使用启用web的设备接口131以便于车载控制系统150和网络120之间经由车载式启用web的设备130的数据通信。类似地，车载控制系统150可以使用用户移动设备接口133以便于车载控制系统150与网络120之间经由用户移动设备132的数据通信。以此方式，车载控制系统150可以经由网络120获取对网络资源122的实时访问。网络资源122可被用于获取用于数据处理器171执行的处理模块、训练内部神经网络的数据内容、系统参数或其他数据。
41.生态系统101可以包括广域数据网络120。网络120代表一个或多个常规广域数据网络，诸如互联网、蜂窝电话网络、卫星网络、寻呼机网络、无线广播网络、游戏网络、wifi网络、对等网络、ip语音(voip)网络等。这些网络120中的一个或多个网络可被用于将用户或客户端系统与诸如网站、服务器、中央控制站点等的网络资源122连接。网络资源122可以生成和/或分发数据，该数据可以经由车载式启用web的设备130或用户移动设备132在车辆105中接收。网络资源122还可以托管网络云服务，其可以支持用于计算或辅助处理图像输入或图像输入分析的功能。天线可以用于经由蜂窝、卫星、无线电或其他常规信号接收机制将车载控制系统150和图像处理模块200与数据网络120连接。这样的蜂窝数据网络目前是可用的(例如，verizon
tm
、at&t
tm
、t-mobile
tm
等)。这样的基于卫星的数据或内容网络目前也是可用的(例如，siriusxm
tm
、hughesnet
tm
等)。诸如am/fm无线电网络、寻呼机网络、uhf网络、游戏网络、wifi网络、对等网络、ip语音(voip)网络等的广播网络也是可用的。因此，车载控制系统150和图像处理模块200可以经由车载式启用web的设备接口131接收基于web的数据或内容，该设备接口131可以用于与车载式启用web的设备接收机130和网络120连接。以此方式，车载控制系统150和图像处理模块200可以支持来自车辆105内的各种可连接网
络的车载设备和系统。
42.如图1所示，车载控制系统150和图像处理模块200还可以从可以位于车辆105内部或靠近车辆105的用户移动设备132接收数据、图像处理控制参数和训练内容。用户移动设备132可以表示标准移动设备，诸如蜂窝电话、智能电话、个人数字助理(pda)、mp3播放器、平板计算设备(例如，ipad
tm
)、膝上型计算机、cd播放器和其他移动设备，其可以产生、接收和/或递送用于车载控制系统150和图像处理模块200的数据、图像处理控制参数和内容。如图1所示，移动设备132还可以与网络云120进行数据通信。移动设备132可以从移动设备132本身的内部存储器组件或经由网络120从网络资源122获得数据和内容。此外，移动设备132本身可以包括gps数据接收机、加速计、wifi三角测量或移动设备中的其他地理位置传感器或组件，其可用于确定用户在任何时刻的实时地理位置(经由移动设备)。在任何情况下，车载控制系统150和图像处理模块200都可以从移动设备132接收数据，如图1所示。
43.仍然参考图1，生态系统101的示例实施例可以包括车辆操作子系统140。对于在车辆105中实现的实施例，许多标准车辆包括操作子系统，诸如电子控制单元(ecu)、引擎的支持监控/控制子系统、制动、变速器、电气系统、排放系统、内部环境等。例如，从车辆操作子系统140(例如，车辆105的ecu)经由车辆子系统接口141传送到车载控制系统150的数据信号可以包括关于车辆105的一个或多个组件或子系统的状态的信息。具体地，可以从车辆操作子系统140传送到车辆105的控制器区域网络(can)总线的数据信号可以由车载控制系统150经由车辆子系统接口141接收和处理。本文描述的系统和方法的实施例可以与使用本文定义的can总线或类似的数据通信总线的基本上任何机械化系统一起使用，包括但不限于，工业设备、船只、卡车、机械或汽车；因此，本文使用的术语“车辆(vehicle)”可以包括任何这样的机械化系统。本文描述的系统和方法的实施例也可以与采用某种形式的网络数据通信的任何系统一起使用；然而，这样的网络通信不是必需的。
44.仍然参考图1，生态系统101的示例实施例以及其中的车辆运行子系统140可以包括支持车辆105的操作的各种车辆子系统。一般地，车辆105可以采取如下形式，例如：汽车、卡车、摩托车、公共汽车、船只、飞机、直升机、割草机、推土机、雪地摩托、飞机、休闲车辆、游乐园车辆、农业设备、建筑设备、有轨电车、高尔夫球车、火车和手推车。其他车辆也是可能的。车辆105可以被配置为完全或部分地在自主模式下操作。例如，车辆105可以在处于自主模式时进行自我控制，并且可以操作为确定车辆及其环境的当前状态，确定环境中至少一个其他车辆的预测行为，确定可以对应于至少一个其他车辆执行预测行为的可能性的置信度水平，以及基于所确定的信息来控制车辆105。当处于自主模式时，车辆105可以被配置为在没有人类交互的情况下操作。
45.车辆105可以包括各种车辆子系统，诸如车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146和乘员接口子系统148。如上所述，车辆105还可以包括车载控制系统150、计算系统170和图像处理模块200。车辆105可以包括更多或更少的子系统，并且每个子系统可以包括多个元件。此外，车辆105的每个子系统和元件可以互连。因此，车辆105的一个或多个所描述的功能可以被分成附加的功能或物理组件，或者组合成较少的功能或物理组件。在一些其他示例中，可以将附加的功能和物理组件添加到图1所示的示例中。
46.车辆驱动子系统142可以包括操作为针对车辆105提供动力运动的组件。在示例实施例中，车辆驱动子系统142可以包括引擎或马达、车轮/轮胎、变速器、电气子系统和动力
源。引擎或马达可以是内燃机、电动马达、蒸汽机、燃料电池引擎、丙烷引擎或其他类型的引擎或马达的任意组合。在一些示例实施例中，引擎可以被配置为将动力源转换为机械能。在一些示例实施例中，车辆驱动子系统142可以包括多种类型的引擎或马达。例如，油电混合动力汽车可以包括汽油引擎和电动马达。其他示例也是可能的。
47.车辆105的车轮可以是标准轮胎。例如，车辆105的车轮可以以各种形式配置，包括独轮车、自行车、三轮车或四轮形式，诸如在轿车或卡车上。其他车轮几何形状也是可能的，诸如包括六个或更多个车轮的那些。车辆105的车轮的任何组合可以操作为相对于其他车轮不同地旋转。术语“车轮”一般可以指包括轮缘的结构，该轮缘被配置为固定附接到轮胎，该轮胎通常由橡胶形成。可选地，车轮可以包括附接到轮缘外表面的轮盖，或者轮胎可以暴露在不包括轮盖的环境中。
48.给定车辆的车轮可以表示固定耦合到变速器的至少一个车轮和耦合到车轮轮缘的至少一个轮胎，该轮缘可以与行驶表面接触。车轮可以包括金属和橡胶的组合，或材料的另一种组合。变速器可以包括可操作为将机械动力从引擎传递到车轮的元件。为此，变速器可以包括变速箱、离合器、差速器和传动轴。传输还可以包括其他元素。驱动轴可以包括或连接到可以耦合到一个或多个车轮的一个或多个轴。电气系统可以包括可操作为传送和控制车辆105中的电信号的元件。这些电信号可用于激活灯、伺服器、电动马达和车辆105的其他电驱动的或电控制的设备。动力源可以代表可以全部或部分地为引擎或马达供电的能量源。也就是说，引擎或马达可以被配置为将动力源转换为机械能。动力源的示例包括汽油、柴油、其他基于石油的燃料、丙烷、其他基于压缩气体的燃料、乙醇、燃料电池、太阳能电池板、电池和其他电力源。动力源可以另外地或备选地包括燃料箱、电池、电容器或飞轮的任意组合。动力源还可以为车辆105的其他子系统提供能量。
49.车辆传感器子系统144可以包括被配置为感测关于车辆105的环境或状况的信息的多个传感器。例如，车辆传感器子系统144可以包括惯性测量单元(imu)、全球定位系统(gps)收发机、雷达radar单元、激光测距仪/激光雷达lidar单元以及一个或多个相机或图像捕获设备。车辆传感器子系统144可以包括光学传感器，该光学传感器可以实现为lidar检测器或相机(例如，传统的可见光波长相机)。车辆传感器子系统144还可以包括被配置为监控车辆105的内部系统的传感器(例如，o2监控器、燃油表、引擎机油温度)。其他传感器也是可能的。车辆传感器子系统144中包括的一个或多个传感器可以被配置为单独或共同地启动，以便修改一个或多个传感器的位置、方向或两者。
50.imu可以包括传感器(例如，加速计和陀螺仪)的任意组合，其被配置为基于惯性加速度感测车辆105的位置和方向改变。gps收发机可以是被配置为估计车辆105的地理位置的任何传感器。为此，gps收发机可以包括可操作为提供关于车辆105相对于地球的位置的信息的接收机/发射机。radar单元可以表示利用无线电信号来感测车辆105的局部环境内的对象的系统。在一些实施例中，除了感测对象之外，radar单元还可以被配置为感测对象靠近车辆105的速度和方向。激光测距仪或lidar单元可以是被配置为使用激光感测车辆105所在的环境中的物体的任何传感器。在示例实施例中，除了其他系统组件之外，激光测距仪/lidar单元可以包括一个或多个激光源、激光扫描仪和一个或多个检测器。激光测距仪/lidar单元可以被配置为在相干(例如，使用外差检测)或非相干检测模式下操作。相机可以包括被配置为捕获车辆105的环境的多个图像的一个或多个设备。相机可以是静止图
像相机或运动视频相机。
51.车辆控制子系统146可以被配置为控制车辆105及其组件的操作。因此，车辆控制子系统146可以包括各种元件，诸如转向单元、油门、制动单元、导航单元和自主控制单元。
52.转向单元可以代表可操作为调整车辆105的方向的机构的任何组合。油门可以被配置为例如控制引擎的运行速度，并且进而控制车辆105的速度。制动单元可以包括被配置为使车辆105减速的机构的任何组合。制动单元可以使用摩擦力以标准方式减慢车轮。在其他实施例中，制动单元可以将车轮的动能转换为电流。制动单元也可以采取其他形式。导航单元可以是被配置为确定车辆105的行驶路径或路线的任何系统。导航单元还可以被配置为在车辆105操作时动态地更新行驶路径。在一些实施例中，导航单元可以被配置为合并来自图像处理模块200、gps收发机和一个或多个预先确定的地图的数据，以便确定车辆105的行驶路径。自主控制单元可以表示控制系统，该控制系统被配置为标识、评估和避免或以其他方式使车辆105顺利通过环境中的潜在障碍物。一般地，自主控制单元可以被配置为在没有驾驶员的情况下控制车辆105进行操作，或者在控制车辆105时提供驾驶员协助。在一些实施例中，自主控制单元可以被配置为合并来自图像处理模块200、gps收发机、radar、lidar、相机和其他车辆子系统的数据，以确定车辆105的行驶路径或轨迹。车辆控制子系统146可以附加地或备选地包括不同于所示和描述的组件。
53.乘员接口子系统148可以被配置为允许车辆105与外部传感器、其他车辆、其他计算机系统和/或车辆105的乘员或用户之间的交互。例如，乘员接口子系统148可以包括标准视觉显示设备(例如，等离子显示器、液晶显示器(lcd)、触摸屏显示器、平视显示器等)、扬声器或其他音频输出设备、麦克风或其他音频输入设备、导航接口、以及用于控制车辆105的内部环境(例如，温度、风扇等)的接口。
54.在示例实施例中，乘员接口子系统148可以例如为车辆105的用户/乘员提供与其他车辆子系统交互的能力。视觉显示设备可以向车辆105的用户提供信息。用户界面设备还可以操作为经由触摸屏接受来自用户的输入。触摸屏可以被配置为经由电容感测、电阻感测或表面声波过程以及其他可能方式来感测用户手指的位置和移动中的至少一个。触摸屏可以能够感测手指在与触摸屏表面平行或平面的方向上、在与触摸屏表面垂直的方向上或在这两者上的移动，并且还可以能够感测施加到触摸屏表面的压力水平。触摸屏可以由一个或多个半透明或透明绝缘层和一个或多个半透明或透明导电层形成。触摸屏也可以采取其他形式。
55.在其他情况下，乘员接口子系统148可以为车辆105提供与其环境内的设备通信的能力。麦克风可以被配置为从车辆105的用户接收音频(例如，语音命令或其他音频输入)。类似地，扬声器可以被配置为向车辆105的用户输出音频。在一个示例实施例中，乘员接口子系统148可以被配置为直接或经由通信网络与一个或多个设备无线通信。例如，无线通信系统可以使用诸如cdma、evdo、gsm/gprs的3g蜂窝通信，诸如wimax或lte的4g蜂窝通信或5g蜂窝通信。备选地，无线通信系统可以例如使用与无线局域网(wlan)通信。在一些实施例中，无线通信系统可以例如使用红外链路、或与设备直接通信。在本公开的上下文内，诸如各种车载通信系统的其他无线协议也是可能的。例如，无线通信系统可以包括一个或多个专用短程通信(dsrc)设备，该设备可以包括车辆和/或路边站之间的公共或私有数据通信。
56.车辆105的许多或所有功能可以由计算系统170控制。计算系统170可以包括至少一个数据处理器171(其可以包括至少一个微处理器)，其执行存储在诸如数据存储设备172的非瞬态计算机可读介质中的处理指令。计算系统170还可以表示可以用于以分布式方式控制车辆105的各个组件或子系统的多个计算设备。在一些实施例中，数据存储设备172可以包含可由数据处理器171执行的处理指令(例如，程序逻辑)，以执行车辆105的各种功能，包括本文结合附图描述的那些功能。数据存储设备172也可以包含附加指令，包括用于向以下各项发送数据、从其接收数据、与其交互或对其进行控制：车辆驱动子系统142、车辆传感器子系统144、车辆控制子系统146和乘员接口子系统148中的一个或多个子系统。
57.除了处理指令之外，数据存储设备172还可以存储诸如图像处理参数、训练数据、道路地图和路径信息以及其他信息的数据。这种信息可以在车辆105以自主、半自主和/或手动模式操作期间由车辆105和计算系统170使用。
58.车辆105可以包括用于向车辆105的用户或乘员提供信息或从其接收输入的用户界面。用户界面可以控制或启用对可以在显示设备上显示的交互式图像的内容和布局的控制。此外，用户界面可以包括该组乘员界面子系统148内的一个或多个输入/输出设备，诸如显示设备、扬声器、麦克风或无线通信系统。
59.计算系统170可以基于从各种车辆子系统(例如，车辆驱动子系统142、车辆传感器子系统144和车辆控制子系统146)以及从乘员接口子系统148接收的输入来控制车辆105的功能。例如，计算系统170可以使用来自车辆控制子系统146的输入，以便控制转向单元以避开由车辆传感器子系统144和图像处理模块200检测到的障碍物、以受控方式移动、或者基于由图像处理模块200生成的输出跟随路径或轨迹。在示例实施例中，计算系统170可以操作为提供对车辆105及其子系统的许多方面的控制。
60.尽管图1示出了车辆105的各种组件，例如车辆子系统140、计算系统170、数据存储设备172和图像处理模块200，集成到车辆105中，但是这些组件中的一个或多个组件可以与车辆105分开安装或分开关联。例如，数据存储设备172可以部分或全部地与车辆105分开存在。因此，车辆105可以以设备元件的形式提供，该设备元件可以分开或在一起。构成车辆105的设备元件可以有线或无线方式通信地耦合在一起。
61.附加地，如上所述，车载控制系统150可以从本地和/或远程源获取其他数据和/或内容(本文表示为辅助数据)。辅助数据可用于基于各种因素来增强、修改或训练图像处理模块200的操作，这些因素包括用户正在操作车辆的上下文(例如，车辆的位置、指定的目的地、行进方向、速度、一天中的时间、车辆的状态等)，以及从各种源(本地和远程)可获取的各种其他数据，如本文描述的。
62.在特定实施例中，车载控制系统150和图像处理模块200可以实现为车辆105的车载组件。在各种示例实施例中，车载控制系统150和与其进行数据通信的图像处理模块200可以实现为集成组件或分开组件。例如，图像处理模块200可以被包括为存储在诸如数据存储设备172的非瞬态计算机可读介质中的指令集，用于使数据处理器171执行各种图像处理功能。在示例实施例中，车载控制系统150和/或图像处理模块200的软件组件可以通过使用经由网络120与移动设备132和/或网络资源122的数据连接来动态升级、修改和/或增强。车载控制系统150可以周期性地向用户移动设备132或网络资源122查询更新，或者可以将更新推送到车载控制系统150。
63.用于基于传感器数据更新导航地图的系统和方法
64.在本文公开的各种示例实施例中，提供了一种用于更新导航地图的系统和方法，在一些实施例中，该系统和方法可以在自主车辆105的上下文中采用。自主车辆105的实施例包括具有牵引车和至少一个拖车的半卡车、铰接式公共汽车、火车、客车等。
65.自主车辆105可以在选择当前位置和目的地之间的路线以用于导航时使用详细的导航地图。为了确保自主车辆105具有足够的数据来导航通过复杂的道路系统，所使用的导航地图312具有高级别的细节，包括车道级别信息、速度限制数据、道路上或道路附近的静态对象等。高分辨率晰度(hd)地图一般指的是具有足够精度以用于自主车辆105的导航的导航地图312的类别。例如，hd地图可以以足够高的精度定义地图区域中所有路线的车道属性，以用于车道级别导航。
66.自主驾驶可以在很大程度上依赖于预先构建的导航地图。然而，驾驶自主车辆105的驾驶环境不一定是静态的。例如，道路建设、重新粉刷的线、倒下的树木、替换的路标等中的任何一个都可能影响成功导航自主车辆105所需的许多决策。当导航地图和道路的实时状况之间存在一个或多个不一致性时，可能需要停止自主驾驶，直到有新的地图更新可用。本公开的各方面涉及可以被用于基于传感器数据实时更新导航地图以便即使在检测到导航地图与驾驶环境之间的不一致性时也能继续自主导航的系统和技术。
67.图2示出了根据本公开的各方面的示例地图更新子系统300，其可用于基于传感器数据实时更新导航地图。如图2所示，地图更新子系统300包括车辆子系统140和车载控制系统150，其可以类似于结合图1的车辆生态系统101描述的那些。如本文所述，地图更新子系统300可以使用从车辆传感器子系统144的一个或多个传感器接收的异构数据来检测和提取高清道路对象元素。
68.更详细地，车辆子系统包括车辆传感器子系统144，车辆传感器子系统144可以包括一个或多个传感器，诸如相机、radar、lidar、gps和其他传感器。传感器的输出被提供给车载控制系统150，车载控制系统150可以包括感知模块302、规划模块308、控制模块310和导航地图312。尽管各种模块302-312在图2中示为分开的块，但取决于实现方式，这些模块302-312中的一个或多个模块可以组合或拆分成分开的概念模块。
69.感知模块302可以包括检测模块304和定位模块306。在一些实现方式中，检测模块304可以包括多个不同的模块，该多个不同的模块被配置为基于来自车辆传感器子系统144的一个或多个传感器的输出来检测来自驾驶环境的特定对象、标志、状况等。例如，检测模块304可以包括车道检测模块、交通灯检测和分类模块、交通标志检测和分类模块、对象检测和追踪模块以及自由空间检测模块。在一些实现方式中，车道检测模块、交通灯检测和分类模块、交通标志检测和分类模块以及对象检测和追踪模块可以接收来自相机传感器的输出。目标检测和追踪模块还可以接收来自radar传感器的输出。目标检测和追踪模块以及自由空间检测模块可以接收来自lidar传感器的输出。然而，在一些实施例中，不同的检测模块可以以各种不同的组合从传感器子系统接收来自不同(多个)传感器集合的输出。
70.定位模块306可以被配置为基于来自gps传感器的输出和从导航地图312接收的导航地图来定位自主车辆105。
71.规划模块308可以包括路线规划模块、预测模块、行为规划模块和轨迹规划模块。在该图示实施例中，路线规划模块可以从导航地图312接收导航地图。预测模块可以接收来
自路线规划模块的规划路线，来自行为规划模块的输出，以及来自车道检测模块、交通灯检测和分类模块以及交通标志检测和分类模块中的每个模块的输出。行为规划模块可以接收来自预测模块和轨迹规划模块的输出，以及来自车道检测模块、交通灯检测和分类模块、自由空间检测模块和定位模块的输出。轨迹规划模块可以接收来自车道检测模块、对象检测和追踪模块以及自由空间检测模块的输出。
72.控制模块310可以被配置为基于规划模块308的输出来控制自主车辆105。在图示实施例中，控制模块310可以包括比例积分微分(pid)控制器、模型预测控制器(mpc)和其他控制器。在一些实施例中，控制模块310可以向车辆控制子系统146中的一个或多个子系统提供指令，以控制自主车辆105。
73.如上所述，导航地图可以实现为对于自主车辆105的导航具有足够精度的hd地图。由于驾驶环境的改变，导航地图可以包括与自主车辆105的实时驾驶环境不一致的错误或其他异常。
74.图3示出了根据本公开的各方面可用于检测导航地图和驾驶环境之间的不一致性并更新导航地图的示例方法或过程400。方法400的一个或多个块可以由地图更新子系统300和/或车辆生态系统101的另一个块来执行。
75.如图3所示，方法400可以包括异常检测器(也称为地图监控模块)412检测导航地图中的不一致性。例如，异常检测器412可以接收来自车辆传感器子系统144的一个或多个传感器的输出数据，以及来自离线数据存储器410的导航地图。在图3的示例中，车辆传感器子系统144的传感器可以包括相机402、lidar 404、gps/imu 406和车轮速度计408。然而，可以使用车辆传感器子系统144的其他传感器组，诸如图1和图2所示的传感器的任意组合。在某些实现中，一个或多个相机402可以倾斜以向下看车道。车轮速度计408可用于辅助定位和道路绘制，例如通过使用自主车辆105的速度来确定自主车辆105从先前确定的位置行进的距离。可以包括在车辆传感器子系统144的传感器中的传感器的另一示例是radar(未示出)。
76.异常检测器412对不一致性的检测可以包括由地图不一致性检测器414检测地图不一致性以及由校准不一致性检测器416检测校准不一致性。为了检测不一致性，异常检测器412接收来自车辆传感器子系统144的传感器的输出，以及来自离线数据存储器410的导航地图312。在一些实施例中，异常检测器412基于来自gps 406的输出接收导航地图312的相关部分。
77.在一个示例中，当来自导航地图312的数据与从车辆传感器子系统144的一个或多个传感器接收的数据不一致(例如，不匹配)时，不一致性可能是由于导航系统中的不一致性和/或车辆传感器子系统144的一个或多个传感器的校准不一致性。
78.地图不一致性的示例可以是还没有反映在导航地图312中的驾驶环境的改变(例如，道路上新画的线等)。
79.由异常检测器412可检测的另一示例不一致性是车道异常(或车道不一致性)。例如，可以通过将来自导航地图312的3d车道投影到从相机402接收的2d图像上以与图像上的2d车道检测结果进行比较来检测车道不一致性。当来自导航地图312的车道的位置与车道检测不匹配时(例如，参见图8)，地图不一致性检测器414可以基于传感器输出标识导航地图312与车道检测之间的车道不一致性。
80.由异常检测器412可检测的又一示例不一致性是速度限制异常(或速度限制不一致性)。例如，地图不一致性检测器414(或另一模块)可以包括在后台运行的模块，该模块可以检测交通标志并识别张贴在交通标志上的速度限制。然后，地图不一致性检测器414(或另一模块)可以将检测到的信息与导航地图312中反映的与自主车辆105所在的当前车道相关联的速度限制进行比较。地图不一致性检测器414可以将检测到的速度限制与导航地图312中存储的速度限制之间的差标记为速度限制不一致性。
81.在某些实现中，自主车辆105可以严重依赖导航地图312以确保自主车辆105安全行驶。定位模块306可以被配置为基于包含在导航地图312中的车道信息来定位自主车辆105。当自主车辆105是挂在货运拖车(例如，牵引车-拖车)上的半卡车时，这可能特别重要，因为牵引车-拖车通常比乘用车更宽且更长。出于安全原因，牵引车-拖车应始终停留在车道线中，以避免与相邻车道上的车辆发生潜在事故。此外，由于牵引车-拖车倾向于响应校正而呈之字形，因此很难纠正车道内牵引车-拖车的不正确定位。感知模块302可以检测和追踪周围车辆相对于导航地图312内的车道地图的位置。此外，与乘用车相比，牵引拖车的半卡车具有更长的制动距离，因此准确的感知输入可以极大地提高车辆控制子系统146控制自主车辆105的能力。
82.例如，校准不一致性可以以一致的方式影响驾驶环境中的多个对象的测量，使得检测到的对象与导航地图312内的对应对象不匹配。在某些实现中，异常检测器412基于车辆传感器子系统144的传感器输出的深度/机器学习和融合。
83.在块418，方法400还包括基于异常检测器412的输出来确定导航地图312中是否存在阈值数目的不一致性。如果检测到的不一致性数量小于阈值数目，则方法400通过使用存储在离线数据存储设备410中的导航地图312返回到驾驶自主车辆105而在块420继续。方法400可以在继续行驶自主车辆的同时，连续地检测导航地图312中是否存在任何异常。
84.响应于检测到的不一致性的数目大于阈值数目，方法400在块422继续，此处地图更新子系统300执行实时绘制422。实时绘制块422可以包括绘制由车辆传感器子系统144的传感器检测到的一个或多个对象的位置，以便更新导航地图312。在图示实施例中，实时绘制块422包括车道绘制424、交通标志绘制426、交通灯绘制428和地面绘画绘制430的子块。取决于实现方式，实时绘制块422可以包括用于绘制由车辆传感器子系统144的传感器检测到的、可以包括在导航地图312中的(多个)其他对象的附加子块。
85.与异常检测器块412相比，实时绘制块422可以在计算上相对密集。因此，通过在没有检测到异常时避免执行实时绘制块422，方法400能够在自主导航需要时(例如，当检测到的不一致性可能影响自主车辆105继续自主导航的能力时)节省处理资源并执行实时绘制处理422。
86.如前所述，由地图不一致性检测器414可检测的示例不一致性是车道不一致性。例如，在本地交叉路口，如果存在新重新绘制的或不清晰的车道线，则异常检测模块414将输出车道不一致性信息，并经由块418激活实时绘制模块422。基于导航地图312，实时绘制模块422可以知道自主车辆105位于交叉路口。结果，实时绘制模块422可以实现车道绘制模块424和交通灯绘制模块428两者。车道绘制模块424将基于传感器输出来绘制任何新的车道线，并且交通灯绘制模块428将基于传感器输出来绘制检测到的任何新的交通灯。在确定传感器输出指示新的还是先前绘制的车道/灯时，可以将传感器输出与导航地图312内表示的
对象进行比较，以确定存在于交叉路口的对象是新的还是保持不变的。
87.在块432，方法400包括确定实时地图422是否已经生成了足够的新地图数据来更新导航地图312。例如，在一些实现中，块432可以包括确定可以指示是否已经生成了足够的新地图数据的两个参数。第一参数可以包括对新地图数据和导航地图312之间的一致性的测量，这可以被认为是“健全(sanity)检查”。例如，当为施工区域重新绘制车道时，新绘制的车道可能不会直接连接到导航地图312内表示的道路上绘制的先前的线。地图更新子系统300可以被配置为在确定第一参数时确定新绘制车道是否扭曲(swirl)到特定阈值以下。在另一示例中，导航地图312可以检测具有与导航地图312中存储的速度限制不同的值的新的速度限制标志。如果车道模块424已经确定了不一致性是由于施工引起的，则地图更新系统300可以确定新的速度限制值是否合理。地图更新系统300可以确定第一参数作为新地图数据与来自导航地图312的地图数据的一致性程度的测量。
88.第二参数可以指示新地图数据是否为自主车辆105提供了足够的可驾驶空间以导航通过新绘制区域。例如，当在高速公路上行驶时，自主车辆105可以直接沿着高速公路上的车道导航通过新绘制区域。因此，当在高速公路上行驶时，第二参数可以指示新绘制车道对于自主车辆105是否连续且足够宽。在另一示例中，自主车辆105的路线可以包括离开坡道，然而，来自新地图数据的车道可能与导航地图312不一致。在这种情况下，地图更新系统300可以检查实时绘制块422检测到的任何高速公路标志是否指示出口仍在服务中。然后，地图更新系统300可以确定来自新地图数据的新车道是否可以通向到达出口的可能路径。在这种情况下，第二参数可以指示自主车辆是否能够沿着路线到达出口。
89.总之，地图更新系统300可以基于第一和第二参数来确定是否已经生成了足够的新地图数据。例如，在某些实现方式中，地图更新系统300确定已经响应于第一参数和第二参数中的每一个都大于相应阈值而生成了足够的新地图数据。如果所生成的新地图数据不足以更新导航地图312，则方法400可以返回到块422。如果所生成的新地图数据足以更新导航地图312，则方法400可以在块434继续。
90.地图更新系统300可以在块422继续执行实时绘制，直到存在足够的数据来更新地图，如块432所确定的。在某些实现中，地图更新系统300可以在后台连续运行异常检测器412。如果异常检测器412指示先前检测到的不一致性不再存在，诸如自主车辆离开施工区域，则地图更新系统可以去激活实时绘制块422。在某些实现中，当由于新地图数据不足而不能更新地图时，地图更新系统300可以生成最小风险状况(mrc)信号。
91.在块434，方法400包括更新导航地图312。例如，导航地图312可以被更新以删除对应于块412中的不一致性的对象，并且添加由实时绘制块422检测到的新对象。在一些实施例中，可以将经更新的导航地图312提供给导航地图数据库(未示出)，使得经更新的导航地图312可以由其他自主车辆105使用。在一些实施例中，可以通过空中(ota)将更新后的导航地图312提供给导航地图数据库和/或其他自主车辆105。在块436，方法400涉及使用更新后的导航地图312驾驶自主车辆105。
92.如上所述，方法400可以被分成流水线中的至少两个部分：(i)经由异常检测器412的检测，其可以基于深度/机器学习和传感器融合，以及(ii)经由实时绘制块422的参数提取，其从时间序列中提取包含语义、几何和地理信息的道路对象。总之，异常检测器412可以被配置为加载导航地图312并检测基于传感器输出标识的道路中的对象与导航地图312之
间的不一致性，导航地图312包括车道、线、道路模式、交通标志和/或交通灯对象。实时绘制模块422可以被配置为当地图监控模块412检测到一个或多个不一致性时，从实时收集的传感器输出中迭代地提取和推断道路对象。在一个示例中，高速公路道路标志(见图6)可以提供关于道路车道如何形成/划分的信息。道路上的地面绘画，诸如自行车道标志(见图4)可以提供关于道路车道的信息，并可以进行分类。当这种类型的信息与来自导航地图312的信息组合时，导航地图312可以被实时更新，使得可以使用更新后的导航地图312来驾驶自主车辆105。
93.图4是根据本公开的各方面的包括地面绘画502的道路的示例图像。在传感器144中的一个传感器检测到图4所示的地面绘画502的情况下，地图更新子系统300可以确定相关联的车道是自行车道。在地面绘画502在导航地图312内不存在的车道内的情况下，地图更新块435能够通过将新车道标识为自行车道来更新导航地图312。地图更新子系统300可能还能够基于确定车道是自行车道来做出其他推断，例如，自行车道很可能在任一侧具有实线。因此，在一些实施例中，响应于检测到指示车道是自行车道的地面绘画502，地面绘画绘制块430还可以具有在自行车道任一侧检测到的线是实线的更多置信度。
94.图5是根据本公开的各方面的具有临时标志506的驾驶环境504的示例图像。例如，当车辆传感器子系统144的至少一个传感器检测到临时标志506并且该临时标志不存在于导航地图312中时，异常检测器412可以检测到不一致性。在图5的示例中，地图更新子系统300还可以被配置为确定临时标志506指示沿着道路更前方的施工，并且因此可以表示随着自主车辆105沿着道路继续行驶而异常的可能性增加。当地图更新子系统300确定沿着道路异常的可能性增加时，地图更新子系统300可以减少触发实时绘制块422所需的不一致性的阈值数目。在某些实现中，可以在自主车辆105行进的预定距离内和/或在预定时间长度内保持减少的不一致性阈值数目。
95.除了调整不一致性的阈值数目之外，地图更新子系统300还可以使用检测到的道路作业标志来增加速度限制改变的概率，因为施工区经常具有临时速度限制。此外，当检测到施工区域时，地图更新子系统300还可以增加检测到存在表示临时车道的交通锥的概率。
96.图6是根据本公开的各方面的具有标志510的另一驾驶环境508的示例图像。在图示的示例中，标志510可以指示多个车道中的哪个车道将沿着当前道路继续，以及哪个(哪些)车道对应于出口，因此不会沿着当前道路继续。当当前道路未包括在导航地图312中时，地图更新子系统300可以经由车辆传感器子系统144的一个或多个传感器检测标志510，并确定哪个车道将沿着当前道路继续，以及哪个(哪些)车道将退出当前道路。实时绘制块422的车道绘制块424可以使用该信息以便绘制道路的车道。
97.图7是覆盖在图像上的包括来自车辆传感器子系统144的一个或多个传感器的输出的又一驾驶环境512的示例图像。在图示的图像中，车辆传感器子系统144的传感器的输出包括检测到的交通灯514和检测到的道路线516。检测到的交通灯514可以用边界框514a以及拐角指示符514b来标识。类似地，道路线516可以用线以及拐角指示符516a(例如，在虚线的情况下)和/或中心指示符516b(例如，在实线的情况下)来标识。为简单起见，在图7中，仅边界框514a、拐角指示符514b和516a以及中心指示符516b的子集设置有附图标记。
98.地图更新子系统300可以使用检测到的交通灯514和/或检测到的道路线516来推断驾驶环境512内的(多个)其他对象的(多个)位置。例如，道路线516可以被确定为驾驶环
境512内的一个或多个车道的边界。图像右侧的交通灯514可用于确定当交通信号灯514为红色时自主车辆105必须停止的停止线的位置。
99.图8是根据本公开的各方面的又一驾驶环境520的示例图像，包括校准不一致性检测器416可以检测到的校准不一致性的示例。如图8所示，车辆传感器子系统144的传感器的输出包括检测到的实线522和两条分开的检测到的虚线524和526，其可以表示车辆传感器子系统144类型的两个不同传感器的输出。当检测到的虚线524和526的位置不是以一致的方式重叠时，校准不一致性检测器416可以标识校准不一致性，校准不一致性可能不指示导航地图312中的不一致性。
100.图9示出了根据本公开的各方面的用于更新导航地图的示例方法600。在一些实现中，方法600的某些块可以由地图更新子系统300或由自主车辆105或网络资源122上的处理器执行的任何其他模块来执行。为简单起见，将方法600描述为由地图更新子系统300执行。
101.方法600开始于块601。在块602，地图更新子系统300从位于自主车辆105上的车辆传感器子系统144的多个传感器接收指示自主车辆105的驾驶环境的输出。在块604，地图更新子系统300检索用于驾驶自主车辆105的导航地图312。
102.在块606，地图更新子系统300检测到车辆传感器子系统144的传感器的输出与导航地图312之间的一个或多个不一致性。在块608，响应于检测到一个或多个不一致性，地图更新子系统300基于车辆传感器子系统144的传感器的输出触发驾驶环境的绘制。在块610，地图更新子系统300基于绘制的驾驶环境来更新导航地图312。在块612，地图更新子系统300使用经更新的导航地图312驾驶自主车辆105。方法600在块614结束。
103.如本文所述，本公开的各方面涉及用于更新导航地图的系统和方法，该导航地图包括流水线中的至少两个部分、基于深度/机器学习方法和传感器融合的检测、以及从时间序列中提取包含语义、几何和地理信息的道路对象的参数提取。
104.本公开的各方面提供了用于自动检测和提取所有类型的道路对象的通用且可扩展的平台，其可以从不同种类的传感器数据以厘米级的精度提供。