自驾驶车辆中的传感器视场的制作方法

自驾驶车辆中的传感器视场
1.相关申请的交叉引用
2.本技术要求2019年10月10日提交的美国专利申请第16/598,060号的优先权并且是其继续，其全部公开内容通过引用结合于此。


背景技术：

3.自主车辆，诸如不需要人类驾驶员的车辆，可以用于协助将乘客或货物从一个位置运输到另一个位置。这样的车辆可以以完全自主模式或其中人可以提供某一驾驶输入的部分自主模式操作。为了以自主模式操作，车辆可能采用各种车载传感器来检测外部环境的特征，并使用接收的传感器信息来执行各种驾驶操作。然而，检测车辆的环境中的对象的传感器能力可能受遮挡限制。这样的遮挡可能遮盖较远的对象的存在，并且还可能影响车辆的计算机系统确定检测的对象的类型的能力。这些问题可能不利地影响驾驶操作、路线规划和其他自主动作。


技术实现要素：

4.本技术涉及确定车辆四周的环境中遮挡的存在、校正关于这样的遮挡的信息、并中车载和非车载系统中采用校正后的信息，来增强车辆在自主驾驶模式下的操作。
5.根据本技术的一方面，提供了一种以自主驾驶模式操作车辆的方法。该方法包括：由一个或多个处理器从车辆的感知系统的一个或多个传感器接收原始传感器数据，所述一个或多个传感器被配置为检测车辆周围环境中的对象；由一个或多个处理器针对从感知系统的一个或多个传感器中的给定传感器接收的原始传感器数据的集合生成范围图像；由一个或多个处理器通过针对原始传感器数据的集合执行移除噪声或填充丢失数据点中的至少一个来修改范围图像；由一个或多个处理器生成包括修改后的范围图像的传感器视场fov数据集，所述传感器fov数据集识别给定传感器的视场中是否有遮挡；将传感器fov数据集提供给车辆的至少一个车载模块；以及根据提供的传感器fov数据集控制车辆在自主驾驶模式下的操作。
6.在一个示例中，移除噪声包括基于由给定传感器接收的最后返回的结果从范围图像滤除噪声值。在另一个示例中，填充丢失数据点包括以与范围图像的一个或多个相邻区域相同的方式表示具有丢失数据点的范围图像的部分。
7.在再一个示例中，修改范围图像包括应用启发式校正方法。所述启发式校正方法可以包括在一段时间追踪车辆周围环境中的一个或多个检测的对象以确定如何校正与所述一个或多个检测的对象相关联的感知数据。与所述一个或多个检测的对象相关联的感知数据可以是通过填充与给定检测的对象相关联的数据孔洞来校正的。与所述一个或多个检测的对象相关联的感知数据可以是通过根据所述一个或多个检测的对象的相邻边界来插值丢失像素来校正的。
8.在又一个示例中，生成所述传感器fov数据集还包括在保持指定量的传感器分辨率的同时压缩修改后的范围图像。生成所述传感器fov数据集可以包括基于给定传感器的
操作特性确定是否压缩修改后的范围图像。这里，所述操作特性可以从由传感器类型、最小分辨率阈值和传输带宽构成的组选择。
9.在另一示例中，该方法可以包括：将传感器数据集提供给至少一个车载模块包括将传感器数据集提供给规划器模块，其中，控制车辆在自主驾驶模式下的操作包括规划器模块控制车辆的方向或速度中的至少一个。在这种情况下，控制车辆的操作可以包括根据传感器fov数据集确定车辆周围环境中沿特定方向是否存在遮挡，并且在确定存在遮挡时，修改车辆的方向或速度中的至少一个以考虑(account for)遮挡。
10.在又一个示例中，生成所述传感器fov数据集包括评估最大可见范围值是否比感兴趣的点的物理距离更近，以确定感兴趣的点是可见的还是被遮挡的。并且在另一个示例中，该方法还包括将传感器fov数据集提供给远程计算系统的至少一个非车载模块。
11.根据本技术的另一方面，一种系统被配置为以自主驾驶模式操作车辆。该系统包括存储器和可操作地耦合到存储器的一个或多个处理器。所述一个或多个处理器被配置为从车辆的感知系统的一个或多个传感器接收原始传感器数据。所述一个或多个传感器被配置为检测车辆周围的环境中的对象。所述处理器还被配置为针对从感知系统的一个或多个传感器中的给定传感器接收的原始传感器数据的集合生成范围图像，通过针对原始传感器数据的集合执行移除噪声或填充丢失数据点中的至少一个来修改范围图像，以及生成包括修改后的范围图像的传感器视场(fov)数据集。传感器fov数据集识别给定传感器的视场中是否有遮挡。处理器还被配置为将生成的传感器fov数据集存储在存储器中，以及根据存储的传感器fov数据集控制车辆在自主驾驶模式下的操作。
12.在一个示例中，移除噪声包括基于由给定传感器接收的最后返回的结果从范围图像滤除噪声值。在另一个示例中，填充丢失数据点包括以与范围图像的一个或多个相邻区域相同的方式表示具有丢失数据点的范围图像的部分。在又一个示例中，修改范围图像包括应用启发式校正方法。并且在另一个示例中，生成传感器fov数据集包括基于给定传感器的操作特性确定是否压缩修改后的范围图像。
13.根据本技术的又一方面，提供了一种车辆，该车辆包括上述系统和感知系统两者。
附图说明
14.图1a-图1b示出了被配置为用于与本技术的各方面一起使用的示例乘用型车辆。
15.图1c-图1d示出了配置为用于与本技术的各方面一起使用的示例货运型车辆。
16.图2是根据本技术的各方面的示例乘用型车辆的系统的框图。
17.图3a-图3b是根据本技术的各方面的示例货运型车辆的系统的框图。
18.图4示出了根据本公开的各方面的用于乘用型车辆的示例传感器视场。
19.图5a-图5b示出了根据本公开的各方面的货运型车辆的示例传感器视场。
20.图6a-图6c示出了在不同驾驶情形下传感器视场中的遮挡的示例。
21.图7a-图7c示出了根据本技术的各方面的校正噪声和丢失传感器数据的示例。
22.图7d-图7f示出了根据本技术的各方面的范围图像校正的示例。
23.图8a-图8b示出了根据本技术的各方面的示例收听范围场景。
24.图9a-图9b示出了根据本技术的各方面的示例系统。
25.图10示出了根据本技术的各方面的示例方法。
具体实施方式
26.本技术的各方面收集从车载传感器接收的数据，并基于它们的接收的数据计算每个传感器的范围(range)图像。每个范围图像的数据可以根据获得的感知信息、启发式和/或机器学习进行校正，以填充数据中的缺漏(gap)、滤除噪声等。取决于传感器类型及其特性，可以在打包成用于由车载和非车载系统消耗的格式之前压缩合成的校正后数据。这样的系统能够在执行驾驶操作、规划即将到来的路线、测试驾驶场景等时评估校正后数据。
27.示例车辆系统
28.图1a示出了示例乘用车辆100(诸如小型货车(minivan)、运动型多用途汽车(suv)或其他车辆)的透视图。图1b示出了乘用车辆100的俯视图。乘用车辆100可以包括用于获得关于车辆外部环境的信息的各种传感器。例如，顶部(roof-top)外壳单元102可以包括lidar传感器以及各种相机、雷达单元、红外和/或声学传感器。位于车辆100前端的外壳104和位于车辆驾驶员侧和乘客侧的外壳106a、106b，可以各自结合lidar、雷达、相机和/或其他传感器。例如，外壳106a可以沿着车辆的侧围板(quarter panel)位于的驾驶员侧车门的前方。如图所示，乘用车辆100还包括用于雷达单元、lidar和/或相机的外壳108a、108b，外壳108a、108b位置也朝着车辆的后车顶(roof)部分。另外的lidar、雷达单元和/或相机(未示出)可以位于沿车辆100的其他地方。例如，箭头110指示传感器单元(图1b中的112)可以沿车辆100的后部放置，诸如在保险杠上或与保险杠相邻。箭头114指示了沿着车辆的面向前方的方向布置的一系列传感器单元116。在一些示例中，乘用车辆100还包括用于获得关于车辆的内部空间(未示出)的信息的各种传感器。
29.图1c-图1d示出了示例货运车辆150，诸如牵引车-挂车式卡车。卡车可以包括例如单个挂车、双挂车或三挂车，或者可以是另一种中型或重型卡车(诸如商业重量等级4到8)。如图所示，卡车包括牵引车单元152和单个货运单元或挂车154。取决于被运输的货物的类型，挂车154可以是完全封闭的、敞开的(诸如平板式)或部分敞开的。在该示例中，牵引车单元152包括引擎和转向系统(未示出)以及用于驾驶员和任何乘客的驾驶室156。在完全自主布置中，驾驶室156可以不装备座椅或手动驾驶组件，因为可能不需要人。
30.挂车154包括称为牵引销的栓接点(hitching point)158。牵引销(kingpin)158典型地形成为实心钢轴，其被配置为枢转地附接到牵引车单元152。特别地，牵引销158附接到被称为第五轮(fifth-wheel)的安装在驾驶室的后部的挂车联轴器(trailer coupling)160。对于双或三牵引车-挂车，第二和/或第三挂车可以与引导挂车具有简单的栓接连接。或者，可替代地，每个挂车可以有其自己的牵引销。在这种情况下，至少第一挂车和第二挂车可以包括被布置为耦合到下一个挂车的第五轮类型的结构。
31.如图所示，牵引车可以具有沿其安置的一个或多个传感器单元162、164。例如，一个或多个传感器单元162可以被安置在驾驶室156的车顶部分或顶部分，并且一个或多个侧部传感器单元164可以被安置在驾驶室156的左侧和/或右侧。传感器单元的位置还可以沿着驾驶室156的其他区域，诸如沿着前保险杠或引擎盖区域、在驾驶室的后部、与第五轮相邻、在底盘下方等。挂车154还可以具有沿着其安置的一个或多个传感器单元166，例如，沿着挂车154的侧板、前部、后部、车顶和/或底架(undercarriage)。
32.作为示例，每个传感器单元可以包括一个或多个传感器，诸如lidar、雷达、相机(例如，光学或红外)、声学(例如，麦克风或声纳型传感器)、惯性(例如，加速度计、陀螺仪
等)或其他传感器(例如，诸如gps传感器的定位传感器)。尽管本公开的某些方面结合特定类型的车辆可能特别有用，但是车辆可以是任何类型的车辆，包括但不限于小汽车、卡车、摩托车、公共汽车、休闲车等。
33.可以存在对于以部分或完全自主驾驶模式操作的车辆可能发生的不同程度的自主性。美国国家公路交通安全管理局和汽车工程师协会已经识别了用以指示车辆控制驾驶的多或少的程度的不同级别。例如，级别0(level 0)没有自动化，并且驾驶员做出所有驾驶相关决策。最低的半自主模式，级别1(level 1)，包括一些驾驶辅助，诸如定速巡航控制。级别2(level 2)具有某些驾驶操作的部分自动化，而级别3(level 3)涉及可以使处于驾驶员座椅上的人能够在有必要时进行控制的有条件的自动化。相比之下，级别4(level 4)是高度自动化级别，其中车辆能够在选择的条件下无需协助地进行驾驶。并且级别5(level 5)是完全自主模式，其中车辆能够在所有情形下无需协助地进行驾驶。本文描述的架构、组件、系统和方法可以以任何半自主或完全自主模式起作用，例如，在本文被称为自主驾驶模式的级别1至级别5。因此，对自主驾驶模式的引用包括部分自主和完全自主二者。
34.图2示出了具有以自主驾驶模式操作的示例性车辆(诸如乘用车辆100)的各种组件和系统的框图200。如图所示，框图200包括一个或多个计算设备202，诸如包含一个或多个处理器204、存储器206和典型地存在于通用计算设备中的其他组件的计算设备。存储器206存储可由一个或多个处理器204访问的信息，包括可以由处理器204执行或以其他方式使用的指令208和数据210。在以自主驾驶模式操作时，计算系统可以控制车辆的整体操作。
35.存储器206存储可由处理器204访问的信息，包括可以由处理器204执行或以其他方式使用的指令208和数据210。存储器206可以是能够存储可由处理器访问的信息的任何类型的存储器，包括计算设备可读介质。存储器是非暂时性介质，诸如硬盘驱动器、存储卡、光盘、固态(solid-state)等。系统可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
36.指令208可以是由处理器直接(诸如机器代码)或间接(诸如脚本)执行的任何指令集合。例如，指令可以作为计算设备代码被存储在计算设备可读介质上。在这方面，术语“指令”、“模块”和“程序”在本文中可以互换使用。指令可以以用于由处理器直接处理的目标代码格式存储，或者以包括按需解释或预先编译的独立源代码模块的集合或脚本的任何其他计算机设备语言存储。一个或多个处理器204可以根据指令208检索、存储或修改数据210。在一个示例中，存储器206中的一些或者全部可以是被配置为存储车辆诊断和/或检测的传感器数据的事件数据记录器或其他安全数据存储系统，取决于实施方式，其可以是车载于车辆或远程的。
37.处理器204可以是任何常规处理器，诸如商业可获得的cpu。可替代地，每个处理器可以是专用设备，诸如asic或其它基于硬件的处理器。尽管图2在功能上示出了处理器、存储器和计算设备202的其他元素在同一块内，但这样的设备实际上可以包括多个处理器、计算设备或存储器，这些处理器、计算设备或存储器可以或可以不被存放在相同的物理外壳内。类似地，存储器206可以是硬盘驱动器或其他存储介质，其位于与处理器204的外壳不同的外壳中。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的处理器或计算设备或存储器的集合的引用。
38.在一个示例中，计算设备202可以形成结合到车辆100中的自主驾驶计算系统。自
主驾驶计算系统能够与车辆的各种组件通信。例如，计算设备202可以与车辆的包括驾驶系统的各种系统通信，所述驾驶系统包括减速系统212(用于控制车辆的制动)、加速系统214(用于控制车辆的加速度)、转向系统216(用于控制车轮的朝向和车辆的方向)、信号系统218(用于控制转弯信号)、导航系统220(用于将车辆导航到位置或对象四周)和定位系统222(用于确定车辆的定位，例如，包括车辆的位姿)。自主驾驶计算系统可以根据导航系统220、定位系统222和/或系统的其他组件，采用规划器模块223，例如，用于确定从起点到目的地的路线，或者根据当前的或预期的牵引状况(traction condition)对各个驾驶方面做出修改。
39.计算设备202还可操作地耦合到感知系统224(用于检测车辆的环境中的对象)、动力系统226(例如，电池和/或汽油或柴油动力的引擎)和变速器系统230，以便根据存储器206的指令208以不要求或不需要来自车辆乘客的连续或周期性输入的自主驾驶模式控制车辆的运动、速度等。一些或全部车轮/轮胎228被耦合到变速器系统230，并且计算设备202能够接收关于轮胎压力、平衡和可以影响以自主模式驾驶的其他因素的信息。
40.计算设备202可以通过控制各种组件(例如，经由规划器模块223)来控制车辆的方向和速度。作为示例，计算设备202可以使用来自地图信息和导航系统220的数据完全自主地将车辆导航到目的地位置。计算设备202可以使用定位系统222来确定车辆的位置，并且使用感知系统224来检测对象并且在需要时对对象作出响应，以安全到达该位置。为此，计算设备202可以使车辆加速(例如，通过增加由加速系统214提供给引擎的燃料或其他能量)、减速(例如，通过减少供应给引擎的燃料、换档和/或通过减速系统212施加制动)、改变方向(例如，通过转向系统216转动车辆100的前轮或其他车轮)，并且用信号通知这样的改变(例如，通过点亮信号系统218的转弯灯)。因此，加速系统214和减速系统212可以是包括在车辆引擎和车辆车轮之间的各种组件的传动系统或其他类型的变速器系统230的一部分。同样，通过控制这些系统，计算设备202还可以控制车辆的变速器系统230以便自主地操纵车辆。
41.计算设备202可以使用导航系统220以便确定并遵循到位置的路线。在这方面，导航系统220和/或存储器206可以存储地图信息，例如，计算设备202可以用来导航或控制车辆的高度详细的地图。作为示例，这些地图可以识别道路、车道标记、交叉路口、人行横道、限速、交通信号灯、建筑物、标志、实时交通信息、植被的形状和高度或其他这样的对象和信息。车道标记可以包括诸如实线或虚线的双车道线或单车道线、实线或虚线车道线、反光体等的特征。给定的车道可以与左和/或右车道线或定义车道边界的其他车道标记相关联。因此，大多数车道可以由一个车道线的左边缘和另一个车道线的右边缘来界定。
42.感知系统224包括用于检测车辆外部的对象的传感器232。检测的对象可以是其他车辆、道路中的障碍物、交通信号、标志、树木等。传感器232还可以检测天气状况的某些方面，例如雪、雨或水雾或水坑、冰或道路上的其他材料。
43.仅作为示例，感知系统224可以包括一个或多个光检测和测距(lidar)传感器、雷达单元、相机(例如，具有或不具有中性密度滤波(nd)滤光片的光学成像设备)、定位传感器(例如，陀螺仪、加速度计和/或其他惯性组件)、红外传感器、声学传感器(例如，麦克风或声呐换能器)、和/或记录可以由计算设备202处理的数据的任何其他检测设备。感知系统224的这样的传感器可以检测车辆外部的对象及其特性，诸如相对于车辆的运动速度、走向、类
型(例如，车辆、行人、骑自行车者等)、形状、大小、朝向、位置等。感知系统224还可以包括车辆内的其他传感器以检测车辆内的对象和状况，诸如车厢内的乘客。例如，这样的传感器可以检测例如一个或多个人、宠物、包裹等以及车辆内部和/或外部的状况，诸如温度、湿度等。更进一步地，感知系统224的传感器232可以测量车轮228的转速、减速系统212的制动的量或制动类型以及与车辆本身的装备相关联的其他因素。
44.如以下进一步讨论的，由传感器获得的原始数据可以由感知系统224处理和/或在数据被感知系统224生成时周期性地或持续地将其发送给计算设备202以供进一步处理。计算设备202可以使用定位系统222来确定车辆的位置，，并且使用感知系统224来检测对象并且在需要时对对象作出响应，以安全到达该位置，例如，经由规划器模块223做出的调整，包括处理遮挡和其他问题的操作的调整。此外，计算设备202可以执行单独传感器、特定传感器装配件中的全部传感器或者不同传感器装配件或其他物理外壳中传感器之间的校准。
45.如图1a-图1b所示，感知系统224的某些传感器可以结合到一个或多个传感器装配件或外壳中。在一个示例中，这些可以集成到车辆上的侧视镜中。在另一个示例中，其他传感器可以是顶部外壳102或其他传感器外壳或单元106a、106b，108a、108b，112和/或116的部分。计算设备202可以与位于车辆上的或以其他方式沿车辆分布的传感器装配件通信。每个装配件可以具有一种或多种类型的传感器，诸如上述传感器。
46.回到图2，计算设备202可以包括通常与计算设备结合使用的所有组件，诸如上述处理器和存储器以及用户界面子系统234。用户界面子系统234可以包括一个或多个用户输入236(例如，鼠标、键盘、触摸屏和/或麦克风)和一个或多个显示设备238(例如，具有屏幕的监视器或可操作以显示信息的任何其他电子设备)。在这方面，内部电子显示器可以位于车辆的舱室内(未示出)，并且可以由计算设备202使用以向车辆内的乘客提供信息。其他输出设备，诸如扬声器240也可以位于乘用车辆内。
47.乘用车辆还包括通信系统242。例如，通信系统242还可以包括一个或多个无线配置以促进与其他计算设备(诸如车辆内的乘客计算设备、车辆外部的(诸如道路上另一个附近车辆内的)计算设备和/或远程服务器系统)通信。网络连接可以包括短程通信协议，诸如蓝牙
tm
、蓝牙
tm
低功耗(le)、蜂窝连接，以及各种配置和协议，包括互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属于一个或多个公司的通信协议的专用网络、以太网、wifi和http，以及前述的各种组合。
48.图3a示出了具有车辆(例如，图1c的车辆150)的各种组件和系统的框图300。作为示例，车辆可以是被配置为以一种或多种自主操作模式操作的卡车、农场设备或施工设备。如框图300所示，车辆包括一个或多个计算设备的控制系统，诸如包含一个或多个处理器304、存储器306和与以上关于图2所讨论的组件202、204和206类似或相当的其他组件的计算设备302。控制系统可以构成货运车辆的牵引车单元的电子控制单元(ecu)。与指令208一样，指令308可以是由处理器直接(诸如机器代码)或间接(诸如脚本)执行的任何指令集合。类似地，一个或多个处理器304可以根据指令308检索、存储或修改数据310。
49.在一个示例中，计算设备302可以形成结合到车辆150中的自主驾驶计算系统。类似于以上关于图2所讨论的布置，框图300的自主驾驶计算系统能够与车辆的各种组件进行通信以便执行路线规划和驾驶操作。例如，计算设备302可以与车辆的诸如驾驶系统的各种系统通信，该驾驶系统包括减速系统312、加速系统314、转向系统316、信号系统318、导航系
统320和定位系统322，它们中的每个可以用作如同上文关于图2所讨论的那样。
50.计算设备302还可操作地耦合到感知系统324、动力系统326和传输系统330。一些或全部车轮/轮胎328被耦合到变速器系统330。一些或全部车轮/轮胎228被耦合到变速器系统230，并且计算设备202能够接收关于轮胎压力、平衡、转速和可以影响以自主模式驾驶的其他因素的信息。与计算设备202一样，计算设备302可以通过控制各种组件来控制车辆的方向和速度。作为示例，计算设备302可以使用来自地图信息和导航系统320的数据完全自主地将车辆导航到目的地位置。类似于上述图2的方式，计算设备302可以采用规划器模块323，结合定位系统322、感知系统324以及其他子系统来检测对象并且在需要时对对象作出响应，以安全到达该位置。
51.类似于感知系统224，感知系统324也包括一个或多个传感器或其他组件，诸如上述用于检测车辆外部的对象、车辆内部的对象或状况和/或某些车辆装备(诸如车轮和减速系统312)的操作的那些组件。例如，如图3a所指示的，感知系统324包括一个或多个传感器装配件332。每个传感器装配件232包括一个或多个传感器。在一个示例中，传感器装配件332可以被布置为集成到卡车、农场设备、施工设备等的侧视镜中的传感器塔。如上文关于图1c-图1d所述，传感器装配件332还可以定位在牵引车单元152或挂车154上的不同位置处。计算设备302可以与位于牵引车单元152和挂车154两者上的传感器装配件通信。每个装配件可以具有一种或多种类型的传感器，诸如上述传感器。
52.图3a中还示出了用于牵引车单元和挂车之间的连接的联轴系统334。联轴系统334可以包括一个或多个动力和/或气动连接(未示出)，以及牵引车单元处的、用于连接挂车处的牵引销的第五轮336。通信系统338(相当于通信系统242)也被示为车辆系统300的部分。
53.图3b示出了挂车(诸如图1c-图1d的挂车154)的系统的示例框图340。如图所示，该系统包括一个或多个计算设备的ecu 342，诸如包含一个或多个处理器344、存储器346和通常存在于通用计算设备中的其他组件的计算设备。存储器346存储可由一个或多个处理器344访问的信息，包括可以由处理器344执行或以其他方式使用的指令348和数据350。对来自图2和图3a的处理器、存储器、指令和数据的描述适用于图3b中的这些元素。
54.ecu 342被配置为从挂车单元接收信息和控制信号。ecu 342的车载处理器344可以与挂车的各种系统(包括减速系统352、信号系统254和定位系统356)通信。ecu 342还可以可操作地耦合到具有用于检测挂车环境中的对象的一个或多个传感器的感知系统358和向本地组件提供动力的动力系统260(例如，电池电源)。挂车的一些或全部车轮/轮胎362可以耦合到减速系统352，并且处理器344能够接收关于轮胎压力、平衡、车轮速度和可能影响以自主模式驾驶的其他因素的信息，并将该信息中继到牵引车单元的处理系统。减速系统352、信号系统354、定位系统356、感知系统358、动力系统360和车轮/轮胎362可以以诸如上述关于图2和图3a的方式操作。
55.挂车还包括一套撑地装置(landing gear)366以及联轴系统368。撑地装置在挂车与牵引车单元解耦时为挂车提供支撑结构。联轴系统368(其可以是联轴系统334的一部分)提供挂车和牵引车单元之间的连接。因此，联轴系统368可以包括连接部370(例如，用于动力和/或气动链路)。联轴系统还包括被配置用于与牵引车单元的第五轮连接的牵引销372。
56.示例实施方式
57.鉴于以上所描述的和附图中所示的结构和配置，现将根据本技术的各方面来描述
各个方面。
58.诸如远程和短程lidar、雷达传感器、相机或其他成像设备等的传感器被用在自驾驶车辆(sdv)或被配置为以自主驾驶模式操作的其他车辆中，以检测车辆四周的环境中的对象和状况。每个传感器可能具有包括最大范围的特定视场(fov)，并且对于某些传感器，可能具有水平分辨率和垂直分辨率。例如，全景lidar传感器可能具有量级为70-100米的最大范围，0.1
°‑
0.3
°
之间垂直分辨率，和0.1
°‑
0.4
°
之间的水平分辨率，或更多或更少。例如用于提供关于车辆的前部、后部或侧部区域的信息的定向lidar传感器可以具有量级为100-300米的最大范围，0.05
°‑
0.2
°
之间的垂直分辨率和0.01
°‑
0.03
°
之间的水平分辨率，或更多或更少。
59.图4提供了与图1b中示出的传感器相关的传感器视场的一个示例400。这里，假如顶部外壳102包括lidar传感器以及各种相机、雷达单元、红外和/或声学传感器，那么这些传感器中的每个可能具有不同的视场。因此，如图所示，lidar传感器可以提供360
°
fov 402，而布置在外壳102内的相机可以具有单独的fov 404。在车辆的前端处的外壳104内的传感器具有面向前方的fov 406，而在后端处的外壳112内的传感器具有面向后方的fov 408。车辆的驾驶员侧和乘客侧的外壳106a、106b可以各自结合lidar、雷达、相机和/或其他传感器。例如，外壳106a和106b内的lidar可以具有相应的fov 410a或410b，而外壳106a和106b内的雷达单元或其他传感器可以具有相应的fov411a或411b。类似地，位置朝着车辆的后顶部的外壳108a、108b内的传感器可以各自具有相应的fov。例如，外壳108a和108b内的lidar可以具有相应的fov 412a或412b，而外壳108a和108b内的雷达单元或其他传感器可以具有相应的fov 413a或413b。并且沿车辆面向前方的方向布置的一系列传感器单元116可以具有相应fov 414、416和418。这些视场中的每个仅仅是示例性的，并且在覆盖范围方面没有按比例。
60.图5a和图5b中示出了用于货运车辆(例如，图1c-图1d的车辆150)的lidar、相机和雷达传感器及其视场的示例。在图5a的示例500中，一个或更多的lidar单元可以位于顶部传感器外壳502中，而其他lidar单元在周界(perimeter)传感器外壳504中。特别地，顶部传感器外壳502可以被配置为提供360
°
fov。一对传感器外壳504可以位于牵引车单元驾驶室的任一侧(例如，整合到侧视镜装配件中)或者沿着驾驶室的侧车门或侧围版。在一个场景中，远程lidar位置可以沿着传感器外壳502和504的车顶或上部区域。远程lidar可以被配置为查看车辆的引擎盖。并且短程lidar可以位于传感器外壳502和504的其他部分中。感知系统可以使用短程lidar来确定诸如另一个车辆、行人、骑自行车者等的对象是否在车辆的前部或侧部旁边，并在确定如何驾驶或转弯时考虑该信息。两种类型的lidar可以共同位于外壳中，例如沿着共同的垂直轴对准。
61.如图5a所示，顶部传感器外壳502中的lidar可以具有fov 506。这里，如区域508所示，车辆的挂车或其他铰接部分可以提供信号返回，并且可以部分地或完全地阻碍对外部环境的后方视野。牵引车单元的左侧和右侧的远程lidar具有fov 510。这些可能涵盖了沿着车辆侧部和前部的重要区域。如图所示，车辆前方可以存在它们的视场的重叠区域512。重叠区域512向感知系统提供关于在牵引车单元正前方的非常重要的区域的附加信息。这种冗余还具有安全方面。假如远程lidar传感器中的一个遭遇性能劣化，则冗余仍会允许以自主模式进行操作。左右侧的短程lidar具有较小的fov 514。为清楚起见，在附图中示出了
不同视场之间的间隔；然而，实际上覆盖可以没有间断。视场和传感器装配件的具体放置仅是示例性的，并且取决于例如车辆类型、车辆大小、fov要求等可以不同。
62.图5b示出了在顶部外壳中和在牵引车-挂车(诸如，图1c-图1d的车辆150)两侧的雷达和相机传感器中的任一个(或两者)的示例配置520。这里，在图6a的传感器外壳502和504中的每个中都可以有多个雷达和/或相机传感器。如图所示，顶部外壳中可能有具有前fov 522、侧fov 524和后fov526的传感器。与区域508相同，挂车可能影响传感器检测车辆后方对象的能力。传感器外壳504中的传感器可能具有面向前方的fov 528(以及还有侧和/或后视场)。与上面关于图5a讨论的lidar一样，可以布置图5b的传感器以便邻接的视场重叠，诸如重叠区域530所示。类似地，这里的重叠区域能够提供冗余，并且假如一个传感器遭遇性能劣化则具有相同的益处。视场和传感器装配件的具体放置仅是示例性的，并且取决于例如车辆类型、车辆大小、fov要求等可以不同。
63.如图5a和图5b的区域508和526所示，特定传感器检测车辆的环境中的对象的传感器能力可能受遮挡限制。在这些示例中，遮挡可能是由于车辆本身的一部分，诸如挂车。在其他示例中，遮挡可能是由其他车辆、建筑物、树叶等引起的。这样的遮挡可能遮盖离中间对象较远的对象的存在，或者可能影响车辆的计算机系统确定检测的对象的类型的能力。
64.示例场景
65.车载计算机系统知道是否有遮挡很重要，因为知道这一点可能影响驾驶或路线规划决策，以及离线训练和分析。例如，在图6a的俯视图600中，以自主驾驶模式操作的车辆可能在t形交叉路口处等待做出无保护的左转弯。车载传感器可能检测不到从左侧接近的任何车辆。但这可能是由于有遮挡(例如，在街道一侧停车的货运卡车)而不是实际上没有即将到来的车辆的事实。特别地，侧面传感器602a和602b可以被布置为具有由相应虚线区域604a和604b所示的对应fov。如阴影区域606所示，停车的货运车辆可能部分或完全遮盖即将到来的小汽车。
66.图6b示出了另一个场景620，其中车辆622使用定向面向前方传感器来检测其他车辆的存在。如图所示，传感器具有检测车辆622前方的对象的相应fov 624和626。在该示例中，传感器可以是例如lidar、雷达、图像和/或声学传感器。这里，第一车辆628可以在车辆622和第二车辆630之间。中间的第一车辆268可以从fov 624和/或626遮挡第二车辆630。
67.并且图6c示出了又一个场景640，其中车辆642使用传感器(例如，lidar或雷达)来提供360
°
fov，如圆形虚线644所示。这里，如阴影区域654和656分别所示，在相反方向上接近的摩托车646可能被轿车或其他乘用车辆648遮盖，而在相同方向行驶的卡车650可能被在它和车辆642之间的另一个卡车652遮盖。
68.在所有这些情形下，缺乏关于周围环境中的对象的信息可能导致一个驾驶决策，但是如果车辆意识到可能的遮挡，则它可能导致不同的驾驶决策。为了解决这样的问题，根据本技术的各方面，可见性和遮挡信息基于从感知系统的传感器接收的数据来确定，提供可以由不同的车载和非车载系统使用以供实时车辆操作、建模、规划和其他处理的传感器fov结果。
69.从原始的(未处理)接收的传感器数据计算的范围图像用于捕获可见性信息。例如，该信息可以被存储为值矩阵，其中每个值与范围图像中的点(像素)相关联。根据一个示例，范围图像可以视觉上呈现给用户，其中不同的矩阵值可以与不同的颜色或灰度阴影相
关联。在lidar传感器的情况下，范围图像中存储的每个像素表示激光射击(laser shot)沿着某一方位角和倾斜角(视角)能够查看的最大范围。对于正在被评估可见性的任何3d位置，可以识别的3d位置的激光射击所落入的像素并且可以比较范围(例如，存储的最大可见范围对比从车辆到3d位置的物理距离)。如果存储的最大可见范围值比物理距离更近，则认为3d点不可见，因为沿着该视角有更近的遮挡。相比之下，如果存储的最大可见范围值至少与物理距离相同，则认为3d点是可见的(不被遮挡)。可以为车辆的感知系统中的每个传感器计算范围图像。
70.范围图像可能包括噪声并且可能丢失返回，例如，对于特定的发射的激光束没有接收的数据点。这可能导致可见性损害。可见性损害可能降低具有相同反射率的对象的最大检测范围，使得可能将问题引入(be factored into)对范围图像的处理。示例损害包括但不限于：太阳致盲、传感器孔径上的材料(诸如雨滴或叶子)、大气影响(如雾或大雨)、尘云、废气等。
71.范围图像数据可以使用由车辆的感知系统获得的信息进行校正，从而生成传感器视场(fov)数据集。例如，可以滤除噪声并填充数据中的孔洞。在一个示例中，可以通过使用来自最后的返回的结果(例如，激光射击反射)而不是来自第一返回的结果或其他较早返回的结果的信息来校正噪声。这是因为给定传感器可能会从一个发射(例如，激光的一个射击)接收多个返回。例如，如图7a的场景700所示，第一返回702可能来自空气中的灰尘，在第一时间点(t1)处被接收，而第二返回704来自位于灰尘后面的小汽车，在稍晚的时间(t2)处被接收。这里，系统使用来自时间t2的最后接收的返回(例如，激光沿着该射击能够查看的最远处)。在图7b的另一个示例中710中，车辆714的车窗712在范围图像中可能作为孔洞出现，因为激光束将不以与其在车辆的其他部分反射相同的方式在玻璃反射。填充车窗“孔洞”可以包括以与检测的车辆中的相邻区域相同的方式表示范围图像的那些部分。图7c示出了视图720，其中，车窗孔洞已被填充，如区域722所示。
72.图7d-图7f示出了校正或以其他方式修改范围图像以例如滤除噪声并填充与一个或多个对象相关联的孔洞的一个示例。特别地，图7d示出了包括诸如车辆732a和732b、植被734和标识(signage)736的对象的原始范围图像730。原始范围图像730的不同部分还可以包括伪影(artifacts)。例如，部分738a包括更靠近地平面的区域并且可能受到来自地面返回的反向散射的影响。部分738b可以是天空的未阻挡部分，而部分738c可能是天空的阻挡部分(例如由于云、太阳眩光、建筑物或其他对象)，因此该部分738c可以具有与部分738b不同的外观。该示例还示出了相应车辆732a和732b的车窗740a和740b可能作为孔洞出现。此外，诸如伪影742a和742b的伪影可能出现在原始范围图像的不同部分中。
73.图7e示出了处理后的范围图像750。这里，作为示例，与车辆车窗相关联的孔洞已经被填充(如752a和752b所示)，使得车窗与车辆的其他部分相同地出现。此外，已经校正了原始范围图像的不同部分中的诸如丢失的像素的伪影。处理后(修改后)的范围图像750可以存储为传感器fov数据集，例如作为矩阵，其中，已根据对范围图像做出的校正改变了某些像素值。
74.图7f示出了压缩的范围图像760。如下面进一步讨论的，可以取决于与特定传感器相关联的集合的大小来压缩修改后的范围图像。
75.可以采用启发式或基于学习的方法来校正范围图像。启发式方法可以识别图像中
的、作为天空(例如，位于沿着图像的顶部区域)或地面(例如，位于沿着图像的底部区域)的大部分。该方法可以追踪感知检测的对象，以帮助确定如何处理特定区域或状况。例如，如果感知系统确定对象是车辆，则车窗“孔洞”可以自动填充为车辆的部分。其他丢失的像素可以使用各种图像处理技术(诸如恒定颜色分析、水平内插或外插、或变分修复(variational inpainting))进行插值(例如，从相邻边界向内)。在另一个示例中，可以在一些激光返回但不是全部激光返回中检测到废气。基于此，系统可以确定废气是可以忽略的事物。
76.另外的启发法涉及处于传感器的最小或最大范围或在传感器的最小或最大范围附近的对象。例如，如果对象比传感器的最小范围更近，则传感器将无法检测该对象(因此，范围图像中另一个类型的孔洞)；然而，该对象将遮住(block)传感器的视野并产生阻挡。在这里，系统可能搜索与图像的特定区域(诸如，图像的底部)相关联的孔洞，并考虑具有传感器的最小范围的那些孔洞。
77.关于例如激光的最大传感器范围，不是所有的激光射击都是相同的。例如，一些激光射击被设计为查看得更远，而一些激光射击被设计为查看得更近。射击被设计查看到多远被称为最大收听范围。图8a和图8b分别示出了两个示例场景800和810。在图8a的场景800中，卡车可以发射激光射击的集合802，其中每个射击具有不同的方位角。在这种情况下，可以将每个射击选择为具有相同的收听范围。相比之下，如图8b的场景810所示，由虚线表示的一个或多个激光射击的集合812具有第一收听范围，由点划线表示的另一个射击集合814具有第二收听范围，并且由实线表示的第三射击集合816具有第三收听范围。在该示例中，集合812具有近收听范围(例如，2-10米)，因为这些射击被布置为指向朝着地面附近。集合814可以具有中间收听范围(例如，10-30米)，例如，以检测附近车辆。并且集合816可以具有用于远处的对象的扩展的收听范围(例如，30-200米)。在这种方法中，系统可以节省资源(例如，时间)。因此，如果射击仅能到达最大x米，那么填充该像素的最终范围不能大于x米。因此，系统可以取估计范围和最大收听范围中的最小值或者min(估计范围,最大收听范围)，来填充特定像素。
78.在示例的基于学习的方法中，要解决的问题是填充获得的传感器数据的丢失部分。对于机器学习方法，可以通过移除收集数据中的一些实际捕获的激光射击来创建训练数据集以获得训练范围图像。移除的部分是基准真实值(ground truth)数据。机器学习系统学习如何使用这些基准真实值填充移除的部分。一旦被训练，则关于真实的原始传感器数据利用系统。例如，在初始范围图像中，将随机移除像素的一些子集。训练范围图像丢失被移除的像素，并且这些像素是基准真实值。系统训练网络来学习如何从整个图像填充那些被故意移除的像素。该网络现在可以应用于“实时”传感器数据中的真实孔洞，并且它将尝试用它学习的知识来填充那些孔洞。
79.无论用于校正还是以其他方式修改范围图像的方法如何，具有修改后的范围图像的结果传感器fov数据集可以取决于集合的大小而被压缩。可以基于逐个传感器、最小分辨率阈值要求、传输带宽要求(例如，向远程系统的传输)和/或其他因素做出关于是否压缩的决策。例如，可能压缩来自全景传感器(例如，360
°
lidar传感器)的传感器fov数据集，而可能不需要压缩来自定向传感器的数据。只要保持指定量的分辨率(例如，1
°
以内)，可以使用各种图像处理技术。作为示例，可以采用无损图像压缩算法，诸如png压缩。
80.然后，无论是否压缩，一个或多个传感器的传感器fov信息都可用于车载和/或远程系统。车载系统可以包括规划器模块和感知系统。在一个示例中，规划器模块采用传感器fov信息来控制车辆的方向和速度。来自与不同传感器相关联的不同传感器fov数据集的信息可以由规划器模块或其他系统按需组合或单独评估。
81.当如上所述识别遮挡时，仅由感知系统检测的对象可能不足以让规划器模块做出操作决策，诸如是否开始无保护的左转弯。如果有遮挡，系统告知是否根本没有对象，或者是否可能有由于遮挡而尚未被感知系统标记的即将到来的车辆是困难的。这里，规划器模块使用传感器fov信息来指示有遮挡。例如，规划器模块将考虑有即将到来的被遮挡对象的可能性，这可能影响车辆的行为。作为示例，这可能发生在车辆做出无保护左转弯的情形下。例如，规划器模块可以查询系统以查看车辆四周的外部环境中的特定区域是可见还是被遮挡。这可以通过检查传感器fov中的范围图像表示中覆盖该区域的对应像素来进行。如果不可见，则这将指示区域中的遮挡。这里，规划器模块可以推测被遮挡区域中有另一个对象(例如，即将到来的车辆)。在这种情形下，规划器模块可以通过允许其传感器获得关于环境的附加信息，使车辆缓慢地驶出(pull out)以便减少遮挡的影响。
82.另一个示例包括如果车辆处于具有较低可见性的区域(例如，由于雾、灰尘或其他环境状况)，则降低车辆的速度。再一个示例涉及记住之前可见但后来进入遮挡的对象的存在。例如，另一个小汽车可能驾驶穿过对该自驾驶车辆不可见的区域。并且又一个示例可能涉及决定不能保证特定感兴趣的区域完全清晰，因为它被遮挡，例如人行横道。
83.非车载系统可以使用传感器fov信息来执行基于现实世界或人造场景的自主模拟，或评估可能受可见性/遮挡影响的系统度量的度量分析。该信息可以用于模型训练。它还可以被跨车队共享，以增强这些车辆的感知和路线规划。
84.图9a和图9b中示出了一个这样的布置。特别地，图9a和图9b分别是示例系统900的示意图和功能图，示例系统900包括经由网络916连接的多个计算设备902、904、906、908和存储系统910。系统900还包括可以分别与图1a-图1b和图1c-图1d中的车辆100和150相同或相似地配置的车辆912和车辆914。车辆912和/或车辆914可以是车队的一部分。尽管为简单起见，仅描绘了数个车辆和计算设备，但典型系统可以包括显著更多的车辆和计算设备。
85.如图9b所示，计算设备902、904、906和908中的每个可以包括一个或多个处理器、存储器、数据和指令。这样的处理器、存储器、数据和指令可以与上述关于图2中的那些类似地配置。
86.各种计算设备和车辆可以经由一个或多个网络(诸如网络916)通信。网络916和中间节点可以包括各种配置和协议，包括短程通信协议，诸如蓝牙
tm
、蓝牙le
tm
、互联网、万维网、内联网、虚拟专用网、广域网、局域网、使用专属于一个或多个公司的通信协议的专用网络、以太网、wifi和http，以及上述的各种组合。这样的通信可以由能够向其他计算设备发送数据和从其他计算设备接收数据的任何设备(诸如调制解调器和无线接口)来促进。
87.在一个示例中，计算设备902可以包括具有多个计算设备的一个或多个服务器计算设备(例如，负载平衡服务器群)，计算设备与网络的不同节点交换信息，目的是从其他计算设备接收数据、处理数据和向其他计算设备发送数据。例如，计算设备902可以包括能够经由网络916与车辆912和/或914的计算设备以及计算设备904、906和908通信的一个或多个服务器计算设备。例如，车辆912和/或914可以是可以由服务器计算设备向各种位置派遣
的车队的一部分。在这方面，计算设备902可以用作派遣服务器计算系统，其可以用于将车辆向不同位置派遣以便接起和放下乘客或接载和递送货物。此外，服务器计算设备902可以使用网络916来向其他计算设备之一的用户或车辆的乘客发送和呈现信息。在这方面，计算设备904、906和908可以被认为是客户端计算设备。
88.如图9a所示，每个客户端计算设备904、906和908可以是旨在供相应用户918使用的个人计算设备，并且具有通常与个人计算设备结合使用的所有组件，包括一个或多个处理器(例如，中央处理单元(cpu))、存储数据和指令的存储器(例如，ram和内部硬盘驱动器)、显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视机或可操作以显示信息的诸如智能手表显示器的其他设备)，以及用户输入设备(例如鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备以及用于将这些元件彼此连接的所有组件。
89.虽然每个客户端计算设备都可以包括全尺寸的个人计算设备，但是它们可以可替代地包括能够通过诸如互联网的网络与服务器无线交换数据的移动计算设备。仅作为示例，客户端计算设备906和908可以是移动电话或设备，诸如支持无线的pda、平板pc、可穿戴计算设备(例如，智能手表)或能够经由互联网或其他网络获得信息的上网本。
90.在一些示例中，客户端计算设备904可以是管理员或操作员用来与被派遣的车辆的乘客进行通信的远程协助工作站。尽管在图9a-图9b中仅示出了单个远程协助工作站904，但在给定系统中可以包括任何数量的这样的工作站。此外，虽然操作工作站被描绘为台式计算机，但操作工作站可以包括各种类型的个人计算设备，诸如膝上型计算机、上网本、平板计算机等。
91.存储系统910可以是能够存储可由服务器计算设备902访问的信息的任何类型的计算机化存储，诸如硬盘驱动器、存储卡、rom、ram、dvd、cd-rom、闪存驱动器和/或磁带驱动器。此外，存储系统910可以包括分布式存储系统，其中数据存储在物理上可以位于相同或不同地理位置的多个不同的存储设备。存储系统910可以如图9a-图9b所示地经由网络916连接到计算设备，和/或可以直接连接到或结合到任何计算设备中。
92.在有乘客的情形下，车辆或远程协助可以直接或间接与乘客的客户端计算设备通信。这里，例如，可以向乘客提供关于响应于情形对路线的改变、当前驾驶操作等的信息。
93.图10示出了根据上述讨论的车辆在自主驾驶模式下的操作1000的示例方法。在框1002，系统从车辆的感知系统的一个或多个传感器接收原始传感器数据。一个或多个传感器被配置为检测车辆周围环境中的对象。
94.在框1004，针对从感知系统的一个或多个传感器中的给定传感器接收的原始传感器数据的集合生成范围图像。在框1006，通过针对原始传感器数据的集合执行移除噪声或填充丢失的数据点中的至少一个来修改范围图像。在框1008，生成包括修改后的范围图像的传感器视场(fov)数据集。传感器fov数据集识别给定传感器的视场中是否有遮挡。
95.在框1010，将传感器fov数据集提供给车辆的至少一个车载模块。并且，在框1012，系统被配置为根据提供的传感器fov数据集控制车辆在自主驾驶模式下的操作。
96.最后，如上所述，本技术适用于各种类型的轮式车辆，包括乘用小汽车、公共汽车、rv和卡车或其他载货车辆。
97.除非另有说明，否则前述替代示例并不相互排斥，而是可以以各种组合来实现，以
实现独特的优点。由于在不脱离由权利要求所限定的主题的情况下，可以利用上述特征的这些和其他变化和组合，所以对实施例的前述描述应该通过说明的方式进行，而不是通过限制由权利要求所限定的主题进行。此外，对本文描述的示例的提供，以及措辞为“诸如”、“包括”等的分句不应该被解释为将权利要求的主题限制于特定示例；反而，这些示例旨在仅说明多种可能实施例中的一个。此外，不同附图中的相同附图标记可以识别相同或相似的元素。除非本文另有明确指示，否则过程或其他操作可以以不同的顺序或同时执行。