用于运载工具的方法和系统以及计算机可读介质与流程

1.本发明涉及用于运载工具的方法和系统以及计算机可读介质。


技术实现要素：

2.一种用于运载工具的方法，包括：接收基于传感器所检测到的信号的与运载工具的环境相关联的场景数据；基于所述场景数据生成占用阵列，其中，所述占用阵列包括：多个点，其中各个点表示所述环境内的位置，以及各个点的占用值，其中，所述多个点中的特定点的占用值指示是否在所述环境内的与所述特定点相对应的特定位置处检测到对象；基于所述运载工具的确定位置、与所述多个点中的至少一个第一点相关联的时间数据、以及所述阵列的点中的至少一个第二点的占用值其中至少之一，来修改所述至少一个第一点的占用值；以及基于所述多个点中的在所述占用阵列的特定区域内的点群的占用值组来识别至少一个静态对象缺失，其中，所述占用值组包括所述至少一个第一点的占用值。
3.一种用于运载工具的系统，包括：数据存储器，其存储计算机可执行指令，以及处理器，其被配置为执行所述计算机可执行指令，其中，所述计算机可执行指令的执行使得所述系统进行以下操作：接收基于传感器所检测到的信号的与运载工具的环境相关联的场景数据；基于所述场景数据生成占用阵列，其中，所述占用阵列包括：多个点，其中各个点表示所述环境内的位置，以及各个点的占用值，其中，所述多个点中的特定点的占用值指示是否在所述环境内的与所述特定点相对应的特定位置处检测到对象；基于所述运载工具的确定位置、与所述多个点中的至少一个第一点相关联的时间数据、以及所述阵列的点中的至少一个第二点的占用值其中至少之一，来修改所述至少一个第一点的占用值；以及基于所述多个点中的在所述占用阵列的特定区域内的点群的占用值组来识别至少一个静态对象缺失，其中，所述占用值组包括所述至少一个第一点的占用值。
4.一种非暂时性计算机可读介质，其包括计算机可执行指令，所述计算机可执行指令在被计算系统执行时使得所述计算系统进行以下操作：接收基于传感器所检测到的信号的与运载工具的环境相关联的场景数据；基于所述场景数据生成占用阵列，其中，所述占用阵列包括：多个点，其中各个点表示所述环境内的位置，以及各个点的占用值，其中，所述多个点中的特定点的占用值指示是否在所述环境内的与所述特定点相对应的特定位置处检测到对象；基于所述运载工具的确定位置、与所述多个点中的至少一个第一点相关联的时间数据、以及所述阵列的点中的至少一个第二点的占用值其中至少之一，来修改所述至少一个第一点的占用值；以及基于所述多个点中的在所述占用阵列的特定区域内的点群的占用值组来识别至少一个静态对象缺失，其中，所述占用值组包括所述至少一个第一点的占用值。
附图说明
5.图1示出具有自主能力的自主运载工具的示例。
6.图2示出示例“云”计算环境。
7.图3示出计算机系统。
8.图4示出用于自主运载工具的示例架构。
9.图5示出可以由感知模块使用的输入和输出的示例。
10.图6示出lidar系统的示例。
11.图7示出操作中的lidar系统。
12.图8更详细地示出lidar系统的操作。
13.图9a至9c示出由lidar系统生成的示例性传感器检测数据。
14.图10示出图示用于识别lidar系统的传感器遮挡的处理的流程图。
15.图11是图示用于检测静态对象缺失的例程的示例的流程图。
具体实施方式
16.在以下描述中，为了解释的目的，阐述了许多具体细节，以提供对所公开技术的透彻理解。然而，所公开技术可以在没有这些具体细节的情况下实践将是明显的。在其他实例中，众所周知的构造和装置是以框图形式示出的，以避免不必要地使所公开技术模糊。
17.在附图中，为了便于描述，示出了示意要素(诸如表示装置、模块、指令块和数据要素的那些要素)的具体排列或次序。然而，本领域技术人员应当理解，附图中示意要素的具体次序或排列并不意在意味着要求特定的处理次序或序列、或处理过程的分离。此外，在附图中包含示意要素并不意在意味着在所有实施例中都需要这种要素，也不意在意味着由这种要素表示的特征不能包括在一些实施例中或不能在一些实施例中与其他要素结合。
18.此外，在附图中，连接要素、诸如实线或虚线或箭头用于例示两个或多于两个其他示意要素之间的连接、关系或关联，没有任何此类连接要素并不意在意味着不能存在连接、关系或关联。换句话说，一些要素之间的连接、关系或关联未在附图中示出，以便不使本公开内容模糊。此外，为了便于例示，使用单个连接要素来表示要素之间的多个连接、关系或关联。例如，如果连接要素表示信号、数据或指令的通信，本领域技术人员应理解，这种要素表示影响通信可能需要的一个或多于一个信号路径(例如，总线)。
19.现在将详细参考实施例，其示例在附图中例示出。在以下的详细描述中，阐述了许多具体细节，以便提供对所描述的各种实施例的透彻理解。然而，对于本领域的普通技术人员来说将明显的是，可以在没有这些具体细节的情况下实施所描述的各种实施例。在其他情况下，没有详细描述众所周知的方法、程序、组件、电路和网络，以便不会不必要地使实施例的方面模糊。
20.下面描述的若干特征各自可以彼此独立地使用，也可以与其他特征的任何组合一起使用。然而，任何个别特征可能不能解决以上所讨论的任何问题，或者只能解决以上所讨论的问题之一。以上所讨论的一些问题可能不能通过本文所描述的任何一个特征得到充分解决。虽然提供了标题，但在本说明书的其他地方也可以找到与具体标题有关但在具有该标题的部分中未找到的信息。本文根据以下概要描述实施例：
21.1.总体概述
22.2.硬件概述
23.3.自主运载工具架构
24.4.自主运载工具输入
25.5.传感器遮挡检测
26.6.用于检测传感器遮挡并且基于对传感器遮挡的检测来操作传感器的示例处理
27.总体概述
28.正常工作的成像传感器对于自主运载工具安全导航是重要的。如果成像传感器不能正常工作，则对乘客的风险和对运载工具的损坏可能显著增加。然而，系统可能难以确定成像传感器何时不再正常工作。
29.一些成像传感器的一个作用是检测运载工具场景中的对象。这些成像传感器可以包括lidar传感器、雷达传感器、声纳传感器等，或者发射波或波束并使用来自对象的反射来确定运载工具场景中对象的存在(和位置)的其他传感器。在一些情况下，图像的某些像素(或者与图像相对应的阵列中的点)可能未配准或未检测到对象(在本文中也称为“对象缺失(object miss)”或“对象未检出(object undetection)”)。
30.可以预期由于环境或其他暂时性因素而导致的对象缺失，但是由于在相对短的时间段内自身无法解决的传感器故障或传感器遮挡而导致的对象缺失可能是不安全的，并且增加了对运载工具中的乘客和运载工具周围的其他人造成伤害的风险。为了应对该问题，系统可以监视输入的场景数据并且确定不同点或像素处的对象缺失或未检出是暂时性的(例如，由于环境、其他暂时性因素，或具有相对短的持续时间)还是静态的(例如，具有相对长的持续时间和/或由于可能依赖于主动步骤来解决的一些其他因素)。如果系统确定为对象缺失是静态的，则可以采取一个或多于一个动作来改善问题。通过监视和检测静态对象缺失，本文描述的系统可以改善成像传感器和自主运载工具的功能。具体地，系统可以提高自主运载工具的安全性。此外，通过至少考虑到正在使用的传感器的性质、正在分析的数据以及用于自主运载工具感知其环境并基于其对环境的感知来采取动作的时间约束，本文描述的用于检测静态对象缺失的技术不能或至少不能可行地由人进行。
31.硬件概述
32.图1示出具有自主能力的自主运载工具100的示例。
33.如本文所使用的，术语“自主能力”是指一种功能、特征或设施，该功能、特征或设施使运载工具能够部分地或完全地操作，而无需实时的人类干预，包括但不限于完全自主运载工具、高度自主运载工具和有条件自主运载工具。
34.如本文所使用的，自主运载工具(av)是一种具有自主能力的运载工具。
35.如本文所使用的，“运载工具”包括货物或人员的运输方式。例如，小汽车、公共汽车、火车、飞机、无人机、卡车、船只、舰艇、潜水器、飞船等。无人驾驶的小汽车是运载工具的示例。
36.如本文所使用的，“轨迹”是指将av从第一时空地点导航到第二时空地点的路径或路线。在实施例中，第一时空地点被称为初始地点或起始地点，第二时空地点被称为目的地、最终地点、目标、目标位置或目标地点。在一些示例中，轨迹由一个或多于一个路段(例如，道路的数段)组成，并且各路段由一个或多于一个块(例如，车道或交叉口的一部分)组成。在实施例中，时空地点对应于真实世界地点。例如，时空地点是上车或下车地点，以使人员或货物上车或下车。
37.如本文所使用的，“(一个或多于一个)传感器”包括一个或多于一个硬件组件，用于检测与传感器周围环境有关的信息。一些硬件组件可包括感测组件(例如，图像传感器、
生物特征传感器)、传输和/或接收组件(例如，激光或射频波发射器和接收器)、电子组件(诸如，模数转换器)、数据存储装置(诸如，ram和/或非易失性存储器)、软件或固件组件和数据处理组件(诸如，专用集成电路)、微处理器和/或微控制器。
38.如本文所使用的，“场景描述”是一种数据结构(例如，列表)或数据流，其包括由av运载工具上的一个或多于一个传感器检测到的一个或多于一个经分类或标记的对象，或由av外部的源提供的一个或多于一个分类或标记的对象。
39.如本文所使用的，“道路”是一个可以被运载工具穿过的物理区域，并且可以对应于已命名的通道(例如，城市街道、州际高速公路等)或可对应于未命名的通道(例如，房屋或办公楼内的车行道、停车场的一段、空置停车场的一段、乡村区域的污物通道等)。因为有些运载工具(例如，四轮驱动的小卡车、越野车(suv)等)能够穿过各种不特别适合运载工具行驶的物理区域，因此“道路”可以是任何市政当局或其他政府或行政机构没有正式定义为一条通道的物理区域。
40.如本文所使用的，“车道”是道路的可被运载工具穿过的部分，并且车道可对应于车道标记之间的大部分或全部空间，或仅对应于车道标记之间的部分空间(例如，小于50％)。例如，具有相距很远的车道标记的道路可能容纳两个或多于两个运载工具，使得一个运载工具可以在不穿过车道标记的情况下超过另一个运载工具，因此可被解释为车道比车道标记之间的空间窄，或车道之间有两个车道。在没有车道标记的情况下，也可以对车道进行解释。例如，可以基于环境的物理特征(例如，农村地区的岩石和沿着大道的树木)来定义车道。
[0041]“一个或多于一个”包括由一个要素执行的功能、由多个要素例如以分布式的方式执行的功能、由一个要素执行的若干功能、由若干要素执行的若干功能、或上述的任何组合。
[0042]
还将理解的是，尽管在一些情况下，术语“第一”、“第二”等在本文中是用来描述各种要素的，但这些要素不应受到这些术语的限制。这些术语仅用于区分一个要素与另一个要素。例如，在未背离各种所描述的实施例的范围的情况下，第一触点可被称为第二触点，并且类似地，第二触点可被称为第一触点。第一触点和第二触点两者都是触点，但它们不是相同触点，除非另外指定。
[0043]
在本文所描述的各种实施例的说明书中使用的术语仅用于描述特定实施例的目的，而不是意在限制。如在所描述的各种实施例的说明书和所附权利要求书中所使用的，单数形式“a”、“an”和“the”也意在包括复数形式，除非上下文另有明确说明。还将理解的是，如本文所使用的“和/或”是指并且包括一个或多于一个相关清单项目的任何和所有可能的组合。还将理解的是，当在本说明书中使用术语“包括”、“包含”、“具备”和/或“具有”时，具体说明存在所陈述的特征、整数、步骤、操作、要素和/或组件，但并不排除存在或添加一个或多于一个其他特征、整数、步骤、操作、要素、组件、和/或其群组。
[0044]
如本文所使用的，取决于上下文，术语“如果”可选地被理解为意指“当”或“在当时”或“响应于确定为”或“响应于检测到”。类似地，取决于上下文，短语“如果已确定”或“如果[所陈述的条件或事件]已被检测到”可选地被理解为意指“在确定时”或“响应于确定为“或”在检测到[所陈述的条件或事件]时”或“响应于检测到[所陈述的条件或事件]”。
[0045]
如本文所使用的，av系统是指av以及支持av操作的硬件、软件、存储的数据和实时
生成的数据的阵列。在实施例中，av系统并入在av内。在实施例中，av系统跨若干地点分布。例如，av系统的一些软件是在类似于下面关于图2描述的云计算环境200的云计算环境中实现的。
[0046]
一般而言，本文件描述了适用于任何具有一种或多种自主能力的运载工具的技术，包括完全自主运载工具、高度自主运载工具和有条件自主运载工具，诸如分别为所谓的第5级、第4级和第3级运载工具(见sae国际标准j3016：道路上机动车自动驾驶系统相关术语的分类和定义，通过引用将其全部内容并入本文件，用于了解运载工具自主权等级的更多详细信息)。本文件所描述的技术也适用于部分自主运载工具和驾驶员辅助运载工具，诸如所谓的第2级和第1级运载工具(见sae国际标准j3016：道路上机动车自动驾驶系统相关术语的分类和定义)。在实施例中，一个或多于一个第1级、第2级、第3级、第4级和第5级运载工具系统可基于对传感器输入的处理，在某些操作条件下自动执行某些运载工具操作(例如，转向、制动和使用地图)。本文件中所描述的技术可以使从完全自主运载工具到人类操作的运载工具范围内的任何级别的运载工具受益。
[0047]
参考图1，av系统120使av 100沿着轨迹198操作，穿过环境190至目的地199(有时称为最终地点)，同时避开对象(例如，自然障碍物191、运载工具193、行人192、骑车者和其他障碍物)和遵守道路规则(例如，操作规则或驾驶偏好)。
[0048]
在实施例中，av系统120包括用于从计算机处理器146接收操作命令并对其进行操作的装置101。在实施例中，计算处理器146与下面参考图3描述的处理器304相似。装置101的示例包括转向控制器102、制动器103、挡位、加速踏板或其他加速控制机构、挡风玻璃雨刮器、侧门锁、窗控器和转向指示器。
[0049]
在实施例中，av系统120包括用于测量或推断av 100的状态或条件的属性的传感器121，这些属性诸如是av的位置、线速度和角速度及线加速度和角加速度、以及航向(例如，av 100的前端的方向)。传感器121的示例是gps、测量运载工具线加速度和角速率两者的惯性测量单元(imu)、用于测量或估计轮滑移率的轮速率传感器、轮制动压力或制动扭矩传感器、引擎扭矩或轮扭矩传感器以及转向角度和角速率传感器。
[0050]
在实施例中，传感器121还包括用于感测或测量av的环境的属性的传感器。例如，可见光、红外或热(或两者兼有)光谱的单目或立体摄像机122，lidar 123，雷达，超声波传感器，飞行时间(tof)深度传感器，速率传感器，温度传感器，湿度传感器和降水传感器。
[0051]
在实施例中，av系统120包括数据存储单元142和存储器144，用于存储与计算机处理器146相关联的机器指令或由传感器121收集的数据。在实施例中，数据存储单元142与以下关于图3描述的rom 308或存储装置310类似。在实施例中，存储器144与下面描述的主存储器306类似。在实施例中，数据存储单元142和存储器144存储有关环境190的历史、实时和/或预测性信息。在实施例中，存储的信息包括地图、驾驶性能、交通拥堵更新或天气条件。在实施例中，与环境190有关的数据从远程数据库134通过通信信道传输到av 100。
[0052]
在实施例中，av系统120包括通信装置140，用于将对其他运载工具的状态和条件(诸如位置、线速度和角速度、线加速度和角加速度、以及线航向和角航向)测量或推断的属性传送到av 100。这些装置包括运载工具到运载工具(v2v)和运载工具到基础设施(v2i)通信装置以及用于通过点对点或自组织(ad hoc)网络或两者进行无线通信的装置。在实施例中，通信装置140跨电磁频谱(包括无线电和光通信)或其他介质(例如，空气和声介质)进行
通信。运载工具对运载工具(v2v)、运载工具对基础设施(v2i)通信(以及在一些实施例中为一种或多种其他类型的通信)的组合有时被称为运载工具对所有事物(v2x)通信。v2x通信通常符合一个或多于一个通信标准，用于与自主运载工具进行的和在自主运载工具之间的通信。
[0053]
在实施例中，通信装置140包括通信接口。例如，有线、无线、wimax、wi-fi、蓝牙、卫星、蜂窝、光、近场、红外或无线电接口。通信接口将数据从远程数据库134传输到av系统120。在实施例中，远程数据库134嵌入在如图2中所描述的云计算环境200中。通信接口140将从传感器121收集的数据或与av 100操作有关的其他数据传输到远程数据库134。在实施例中，通信接口140向av 100传输与遥操作有关的信息。在一些实施例中，av 100与其他远程(例如，“云”)服务器136通信。
[0054]
在实施例中，远程数据库134还存储和传输数字数据(例如，存储诸如道路和街道地点的数据)。这些数据存储在av 100上的存储器144中，或者通过通信信道从远程数据库134传输到av 100。
[0055]
在实施例中，远程数据库134存储和传输与以前在一天中类似时间沿着轨迹198行驶的运载工具的驾驶属性有关的历史信息(例如，速率和加速度分布)。在一个实现中，这种数据可以存储在av 100上的存储器144中，或者通过通信信道从远程数据库134传输到av 100。
[0056]
位于av 100上的计算装置146基于实时传感器数据和先验信息两者以算法方式生成控制动作，允许av系统120执行其自主驾驶能力。
[0057]
在实施例中，av系统120包括耦接到计算装置146的计算机外围设备132，用于向av 100的用户(例如，乘员或远程用户)提供信息和提醒并接收来自该用户的输入。在实施例中，外围设备132类似于下面参考图3讨论的显示器312、输入装置314和光标控制器316。耦接是无线的或有线的。任意两个或多于两个接口装置可以集成到单个装置中。
[0058]
图2例示示例“云”计算环境。云计算是一种服务交付模式，用于使得能够方便、按需地在网络上访问可配置计算资源(例如网络、网络带宽、服务器、处理、内存、存储、应用程序、虚拟机和服务)的共享池。在典型的云计算系统中，一个或多于一个大型云数据中心容纳用于交付云所提供的服务的机器。现在参考图2，云计算环境200包括通过云202互连的云数据中心204a、204b和204c。数据中心204a、204b和204c为连接到云202的计算系统206a、206b、206c、206d、206e和206f提供云计算服务。
[0059]
云计算环境200包括一个或多于一个云数据中心。一般而言，云数据中心(例如图2中所示的云数据中心204a)是指构成云(例如图2中所示的云202或云的特定部分)的服务器的物理排列。例如，服务器在云数据中心中物理排列成房间、组、行和机架。云数据中心有一个或多于一个区域，其中包括一个或多于一个服务器房间。每个房间有一行或多行服务器，并且每行包括一个或多于一个机架。每个机架包括一个或多于一个单独的服务器节点。在一些实现中，区域、房间、机架和/或行中的服务器基于数据中心设施的物理基础设施要求(包括电力、能源、热力、热源和/或其他要求)被排列成若干组。在实施例中，服务器节点类似于图3中描述的计算机系统。数据中心204a具有许多分布在多个机架上的计算系统。
[0060]
云202包括云数据中心204a、204b和204c以及用于连接云数据中心204a、204b和204c并有助于促进计算系统206a-f对云计算服务的访问的网络和网络资源(例如，网络设
备、节点、路由器、交换机和网络电缆)。在实施例中，该网络表示一个或多于一个本地网络、广域网或通过使用地面或卫星连接部署的有线或无线链路耦接的网际网络的任意组合。通过网络交换的数据使用多种网络层协议(诸如，因特网协议(ip)、多协议标签交换(mpls)、异步传输模式(atm)、帧中继(frame relay)等)进行传输。此外，在网络表示多个子网络的组合的实施例中，在每个底层子网络上使用不同的网络层协议。在一些实施例中，网络表示一个或多于一个互连网际网络(诸如公共因特网等)。
[0061]
计算系统206a-f或云计算服务消费者通过网络链路和网络适配器连接到云202。在实施例中，计算系统206a-f被实现为各种计算装置，例如服务器、台式机、膝上型计算机、平板电脑、智能手机、物联网(iot)装置、自主运载工具(包括小汽车、无人机、航天飞机、火车、公共汽车等)和消费电子产品。在实施例中，计算系统206a-f在其他系统中实现或作为其他系统的一部分实现。
[0062]
图3例示计算机系统300。在实现中，计算机系统300是一种专用计算装置。专用计算装置被硬连线以执行这些技术，或包括诸如一个或多于一个专用集成电路(asic)或现场可编程门阵列(fpga)的被持久编程为执行上述技术的数字电子装置，或可包括一个或多于一个通用硬件处理器，这些硬件处理器经编程以根据固件、存储器、其他存储器、或者组合中的程序指令执行这些技术。这种专用的计算装置还可以将定制的硬线逻辑、asic或fpga与定制的编程相结合来完成这些技术。在各种实施例中，专用计算装置是台式计算机系统、便携式计算机系统、手持装置、网络装置或包含硬线和/或程序逻辑以实现这些技术的任何其他装置。
[0063]
在实施例中，计算机系统300包括总线302或用于传达信息的其他通信机制、以及与总线302耦接以处理信息的硬件处理器304。硬件处理器304是例如通用微处理器。计算机系统300还包括主存储器306，诸如随机存取存储器(ram)或其他动态存储装置，该主存储器306耦接到总线302以存储信息和指令，该信息和指令由处理器304执行。在一个实现中，主存储器306用于在执行要由处理器304执行的指令期间存储临时变量或其他中间信息。当这些指令存储在处理器304可访问的非暂时性存储介质中时，使计算机系统300变成一个专用机器，该机器被定制以执行指令中指定的操作。
[0064]
在实施例中，计算机系统300还包括只读存储器(rom)308或耦接到总线302的其他静态存储装置，用于存储处理器304的静态信息和指令。提供诸如磁盘、光盘、固态驱动器或三维交叉点存储器的存储装置310，并且该存储装置310耦接到总线302以存储信息和指令。
[0065]
在实施例中，计算机系统300通过总线302耦接到诸如阴极射线管(crt)、液晶显示器(lcd)、等离子体显示器、发光二极管(led)显示器或用于向计算机用户显示信息的有机发光二极管(oled)显示器的显示器312。包括字母数字键和其他键的输入装置314耦接到总线302，用于向处理器304传送信息和命令选择。另一种类型的用户输入装置是光标控制器316，诸如鼠标、轨迹球、触控显示器或光标方向键，用于将方向信息和命令选择传送到处理器304，并用于控制光标在显示器312上的移动。这种输入装置通常具有两个轴(第一轴(例如，x轴)和第二轴(例如，y轴))上的两个自由度，这两个轴允许装置指定平面上的位置。
[0066]
根据一个实施例，本文的技术由计算机系统300响应于处理器304执行主存储器306中包含的一个或多于一个指令的一个或多于一个序列而执行。这些指令从诸如存储装置310的另一存储介质读入主存储器306。执行主存储器306中包含的指令序列使处理器304
执行本文所描述的过程步骤。在替代实施例中，使用硬连线电路代替或与软件指令结合使用。
[0067]
如本文所使用的术语“存储介质”是指存储数据和/或指令的任何非暂时性介质，这些数据和/或指令使机器以特定方式操作。这种存储介质包括非易失性介质和/或易失性介质。非易失性介质例如包括诸如存储装置310的光盘、磁盘、固态驱动器或三维交叉点存储器。易失性介质包括动态存储器，诸如主存储器306。存储介质的常见形式包括例如软盘、软磁盘、硬盘、固态驱动器、磁带或任何其他磁数据存储介质、cd-rom、任何其他光数据存储介质、任何具有孔型的物理介质、ram、prom和eprom、flash-eprom、nv-ram、或任何其他存储芯片或存储盒。
[0068]
存储介质有别于传输介质，但可以与传输介质相结合使用。传输介质参与存储介质之间的信息传输。例如，传输介质包括同轴电缆、铜线和光纤，其包括具备总线302的电线。传输介质也可以采取声波或光波的形式，诸如在无线电波和红外数据通信过程中产生的声波或光波。
[0069]
在实施例中，各种形式的介质涉及将一个或多于一个指令的一个或多于一个序列承载到处理器304以供执行。例如，这些指令最初是在远程计算机的磁盘或固态驱动器上执行的。远程计算机将指令加载到其动态存储器中，并使用调制解调器通过电话线路发送指令。计算机系统300的本地调制解调器接收电话线路上的数据，并使用红外发射器将数据转换为红外信号。红外检测器接收红外信号中承载的数据，并且适当的电路将数据放置在总线302上。总线302将数据承载到主存储器306，处理器304从主存储器306检索并执行指令。主存储器306接收的指令可以可选地在处理器304执行之前或之后存储在存储装置310上。
[0070]
计算机系统300还包括耦接到总线302的通信接口318。通信接口318提供耦接到连接至本地网络322的网络链路320的双向数据通信。例如，通信接口318是综合业务数字网(isdn)卡、电缆调制解调器、卫星调制解调器或用以提供与相应类型电话线路的数据通信连接的调制解调器。作为另一示例，通信接口318是局域网(lan)卡，用于提供与兼容lan的数据通信连接。在一些实现中，无线链路也被实现。在任何这种实现中，通信接口318发送和接收承载表示各种类型的信息的数字数据流的电、电磁或光信号。
[0071]
网络链路320通常通过一个或多于一个网络向其他数据装置提供数据通信。例如，网络链路320通过本地网络322提供与主计算机324或与由因特网服务提供商(isp)326运营的云数据中心或设备的连接。isp 326又通过现在通常称为“因特网”328的世界范围分组数据通信网络来提供数据通信服务。本地网络322和因特网328两者都使用承载数字数据流的电、电磁或光信号。通过各种网络的信号以及网络链路320上并通过通信接口318的信号是传输介质的示例形式，其中这些信号承载了进出计算机系统300的数字数据。在实施例中，网络包含上述云202或云202的一部分。
[0072]
计算机系统300通过(一个或多于一个)网络、网络链路320和通信接口318发送消息和接收包括程序代码的数据。在实施例中，计算机系统300接收用于处理的代码。接收到的代码在接收到时由处理器304执行，和/或存储在存储装置310中，或存储在其他非易失性存储装置中以便以后执行。
[0073]
自主运载工具架构
[0074]
图4示出用于自主运载工具(例如，图1所示的av 100)的示例架构400。架构400包
括感知模块402(有时称为感知电路)、规划模块404(有时称为规划电路)、控制模块406(有时称为控制电路)、定位模块408(有时称为定位电路)和数据库模块410(有时称为数据库电路)。各模块在av 100的操作中发挥作用。共同地，模块402、404、406、408和410可以是图1所示的av系统120的一部分。在一些实施例中，模块402、404、406、408和410中的任何模块是计算机软件(例如，计算机可读介质上所存储的可执行代码)和计算机硬件(例如，一个或多于一个微处理器、微控制器、专用集成电路[asic]、硬件存储器装置、其他类型的集成电路、其他类型的计算机硬件、或者这些硬件中的任何或所有的组合)的组合。
[0075]
在使用中，规划模块404接收表示目的地412的数据，并且确定表示av100为了到达(例如，抵达)目的地412而可以行驶的轨迹414(有时称为路线)的数据。为了使规划模块404确定表示轨迹414的数据，规划模块404从感知模块402、定位模块408和数据库模块410接收数据。
[0076]
感知模块402使用例如也如图1所示的一个或多于一个传感器121来识别附近的物理对象。将对象分类(例如，分组成诸如行人、自行车、汽车、交通标志等的类型)，并且将包括经分类的对象416的场景描述提供至规划模块404。
[0077]
规划模块404还从定位模块408接收表示av位置418的数据。定位模块408通过使用来自传感器121的数据和来自数据库模块410的数据(例如，地理数据)以计算位置来确定av位置。例如，定位模块408使用来自gnss(全球导航卫星系统)传感器的数据和地理数据来计算av的经度和纬度。在实施例中，定位模块408所使用的数据包括具有行车道几何属性的高精度地图、描述道路网络连接属性的地图、描述行车道物理属性(诸如交通速率、交通量、运载工具和自行车车道的数量、车道宽度、车道交通方向、或车道标记类型和地点，或者它们的组合)的地图、以及描述道路特征(诸如人行横道、交通标志或各种类型的其他行驶信号等)的空间地点的地图。
[0078]
控制模块406接收表示轨迹414的数据和表示av位置418的数据，并且以将使得av 100行驶轨迹414到达目的地412的方式来操作av的控制功能420a～420c(例如，转向、油门、制动、点火)。例如，如果轨迹414包括左转，则控制模块406将以如下方式操作控制功能420a～420c：转向功能的转向角度将使得av 100左转，并且油门和制动将使得av 100在进行转弯之前暂停并等待经过的行人或运载工具。
[0079]
自主运载工具输入
[0080]
图5示出感知模块402(图4)所使用的输入502a-502d(例如，图1中所示的传感器121)和输出504a-504d(例如，传感器数据)的示例。一个输入502a是lidar(light detection and ranging(光检测和测距))系统(例如，图1所示的lidar 123)。lidar是使用光(例如，诸如红外光等的一道光)来获得与其视线中的物理对象有关的数据的技术。lidar系统产生lidar数据作为输出504a。例如，lidar数据是用于构造环境190的表示的3d或2d点(也称为点云)的集合。
[0081]
另一输入502b是雷达系统。雷达是使用无线电波来获得与附近的物理对象有关的数据的技术。雷达可以获得与不在lidar系统的视线内的对象有关的数据。雷达系统502b产生雷达数据作为输出504b。例如，雷达数据是用于构造环境190的表示的一个或多于一个射频电磁信号。
[0082]
另一输入502c是照相机系统。照相机系统使用一个或多于一个照相机(例如，使用
100在地面802上行驶时，在没有东西阻挡道路的情况下，lidar系统602将继续检测到由下一个有效地面点806反射的光。然而，如果对象808阻挡道路，则lidar系统602所发射的光804e-804f将以与所预期的一致方式不一致的方式从点810a-810b反射。根据该信息，av 100可以确定存在对象808。虽然参考lidar描述，但将理解，可以在使用不同的基础技术(诸如但不限于雷达、照相机、声纳等)的传感器中发生并识别障碍物。
[0088]
lidar传感器遮挡检测/静态对象缺失检测
[0089]
图9a至9c表示由av 100的lidar传感器生成的传感器检测。尽管参考关于图9a至9c的lidar传感器，但是应当理解，可以使用其他类型的传感器，并且针对其他技术(诸如但不限于雷达、照相机、声纳等)生成占用图(occupancy map)。
[0090]
图9a示出表示lidar传感器的360度视场的传感器检测数据的初始占用图。可以基于从lidar传感器(或如上所述的其他传感器)接收的场景数据来生成初始占用图。初始占用图的水平维度表示与传感器检测数据的到达方向的角度测量(度、弧度、密位等)相对应的方位角或任何其他x轴值。初始占用图的垂直维度表示与由lidar发射的光被反射回到lidar传感器中的高度相对应的仰角或任何其他y轴值。例如，lidar传感器可以被配置为接收来自30度和-30度之间的仰角角度的反射光。在一个特定配置中，lidar传感器可以接收来自高达15度且低至-25度的仰角角度的光。以黑色示出的初始占用图的区域指示包括接收到传感器读数并使用第一准则集合将传感器读数确定为有效的空间点的视场区域。
[0091]
图9b示出基于初始占用图的过滤后占用图。在一些情况下，通过将第二准则集合应用于来自初始占用图的数据来产生过滤后占用图。第二准则集合对于清理初始占用图中描绘的原始数据是有用的，并且可以包括用于清理原始数据的时间和空间准则这两者(例如，校正初始占用图中的假阴性和/或假阳性)。
[0092]
图9c示出遮挡图。在某些情况下，通过将第三准则集合应用于过滤后占用图中描绘的数据来生成遮挡图。第三准则集合将过滤后占用图分成由多个点组成的区域，并且确定各个区域是否具有足够数量的传感器数据点以排除传感器遮挡的存在。在所示示例中，各个区域占用针对特定方位角或方位角范围的整个仰角范围。然而，应当理解，根据需要，区域可以被配置为具有不同的形状和/或大小。考虑整个仰角范围在传感器窗口高度特别小的情形下可能是有用的，因为任何传感器遮挡可能占用特定仰角的大部分(如果不是全部)点。这可以使系统能够识别在大约-50度和-95度之间以及在-110度和-125度之间的传感器的遮挡。
[0093]
用于检测传感器遮挡并且基于对传感器遮挡的检测来操作传感器的示例处理
[0094]
图10示出用于检测lidar传感器遮挡的示例处理1000的流程图。为了方便起见，处理1000将被描述为由位于一个或多于一个位置的一个或多于一个计算机的系统进行。例如，根据本说明书适当编程的图2中描绘的计算系统之一可以进行处理1000。
[0095]
在步骤1002处，在系统的一个或多于一个处理器处接收传感器检测数据。传感器检测数据可以采用由包括返回信号的范围值、幅度和/或相位(或如本文所述的其他技术)的lidar返回数据和/或雷达返回数据形成的非结构化三维点云的形式。传感器检测数据可以表示av 100周围的多个点，并且可以在诸如方位角和仰角、x-y对和/或极坐标等的各种坐标系中定义。
[0096]
在步骤1004处，可以通过将传感器检测数据组织成表示lidar传感器的视场的二
维图、阵列或图像矩阵来生成初始占用图。上面描述并在图9a中描绘了示例性初始占用图。可以通过确定(例如，分配)运载工具周围的点的第一占用值集合来进行占用图的生成。在一些实施例中，对运载工具周围的所有点进行确定，并且在其他实施例中，仅对运载工具周围的点的子集进行确定。当已经预期特定点由于av 100的位置或其他已知的传感器遮蔽而接收不到数据时，可以跳过确定。对第一占用值集合的确定包括确定是否已经在相应点处获得(一个或多于一个)测量结果。该确定通常基于第一准则集合来进行。例如，在相应点处接收的返回信号可能需要满足检测阈值或信号强度。根据确定为返回信号满足至少第一准则集合的检测阈值，返回信号的占用值被设置为真或第一占用值。根据确定为返回信号未能满足检测阈值，返回信号的占用值被设置为假或第二占用值。在任一情况下，该二进制值取代与相应点相关联的任何范围信息。应当注意，第一准则集合可以包括对传感器检测数据的特定集合的附加要求以构成有效返回。
[0097]
在步骤1006处，基于初始占用图生成过滤后占用图。在图9b中描绘了示例性过滤后占用图。可以通过确定初始占用图的相应点各自是否满足第二准则集合来从初始占用图生成过滤后占用图。第二准则集合可以包括空间和/或时间准则。示例性空间准则可以基于初始占用图中具有第二占用值(例如，假或没有测量结果)的点是否与具有第一占用值(例如，真或检测到测量结果)的阈值数目的点相距阈值距离。例如，在相应点有很少的具有第二占用值的相邻点或者没有具有第二占用值的相邻点(例如，很少或没有无测量结果的相邻点)的情况下，可以满足第二准则集合的空间准则，并且可以将相应点重置为第一占用值。类似地，在相应点具有第一占用值但是被具有第二占用值的点围绕的情况下，空间准则可能失败并且占用值可以被重置为第二占用值。示例性时间准则可以基于相应点在特定时间段中是否具有阈值数目的检测。例如，当相应点已经在该相应点的记录可以被认为满足第二准则集合的时间准则之前和/或之后的至少80％或90％的时间接收到检测时，从而允许第二占用值被改变为第一占用值。更保守的评估可以将第一占用值分配给当过去m-1个帧中的任何帧已经在相应点处具有有效检测时的点。应当注意，时序时间跨度通常针对帧数来提及，并且各个帧占用的时间量对应于lidar传感器的采样频率。在一些实施例中，lidar传感器可以被配置为记录每秒多达150万个数据点；然而，应当注意，这覆盖了整个视场，因此现代lidar系统通常将生成每秒五到五十个帧。
[0098]
根据确定为相应点满足第二准则集合，其占用值被设置为第一占用值。此外，根据确定为相应点未能满足第二准则集合，其占用值被设置为第二占用值。应当理解，仅当时间准则和空间准则这两者都被满足时，相应点可以被认为满足第二准则集合。可替代地，当仅满足空间准则和时间准则中的一个时，还可能存在允许满足第二准则集合的加权准则。例如，如果相应点周围的点中的每一个具有第一占用值，但是数据仅在大约50％的时间在该相应点处被接收，则该相应点仍然可以被分配第一占用值。
[0099]
在一些实施例中，使用第二准则集合来仅评估来自初始占用图的被分配第二占用值的点，并且初始占用图中被指示为具有第一占用值的点被延续到过滤后占用图。在该特定实施例中，第二准则集合的应用可以被称为空间和时间孔洞关闭(spatial and temporal hole closing)。该操作防止系统错误地识别遮挡，其中仅视场的特别小的区被遮挡或者当该区的大小不足以损害lidar传感器的操作时该区已经终止工作。该操作还有助于防止错误的遮挡识别，其中在正在分析的当前帧之前和/或之后，对于相应点仅缺失少
量的数据帧。在一些实施例中，当av 100附近的对象具有使得lidar传感器难以或甚至不可能检测到该对象的特性时，可以使用第二传感器(例如，成像传感器)来帮助确定该对象的存在。在这种情形下，可以使用由第二传感器提供的传感器数据来填充缺失的传感器检测数据。
[0100]
在步骤1008处，基于过滤后占用图生成遮挡图。通过将第三准则集合应用于在过滤后占用图中表示的至少一些点来生成遮挡图。在一些实施例中，第三准则集合确定过滤后占用图的特定区域是否具有被指示为具有第一占用值的阈值数目(数量)或百分比的点。区域可以具有不同的形状和大小，诸如矩形、圆形和/或椭圆形。区域可以包括落入第一维度(诸如方位角(例如，35度，或者第一维度内的范围，诸如35-40度))内的所有点，并且阈值可以是例如30％、40％、50％、60％、70％、80％、90％或95％。在满足阈值的情况下，区域内的所有点可以被分配第一占用值，并且在不满足阈值的情况下，预定区内的所有点可以被分配第二占用值。将第二占用值分配给预定区可以被报告为该区域内的遮挡。所报告的遮挡可以被表征为位于传感器的传感器窗口上的固体障碍物。在一些实施例中，整个过滤后占用图可以被划分为多个相邻区域。在两个或多于两个相邻区域被分配第二占用值的情况下，多个遮挡区域可以被定义为包含两个或多于两个相邻区域的单个遮挡。
[0101]
可以以多种方式抑制假阳性传感器遮挡。在一些实施例中，地理地图数据可以用于进一步抑制假阳性。这在已知lidar传感器不太可能检测到的已知类型的对象非常接近av 100的情况下是有用的。例如，当av 100在大型水体附近行驶时，由于lidar传感器发射的光不太可能从水反射回并返回到lidar传感器，因此可能会丢失传感器返回。可以从传感器遮挡分析中移除传感器视场的已知监视水体的部分。类似地，当av 100在大面积的天空可见的位置驾驶时，视场的上部分通常不会接收到任何有用的信号返回。在这些类型的情形下，地理数据可以帮助识别这些已知对象类型并且忽略遮挡可能链接到已知对象类型的遮挡指示。利用天空示例，可以从分析中移除视场的上部分。地理数据可以向系统的处理器通知为了检测传感器遮挡的目的而开始忽略数据返回的仰角。在一些实施例中，av 100自身的部分可能遮挡lidar传感器视场的部分。在这种配置中，由av 100引起的传感器遮挡可以被忽略或被考虑到遮挡分析中。失败的传感器返回的其他常见原因包括黑色小汽车和潮湿道路。
[0102]
av 100可以以不同的方式使用所识别的遮挡。在大部分视场被遮挡的情况下，av 100可以被配置为终止自主操作或更主要地依赖于备用传感器。在这种情况下，av 100的乘员将通过听觉或视觉装置被通知遮挡。轻微遮挡可能会降低完全自主操作或者导致av 100在特定情形下更保守地操作。在一些实施例中，av 100具有lidar传感器遮挡清洁或清除系统，诸如喷水器、传感器窗口擦拭机构、或用于清洁或清除与lidar传感器相关联的传感器窗口的其他装置。
[0103]
对象缺失
[0104]
如本文所述，暂时性对象缺失或未检出可能由场景中的任何一个或组合引起，诸如但不限于阈值距离内没有对象(例如，没有对象反射波束或波，诸如当传感器的一部分指向天空时)、不将波或波束反射回传感器的对象(例如，水)、信号噪声等。暂时性对象缺失或未检出可以在相对短的时间段(例如，几秒或少于一分钟)中自身解决或被动地解决(例如，没有其他的某物或某人采取主动步骤)。例如，如果暂时性对象未检出是由于没有对象反射
波束或波(或对象未将波束或波反射回传感器)的场景，则随着运载工具移动到不同的场景(具有反射波束或波的对象)，对象未检出将被解决。
[0105]
静态对象缺失或未检出也可能由一个或多于一个场景引起，诸如但不限于传感器遮挡或故障。静态对象缺失或未检出可能无法自身解决和/或依赖于其他的某物或某人采取主动步骤来解决。例如，如果静态对象未检出是由于传感器遮挡，则未检出可能无法解决直到传感器被清洁或维修为止。
[0106]
考虑到暂时性对象缺失或未检出是基于场景或运载工具位置所预期的并且自身解决，而静态对象未检出可能需要主动步骤，系统可以确定对象未检出是暂时性对象未检出到还是静态对象未检出。如果对象未检出是静态的，则系统可以发送警报或采取步骤来改善问题，而如果未检出是暂时性的，则系统可以给予未检出时间来自身解决。
[0107]
图11是示出由至少一个处理器实现以检测静态对象缺失的例程1100的示例的流程图。例程1100仅出于说明性目的而提供。应当理解，可以移除例程1100的一个或多于一个步骤，或者可以改变步骤的顺序。在某些情况下，可以同时或并发地进行一个或多于一个步骤。此外，出于说明清楚示例的目的，在各个数据流阶段期间进行各种操作的上下文中描述了一个或多于一个特定系统组件。然而，可以使用处理步骤跨系统组件的其他系统布置和分布。
[0108]
在框1102处，处理器接收场景数据。场景数据可以包括与运载工具100和/或运载工具100的场景(本文也称为运载工具场景)内的其他对象相关的数据。在一些情况下，场景数据可以指示是否在特定位置处检测到对象(诸如围绕运载工具100的对象(非限制性示例：由感知模块402识别的对象))和/或检测到的对象的类型。如本文中所描述，对象可以包括(但不限于)行人、自行车、其他运载工具、标志、路缘、建筑物等。作为非限制性示例，场景数据502可以包括与场景中的运载工具和/或对象的位置、朝向、速度、加速度或其他信息相关联的数据(本文中也称为场景状态数据或状态数据)。
[0109]
场景数据可以从与感知模块402(或其他源)相关联的传感器套件获得，并且可以基于从传感器套件获得的数据，该传感器套件包括诸如照相机、lidar传感器、雷达传感器、声纳传感器和/或麦克风等的一个或多于一个装置，或者与对象的通信(例如，与其他运载工具的无线通信)等。如本文所述，场景数据可以包括对象的加速度、速度、(相对于运载工具100的或绝对/地理)位置、朝向/航向、分类或大小等中的任何一个或任何组合。
[0110]
在某些情况下，场景数据可以指示是否在围绕运载工具的特定点处识别出对象。在一些情况下，场景数据可以包括与在相同或不同仰角处的围绕运载工具360度视图(或不同方位角)相对应的数据。在某些情况下，场景数据可以包括与距中心点 /-30度仰角相对应的数据。在一些这种情况下，中心点可以对应于与场景数据相关联的一个或多于一个传感器(例如，生成或用于导出场景数据的传感器)的仰角。在某些情况下，传感器可以检测相对于传感器的不同的向上/向下仰角。例如，传感器可以被配置为检测向上20度和向下-25度的仰角。
[0111]
在框1104处，处理器基于场景数据生成占用阵列。在一些情况下，占用阵列可以包括以不同的行和列布置的点。然而，应当理解，占用阵列可以以各种方式布置。占用阵列中的各个点可以对应于场景中或围绕运载工具的位置。例如，如果场景数据包括具有30度仰角的360度(或其他的某方位角)的数据，则阵列中的各个点可以对应于该场景数据内的某
个点。
[0112]
在一些情况下，占用阵列的行可以对应于不同的仰角。例如，特定行(例如，中间行)可以与相对于传感器的位置的零仰角相对应。然而，应当理解，基于传感器的设置和阵列，任何行可以被配置为具有相对于传感器的零仰角。在某些情况下，占用阵列的顶行和底行可以对应于仰角的极值(例如，最小仰角和最大仰角)。然而，应当理解，顶行和底行可以以各种方式配置。
[0113]
阵列的列可以对应于距中心点的不同方位角。例如，如果存在360个列并且场景数据具有360度的方位角，则各个列可以对应于360度方位角的一个度(可以根据需要使用不同的方位角测量结果和/或不同数量的列)。如果存在附加的列，则各个列可以对应于360度方位角的较小部分，或者如果列的数量小于场景数据的方位角，则列可以对应于方位角的较大部分。
[0114]
阵列中的各个点可以包括占用值。占用值可以指示在与该点相对应的位置处是否检测到对象。在一些情况下，占用值可以是指示在该点处检测到或未检测到对象的二进制值(例如，“对象检出”或“对象缺失”)。在某些情况下，占用值可以指示在该点处检测到/未检测到对象的可能性或概率。在一些情况下，点和/或占用值可以进一步指示检测到的对象相对于传感器的位置。例如，点和/或占用值可以指示对象相对于传感器的x、y、z坐标。
[0115]
如本文所述，在一些情况下，处理器可以基于接收到的信号确定占用阵列中的点的占用值。例如，如果在相应点处接收到的返回信号满足检测阈值或信号强度阈值，则处理器可以设置该点的占用值以指示“对象检出”或“真”。这可以是逻辑一或一些其他指示符的形式。基于确定为返回信号未能满足检测阈值或信号强度阈值，处理器可以设置该点的占用值以指示“对象缺失”、“对象未检出”或“假”。这可以是逻辑零或一些其他指示符的形式。在任一情况下，在某些情况下，该二进制值可以取代与相应点相关联的范围信息。应当注意，第一准则集合可以包括对传感器检测数据的特定集合的附加要求以构成有效返回。
[0116]
在框1106处，处理器修改一个或多于一个点的占用值。在一些情况下，处理器可以将一个或多于一个点的占用值从对象缺失的指示修改为“对象检出”或“暂时性对象缺失”的指示。
[0117]
如本文所述，对象缺失可以是暂时性的或静态的。为了识别静态对象缺失，处理器可以分析阵列中的对象缺失，并且确定特定点的对象缺失是暂时性对象缺失还是静态对象缺失。对于阵列的点中的暂时性对象缺失，处理器可以修改占用值以指示：在该点处已经检测到对象、针对该点的对象缺失是暂时性对象缺失、或者在该点处“检测到/曾检测到”对象。
[0118]
在一些情况下，处理器基于运载工具的所确定位置或与运载工具相关联的位置数据来修改一个或多于一个点的占用值。如本文所述，可以使用各种技术和/或传感器(例如但不限于定位传感器(例如，gps等)、将场景数据与地图的场景数据进行比较、地标的识别等)来确定运载工具的位置。
[0119]
基于运载工具的所确定位置，处理器可以确定特定点是否对应于围绕运载工具的可能不能检测到对象的位置。在一些情况下，该位置可以对应于但不限于(大型)水体(诸如但不限于湖泊、大型河流、海洋、大海等)的位置。在某些情况下，该位置可以对应于天空等。
[0120]
基于所确定位置和确定为特定点与预期不会反射波或光束的对象的位置相对应，
处理器可以将特定点的占用值从“对象缺失”调整为“暂时性对象缺失”或“对象检出”。以这种方式，处理器可以将具有对象缺失的点识别为暂时性对象缺失以及/或者消除可能具有静态对象缺失的点。
[0121]
在某些情况下，处理器可以基于一个或多于一个点的时间数据来修改一个或多于一个点的占用值。如本文所述，随着运载工具移动，传感器将遇到(在不同的位置处的)不同的场景。在一些情况下，阵列的点可以与不存在要检测的对象或非反射对象所位于的场景中的位置相对应。然而，点与不存在来自对象的反射的位置相对应的时间将会变化(例如，有时点将指示对象检出且有时其将指示对象缺失)。因此，如果点有时检测到对象并且有时没有检测到对象，则处理器可以确定为当前对象缺失是暂时的而不是静态的。在一些情况下，为了确定为当前对象缺失是暂时还是静态的，处理器可以比较点的时间数据。如果在第一时间，点的占用值指示对象被检测到，并且在(第一时间之后的)第二时间，同一点的占用值指示对象缺失，则处理器可以确定为对象缺失是暂时的并且调整第二时间的占用值以指示“对象检出”或“暂时性对象缺失”。
[0122]
在某些情况下，处理器可以使用在一段时间(或帧数)中的阈值数目的检出作为时间准则来确定是否修改占用值。在一些这样的情况下，如果点的占用值满足在该段时间(或帧数)中的阈值数目的检出，则针对在该时间段期间的任何时间(或该帧数内的任何帧)的、该点的占用值可以被设置为“对象检出”。以这种方式，处理器可以将具有对象缺失的点识别为暂时性对象缺失以及/或者消除可能具有静态对象缺失的点。
[0123]
在一些情况下，处理器可以基于阵列中的其他点的占用值来修改一个或多于一个点的占用值。在一些这样的情况下，处理器可以分析点群并调整一些点的值以匹配其他点的占用值。在一些情况下，该点群可以是跨多个行和/或列的连续的点群。在一些这样的情况下，被分析的该点群(和修改的点)可以在同一列或行中。在某些情况下，所分析的点组可以包括一个或多于一个完整的列或行。在某些情况下，该点群可以是正方形、矩形或其他形状的形状。例如，如果在20
×
20的点区域内，十七个点包括指示检测到对象的占用值，并且三个点指示对象缺失，则处理器可以确定为对象缺失可能是暂时的(以及/或者对象缺失可能是由于噪声或除传感器故障或遮挡之外的其他事物导致的)，并且调整三个点的占用值以指示“对象检出”或“暂时性对象缺失”。在一些情况下，处理器可以使用一个或多于一个准则来确定是否将区域中的点的子集的占用值从“没有对象检出”改变为“对象检出”。在某些情况下，准则可以指示如果一些、大多数或所有接近或相邻点具有“对象检出”的占用值，或者如果区域内一定百分比的点具有“对象检出”的占用值，则可以改变点的占用值。
[0124]
在某些情况下，如果该点群中的大多数(或》70％或80％或其他的某阈值)具有“对象缺失”的占用值，则处理器可以将该点群中的其他点的占用值从“对象检出”调整为“对象缺失”。在某些这样的情况下，所分析的该点群(和修改的点)可以在同一列或行中。在某些情况下，所分析的该点群可以包括一个或多于一个完整的列或行。
[0125]
在一些情况下，处理器可以使用空间准则来修改占用值。空间准则可以基于占用图中具有一个占用值的点是否与具有不同占用值的阈值数目的点相距阈值距离。阈值距离可以是连续的或相邻的点、或者阈值数目的点内的点，并且阈值数目可以是特定区域或点群内的点的阈值百分比。例如，在特定点具有很少或没有指示“对象缺失”的相邻点的情况下，处理器可以确定为满足空间准则并且可以将特定点的占用值修改为“对象检出”等(反
之亦然)。
[0126]
在某些情况下，处理器可以分析整个列(或行)以确定是否应该修改行中的所有点的占用值。在一些这样的情况下，处理器可以在其已经基于时间数据、运载工具的位置数据和/或较小区域来修改阵列中的点之后分析整个行。图9b至9c是由处理器分析整个列以修改特定列中的点的占用值的示例。
[0127]
在框1108处，处理器识别至少一个静态对象缺失。如本文所述，静态对象缺失可以指示传感器遮挡、传感器故障、或引起静态对象缺失的其他因素，并且可以基于占用阵列的区域内的多个点的占用值。
[0128]
在一些情况下，处理器在分析暂时性对象缺失的点和/或调整至少一个点的占用值之后识别静态对象缺失。在某些情况下，处理器基于特定区域中的点群(例如，多于一个、大多数、阈值数目等)来识别静态对象缺失。在一些情况下，该点群可以共享相同的占用值(例如，“对象缺失”或“无对象”的概率低于阈值量)。在某些情况下，该点群可以在同一列或方位角中和/或是连续的。例如，如果同一列或方位角中的阈值数目的点包括“对象缺失”的占用值，则处理器可以确定静态对象缺失。在一些情况下，阈值可以是列中的90％的点(或根据需要的其他的某阈值)。取决于朝向，在某些情况下，如果同一行或仰角中的阈值数目的点包括指示对象缺失的占用，则处理器可以确定为静态对象缺失。
[0129]
更少、更多或不同的一个或多于一个框可以与例程1100一起使用。例如，在一些情况下，处理器可以基于遮挡的检测来指示传感器将被清洁，发起存在传感器遮挡的警报，向用户、规划模块(或系统)或控制模块(或系统)传送检测到静态对象缺失(例如，传感器遮挡或故障)的警报，发起用以结束自主模式(例如，终止运载工具的自主驾驶)以及/或者停止移动的处理、或使运载工具100结束自主模式以及/或者停止移动，终止传感器的操作，切换到不同的传感器(如果可用)以及/或者减少置于传感器数据中的信任量等)。
[0130]
在一些情况下，处理器可以在识别静态对象缺失之前依次地或同时地分析阵列的所有点(针对暂时、静态缺失)。在一些这样的情况下，处理器可以逐行或逐列地分析点。在某些情况下，处理器可以依次地或同时地(仅)分析指示“对象缺失”的点。以这种方式，处理器可以通过减少要分析的点的数量来节省处理时间。这可以节省功耗并提高静态对象缺失检测的速率。
[0131]
附加示例
[0132]
本文描述的所有方法和任务可以由计算机系统进行并完全自动化。在一些情况下，计算机系统可以包括通过网络通信和互操作以进行所描述的功能的多个不同的计算机或计算装置(例如，物理服务器、工作站、存储阵列、云计算资源等)。各个这样的计算装置通常包括执行存储在存储器或其他非暂时性计算机可读存储介质或装置(例如，固态存储装置、盘驱动器等)中的程序指令或模块的处理器(或多个处理器)。本文公开的各种功能可以体现在这样的程序指令中，或者可以在计算机系统的专用电路(例如，asic或fpga)中实现。在计算机系统包括多个计算装置的情况下，这些装置可以但不需要共同定位。所公开的方法和任务的结果可以通过将物理存储装置(诸如固态存储器芯片或磁盘等)转换成不同的状态来持久地存储。在一些实施例中，计算机系统可以是处理资源由多个不同的商业实体或其他用户共享的基于云的计算系统。
[0133]
本文描述的或本公开的附图中示出的处理可以响应于事件(诸如在预定的或动态
确定的时间表上，当由用户或系统管理员发起时按需，或者响应于一些其他事件等)而开始。当发起这样的处理时，可以将存储在一个或多于一个非暂时性计算机可读介质(例如，硬盘驱动器、闪速存储器、可移动介质等)上的一组可执行程序指令加载到服务器或其他计算装置的存储器(例如，ram)中。然后，可执行指令可以由计算装置的基于硬件的计算机处理器执行。在一些实施例中，这样的处理或其部分可以在多个计算装置和/或多个处理器上串行或并行地实现。
[0134]
根据实施例，本文描述的任何处理或算法的某些动作、事件或功能可以以不同的顺序进行，可以添加、合并或完全省略(例如，并非所有描述的操作或事件都是实践算法所必需的)。此外，在某些实施例中，操作或事件可以例如通过多线程处理、中断处理或多个处理器或处理器核或在其他并行架构上同时进行，而不是顺序进行。
[0135]
结合本文公开的实施例描述的各种说明性逻辑块、模块、例程和算法步骤可以实现为电子硬件(例如，asic或fpga装置)、在计算机硬件上运行的计算机软件、或这两者的组合。此外，结合本文公开的实施例描述的各种说明性逻辑块和模块可以由机器(诸如处理器装置、数字信号处理器(“dsp”)、专用集成电路(“asic”)、现场可编程门阵列(“fpga”)或其他可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其被设计为进行本文描述的功能的任何组合等)实现或进行。处理器设备可以是微处理器，但是在替代方案中，处理器装置可以是控制器、微控制器或状态机、或其组合等。处理器装置可以包括被配置为处理计算机可执行指令的电路。在另一实施例中，处理器装置包括在不处理计算机可执行指令的情况下进行逻辑操作的fpga或其他可编程装置。处理器装置还可以被实现为计算装置的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp核配合的一个或多于一个微处理器、或者任何其他这样的配置。尽管本文主要关于数字技术进行描述，但是处理器装置还可以主要包括模拟组件。例如，本文描述的渲染技术中的一些或全部可以在模拟电路或混合模拟和数字电路中实现。计算环境可以包括任何类型的计算机系统，包括但不限于基于微处理器的计算机系统、大型计算机、数字信号处理器、便携式计算装置、装置控制器或电器内的计算引擎，仅举几例。
[0136]
结合本文公开的实施例描述的方法、处理、例程或算法的要素可以直接体现在硬件中、由处理器装置执行的软件模块中、或这两者的组合中。软件模块可以驻留在ram存储器、闪速存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom或任何其他形式的非暂时性计算机可读存储介质中。示例性存储介质可以耦合到处理器装置，使得处理器装置可以从存储介质读取信息和向存储介质写入信息。在替代方案中，存储介质可集成到处理器装置。处理器装置和存储介质可以驻留在asic中。asic可以驻留在用户终端中。在替代方案中，处理器装置和存储介质可作为离散组件驻存在用户终端中。
[0137]
在先前描述中，已经参考许多具体细节描述了实施例，这些具体细节可因实现而不同。因此，说明书和附图应被视为说明性的，而非限制性意义的。本权利要求书范围的唯一且排他的指示、以及申请人期望是权利要求书的范围的内容是以发布权利要求书的具体形式从本技术发布的权利要求书的字面和等同范围，包括任何后续修正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用的意义为准。另外，当在先前的说明书或所附权利要求书使用术语“还包括”时，该短语的下文可以是附加的步骤或实体、或先前所述的步骤或实体的子步骤/子实体。
[0138]
通过引用任何在先申请的合并
[0139]
在与本技术一起提交的申请数据表中确认外国或国内优先权要求的任何和所有申请根据37cfr 1.57通过引用合并于此，并且成为该说明书的一部分。