车辆感知系统的计算资源的基于意图的动态改变的制作方法

车辆感知系统的计算资源的基于意图的动态改变
1.相关申请的交叉引用本技术要求保护来自于2019年9月27日提交的题为“intent-based dynamic change of compute resources of vehicle perception system”的美国专利申请序列号16/586,607的权益和优先权，所述美国专利申请以其整体通过引用并入本文中。
技术领域
2.本公开一般涉及自主车辆（av），并且更具体地，涉及用于这样的车辆的感知系统的分辨率、感兴趣区（roi）和计算资源的基于意图的动态改变的设备和方法。


背景技术：

3.准确且快速地感知自主车辆的环境和周围环境对于车辆来说至关重要；然而，这两个目标通常彼此直接对立。例如，诸如计算机视觉（cv）设备、相机和lidar设备之类的高分辨率成像器提供大量图像数据，所述图像数据可以用于通过使能实现精确且可靠的检测来准确感知自主车辆的周围环境；然而，由这样的成像器提供的信息量增加了感知系统的总体等待时间，从而减少了可以由自主车辆实现的反应时间。
附图说明
4.为了提供对本公开及其特征和优点的更完整理解，结合附图参考以下描述，其中类似的参考标记表示类似的部分，其中：图1是图示可以在其中实现根据本公开的一些实施例的感知系统的示例自主车辆的框图；图2是图示根据本公开的一些实施例的示例感知系统的框图；图3是根据本公开的一些实施例的由示例感知系统实现的示例方法的流程图；以及图4a-4d图示了根据本公开的一些实施例的示例感知系统的示例用例。
具体实施方式
5.本公开的系统、方法和设备每个均具有若干创新方面，其中没有单个一个单独负责本文中公开的所有期望属性。在下面的描述和附图中阐述本说明书中描述的主题的一个或多个实现的细节。
6.本公开的实施例提供了一种用于车辆的感知系统。感知可以包括多个成像设备，用于产生车辆环境图像；感知过滤器，用于接收由成像设备产生的图像，其中所述感知过滤器基于车辆的意图和车辆的当前状态来确定计算资源优先级指令；以及计算模块，用于从感知过滤器接收计算资源优先级指令，并根据计算资源优先级指令在成像设备之中分配计算资源。
7.本公开的实施例还提供了一种自主车辆（“av”），其包括车载计算机、包括多个成
像设备的传感器套件、以及感知系统。感知系统包括多个成像设备，用于产生av环境图像；感知过滤器，用于接收由成像设备产生的图像，其中所述感知过滤器基于av的意图和av的当前状态来确定计算资源优先级指令；以及计算模块，用于从感知过滤器接收计算资源优先级指令，并根据计算资源优先级指令在成像设备之中分配计算资源。
8.本公开的实施例仍进一步提供了一种方法，该方法包括部署用于产生车辆环境图像的多个成像设备；由感知过滤器接收由成像设备产生的图像，其中所述感知过滤器基于车辆的意图和车辆的当前状态来确定计算资源优先级指令；由计算模块接收计算资源优先级指令；以及由计算模块根据计算资源优先级指令在成像设备之中分配计算资源。
9.本文中公开的实施例对于基于自主车辆的意图以及自主车辆的时间和情境优先级来动态改变自主车辆的感知系统的分辨率、roi和计算资源可以是特别有利的。
10.如本领域技术人员将领会的，本公开的方面，特别是本文中描述的用于自主车辆的感知系统的方面，可以以各种方式（例如，作为方法、系统、计算机程序产品或计算机可读存储介质）体现。因此，本公开的方面可以采取完全硬件实施例、完全软件实施例（包括固件、常驻软件、微代码等）或组合软件和硬件方面的实施例的形式，所述方面在本文中一般可以全部被称为“电路”、“模块”或“系统”。本公开中描述的功能可以被实现为由一个或多个计算机的一个或多个硬件处理单元（例如一个或多个微处理器）执行的算法。在各种实施例中，本文中描述的每个方法的不同步骤和步骤的部分可以由不同的处理单元来施行。更进一步地，本公开的方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，所述计算机可读介质优选地是非暂时性的，其上体现有（例如存储有）计算机可读程序代码。在各种实施例中，这样的计算机程序可以例如被下载（更新）到现有的设备和系统（例如到现有的感知系统设备和/或它们的控制器等）或者在制造这些设备和系统时被存储。
11.以下详细描述呈现了特定某些实施例的各种描述。然而，本文中描述的创新可以以例如如权利要求和/或所选择示例所定义和覆盖的多种不同的方式体现。在以下描述中，参对附图进行参考，其中类似的附图标记可以指示相同或功能相似的元件。将理解，附图中图示的元件不一定是按比例绘制的。此外，将理解，某些实施例可以包括比附图中图示的更多的元件和/或附图中图示的元件的子集。另外，一些实施例可以并入来自两个或更多个附图的特征的任何合适的组合。
12.以下公开描述了用于实现本公开的特征和功能的各种说明性实施例和示例。虽然下面结合各种示例实施例描述了特定的组件、布置和/或特征，但是这些仅仅是用于简化本公开的示例，而不意图是限制性的。当然将领会，在任何实际实施例的开发中，必须做出许多特定于实现的决定以实现开发者的特定目标，包括遵守系统、业务和/或法律约束，这可能从一个实现到另一个实现变化。此外，将领会，虽然这样的开发努力可能是复杂且耗时的；但是，对于受益于本公开的本领域普通技术人员来说，这将不过是一项例行任务。
13.在本说明书中，可以对如附图中所描绘的各种组件之间的空间关系以及组件的各个方面的空间定向进行参考。然而，如本领域技术人员在完整阅读本公开之后将认识到的，本文中描述的设备、组件、构件、装置等可以以任何期望的定向被定位。因此，使用诸如“上面”、“下面”、“上部”、“下部”、“顶部”、“底部”之类的术语或其它相似术语来描述各种组件之间的空间关系或者描述这样的组件的各方面的空间定向，应当被理解为相应地描述所述
组件之间的相对关系或者这样的组件的各方面的空间定向，因为本文中描述的组件可以在任何期望的方向上定向。当用于描述元件、操作和/或条件的尺寸或其它特性（例如，时间、压力、温度、长度、宽度等）的范围时，短语“在x和y之间”表示包括x和y的范围。
14.根据以下描述和权利要求，本公开的其它特征和优点将是显而易见的。
15.一个实施例是用于自主车辆的感知系统。感知系统可以从自主车辆的多个传感器和成像器接收全分辨率信息，以及从自主车辆的计划器和控制系统接收自主车辆的意图和当前状态。基于所接收的信息，考虑到自主车辆的当前状态和意图，感知系统的感知过滤器可以基于什么信息是最重要的或相关的来动态地缩放和裁剪来自成像器的图像数据。例如，如果自主车辆在高速公路上高速行驶，则在长距离内直线向前到地平线可能是要关注的最重要区域或感兴趣区（“roi”）。在这样的情境下，可以向感知模块提供包括roi的图像数据的高分辨率裁剪，而不是来自（一个或多个）成像器的整个图像，来感知自主车辆的周围环境。相比之下，当在城市中低速驾驶时，自主车辆周围的周围环境是重要的，并且可能包括roi。在这样的情境下，来自车辆四周的低分辨率图像和传感器数据可以被提供给感知模块以感知自主车辆的相关周围环境。
16.此外，感知系统的感知过滤器可以基于自主车辆的状态和意图来缩放特定传感器的计算资源和分辨率。特别地，考虑到自主车辆驾驶的本质，许多系统通常竞争有限的资源（例如，cpu和gpu资源）。这种资源分配可以取决于如由基于自主车辆状态和意图的（一个或多个）roi所规定的资源数据的相对重要性而实时改变。例如，如果自主车辆正在以高速公路速度改变车道，则roi将在相当远的距离处意图车道改变的方向上（例如，左侧或右侧）。根据本文中描述的实施例的特征，感知系统可以将更大的计算资源分配给相机和/或指向所标识的roi的（一个或多个）其它传感器，并且同时例如通过减少那些传感器的分辨率来减少其它传感器（即，指向除了roi之外的区的传感器）的计算资源。作为结果，总体系统等待时间减少，同时操作质量保持高。
17.如图1中所示出的，实现感知系统的分辨率、感兴趣区（roi）和计算资源的基于意图的动态改变的系统100包括自主车辆110，该自主车辆110包括乘客接口120、车辆协调器130和/或远程专家接口140。在某些实施例中，远程专家接口140允许非乘客实体设置和/或修改自主车辆110的行为设置。非乘客实体可以不同于车辆协调器130，所述车辆协调器130可以是服务器。
18.系统100用于使得自主车辆110能够响应于由车辆乘客（例如，经由乘客接口120）和/或其它感兴趣方（例如，经由车辆协调器130或远程专家接口140）设置的参数来修改和/或设置驾驶行为。自主车辆的驾驶行为可以根据显式输入或反馈（例如，乘客指定最大速度或相对舒适水平）、隐式输入或反馈（例如，乘客的心率）、或传送驾驶行为偏好的任何其它合适的数据或方式来修改。
19.自主车辆110优选地是完全自主的汽车，但是可以附加地或替代地是任何半自主或完全自主车辆；例如，船、无人机、无人驾驶汽车等。附加地或替代地，自主车辆可以是在半自主状态和完全自主状态之间切换的车辆，并且因此，取决于车辆的状态，一些自主车辆可以具有半自主车辆和完全自主车辆二者的属性。
20.自主车辆110优选地包括：节气门接口，其控制引擎节气门、电机速度（例如，电动机的旋转速度）或任何其它移动使能机构；制动器接口，其控制自主车辆的制动器（或任何
其它移动减速机构）；以及转向接口，其控制自主车辆的转向（例如，通过改变自主车辆的车轮角度）。自主车辆110可以附加地或替代地包括用于控制任何其它车辆功能的接口；例如，挡风玻璃刮水器、前灯、转弯指示器、空调等。
21.此外，自主车辆110优选地包括车载计算机145和传感器套件150（例如，计算机视觉（“cv”）系统、lidar、radar、车轮速度传感器、gps、相机等）。车载计算机145用于控制自主车辆110，并处理来自传感器套件150和/或其它传感器的感测数据，以便确定自主车辆110的状态。基于车辆状态和编程指令，车载计算机145优选地修改或控制自主车辆110的驾驶行为。
22.驾驶行为可以包括与在给定指令集（例如，路线或计划）的情况下自主车辆如何驾驶（例如，致动制动器、加速器、转向）有关的任何信息。驾驶行为可以包括对自主车辆的受控操作和移动的描述以及自主车辆以其在一个或多个驾驶会话期间应用交通规则的方式。驾驶行为可以附加地或替代地包括关于自主车辆如何计算路线（例如，对最快时间相对于最短距离进行优先级排序）、其它自主车辆致动行为（例如，灯、挡风玻璃刮水器、牵引力控制设置等的致动）和/或自主车辆如何响应于环境刺激（例如，如果下雨，或者如果动物跳到车辆前方，则自主车辆如何表现）的任何信息。可以贡献于驾驶行为的元素的一些示例包括加速度约束、减速度约束、速度约束、转向约束、悬架设置、路线偏好（例如，风景路线、更快路线、无高速公路）、照明偏好、“法律模糊”行为（例如，在绿灯持续亮的左转情境中，车辆是驶出到交叉口中还是在交叉口线处等待）、动作简档（例如，车辆如何转弯、改变车道或施行驾驶操纵）和动作频率约束（例如，车辆有多经常改变车道）。
23.车载计算机145用于控制自主车辆110的操作和功能，并处理来自传感器套件150和/或其它传感器的感测数据，以便确定自主车辆的状态。基于车辆状态和编程指令，车载计算机145优选地修改或控制自主车辆110的行为。车载计算机145优选地是适合于与车辆控制系统和传感器系统进行i/o通信的通用计算机，但是附加地或替代地可以是任何合适的计算设备。车载计算机145优选地经由无线连接（例如，经由蜂窝数据连接）连接到互联网。附加地或替代地，车载计算机145可以耦合到任何数量的无线或有线通信系统。
24.传感器套件150优选地包括定位和驱动传感器；例如，光电检测器、相机、radar、sonar、lidar、gps、惯性测量单元（imu）、加速度计、麦克风、应变仪、压力监视器、气压计、温度计、高度计等。
25.现在参考图2，其中图示了用于诸如自主车辆110之类的自主车辆的感知系统200。感知系统200的部分或全部可以被实现为传感器套件（诸如传感器套件150）和/或车载计算机（诸如车载计算机145）。如图2中所示出的，感知系统包括感知过滤器205，其包括用于处理来自各种源的信息和数据的硬件和/或软件，所述源包括但不限于相机210、lidar 215、radar 220、车辆状态225、车辆意图230（其可以基于计划路线/从计划路线导出）和/或世界地图信息235。如下面将更详细描述的，感知过滤器205处理所接收的信息/数据以过滤和缩放信息，并将经处理/过滤的信息提供给感知模块240，所述感知模块240基于提供给它的（例如，来自感知过滤器205的）数据做出关于自主车辆的物理环境的性质的推断。特别地，感知模块240可以对其接收的信息施行检测和分割。附加地和/或替代地，感知过滤器205处理所接收的信息/数据，并将计算优先级排序信息提供给计算系统245，所述计算系统245将计算资源分配给传感器套件（例如，传感器套件150）的设备。计算系统245是车辆中的主
cpu/gpu计算资源。
26.相机210可以使用具有固定安装和视场的高分辨率成像器来实现。可以使用具有动态可配置视场的扫描lidar来实现lidar 215，所述视场提供了意图要扫描的区的点云。可以使用具有动态可配置视场的扫描radar 来实现radar 220。车辆状态225包括车辆的当前定位、速度和（一个或多个）其它状态。车辆意图230包括车辆的意图，诸如车道改变、转弯等。世界地图235是高清晰度的世界地图，其包括语义和高度信息。
27.图3是根据本公开的一些实施例的由示例感知系统（诸如图2的感知系统200）实现的示例方法300的流程图。在步骤305中，感知系统（例如，感知过滤器）确定自主车辆的意图（例如，使用其计划路线）和自主车辆的当前状态。在步骤310中，感知系统（例如，感知过滤器）根据基于自主车辆的当前状态和意图确定的roi来裁剪和过滤从成像器和传感器（例如，相机、lidar和radar）接收的数据，并将经裁剪和过滤的数据提供给感知系统的感知模块。在步骤315中，感知模块使用经裁剪和过滤的数据来感知自主车辆的环境，并基于感知的环境、当前状态和意图来采取适当的动作。
28.附加地和/或替代地，在步骤320中，感知系统（例如，感知过滤器）基于自主车辆的roi和/或当前状态和意图来确定计算资源优先级，并且向感知系统的计算模块提供计算资源优先级指令。在步骤325中，计算模块通过根据优先级指令将资源分配给包括传感器套件的成像器和传感器来实现计算资源优先级指令。
29.将认识到，步骤310/315可以在步骤320/325之前、之后、同时或代替步骤320/325来实现。相似地，步骤320/325可以在步骤310/315之前、之后、同时或代替步骤310/315来执行。在完成步骤315和/或步骤325时，在步骤330中，感知系统（例如，感知过滤器）向传感器套件提供扫描指令。
30.下面的表1提供了用于说明根据方法300的诸如本文中描述的感知系统的实施例的操作的示例用例的非详尽列表。
示例av意图av状态感知模块的指令计算模块的指令传感器套件的指令1在高速公路高速直线驾驶，而没有车道改变在其车道上直线驾驶使用来自与路段相对应的帧区的前传感器的高分辨率传感器裁剪，用于进行长距离检测。使用来自其它传感器的经缩放的传感器信息，用于进行短距离检测。对前传感器的计算资源进行优先级排序，以保持低的等待时间。lidar和radar对与roi相对应的车辆前方的小的fov进行密集扫描。在其它任何地方进行稀疏扫描。2进行从左车道到右车道的车道改变在其车道上直线驾驶使用来自车辆后方的高分辨率传感器裁剪，用于进行长距离检测。使用来自其它传感器的经缩放的传感器信息，用于进行短距离检测。对后传感器的计算资源进行优先级排序，以保持低的等待时间。lidar和radar对与roi相对应的区域中的fov进行密集扫描。在其它任何地方进行稀疏扫描。3进行右转弯直线指向前方，等待进行转弯使用来自车辆前方和左侧的高分辨率传感器信息，用于在那些区中进行长距离检测。使用来自其它传感器的经缩放的传感器信息，用于进行短距离检测。对左传感器和前传感器的计算资源进行优先级排序，以保持低的等待时间。lidar和radar对在与roi相对应的左侧和右侧上的fov进行密集扫描。在其它任何地方进行稀疏扫描。4在住宅区域低速直线驾驶在其车道上直线驾驶使用来自所有传感器的经缩放的低分辨率信息，用于进行短距离检测。应用均匀的计算资源。在任何地方进行均匀扫描。
表1。
31.表1中所列出的示例1-4在图4a-4d中图示并将参考图4a-4d更详细地描述。参考图4a，其图示了来自表1的示例1，车辆400正在高速公路上直线驾驶（相对高速），而不计划进行车道改变。由感知过滤器提供给感知模块的图像/传感器信息可以包括来自与路段相对应的图像帧区的用于长距离检测的高分辨率传感器裁剪。此外，来自其它传感器的经缩放
的信息也可以被提供用于其它区中的短距离检测。可以指令计算模块来对前传感器的计算资源进行优先级排序，以保持系统低的等待时间。此外，lidar和radar设备被指令对与感兴趣区（roi）相对应的车辆前方的小的视场（fov）进行密集扫描，并且对roi之外的fov进行稀疏扫描。在这种场景中，roi可以由区域405表示。
32.参考图4b，其图示了来自表1的示例2，车辆410正在高速公路上驾驶（相对高速），并且计划进行从左车道到右车道的车道改变。由感知过滤器提供给感知模块的图像/传感器信息可以包括来自车辆后方的用于长距离检测的高分辨率传感器裁剪。此外，来自其它传感器的经缩放的信息也可以被提供用于其它区中的短距离检测。可以指令计算模块来对后传感器的计算资源进行优先级排序，以保持系统低的等待时间。此外，lidar和radar设备被指令对在与roi相对应的区域中的fov进行密集扫描，并且对在roi之外的fov进行稀疏扫描。在这种场景中，roi可以由区域415表示。
33.参考图4c，其图示了来自表1的示例3，车辆420正在计划在住宅交叉口处进行右转弯（相对低速）。由感知过滤器提供给感知模块的图像/传感器信息可以包括来自车辆前方和左侧的用于在那些区中进行长距离检测的高分辨率传感器信息。此外，来自其它传感器的经缩放的传感器信息也可以被提供用于在其它区中的短距离检测。可以指令计算模块来对前传感器和左传感器的计算资源进行优先级排序，以保持系统低的等待时间。此外，lidar和radar设备被指令对在与roi相对应的左侧和右侧上的fov进行密集扫描，并且对其它任何地方进行稀疏扫描。在这种场景中，roi可以由区域425表示。
34.最后，参考图4d，其图示了来自表1的示例4，车辆430正在计划继续在住宅街道上直线驾驶（相对低速）。由感知过滤器提供给感知模块的图像/传感器信息可以包括来自所有传感器的用于低距离检测的经缩放的低分辨率信息。可以指令计算模块将均匀的计算资源应用于所有传感器。此外，传感器（例如，lidar和radar设备）被指令在任何地方应用均匀扫描。在这种场景中，roi可以由区域435表示。
35.应当理解，不一定可以根据本文中描述的任何特定实施例实现所有的目的或优点。因此，例如，本领域技术人员将认识到，某些实施例可以被配置为以实现或优化如本文中教导的一个优点或一组优点的方式来操作，而不一定实现如本文中教导或建议的其它目的或优点。
36.在一个示例实施例中，可以在相关联的电子设备的板上实现图中的任何数量的电路。该板可以是一般电路板，其可以容纳电子设备的内部电子系统的各种组件，并且进一步提供用于其它外设的连接器。更具体地，板可以提供电气连接，系统的其它组件可以通过所述电气连接进行电气通信。任何合适的处理器（包括数字信号处理器、微处理器、支持芯片集等）、计算机可读非暂时性存储器元件等可以基于特定的配置需要、处理需求、计算机设计等被合适地耦合到板。其它组件，诸如外部存储装置、附加传感器、用于音频/视频显示的控制器、以及外围设备，可以作为插件卡经由线缆附接到板，或者集成到板本身中。在各种实施例中，本文中描述的功能可以以仿真形式被实现为在布置在支持这些功能的结构中的一个或多个可配置（例如，可编程）元件内运行的软件或固件。提供仿真的软件或固件可以在包括允许处理器实行那些功能的指令的非暂时性计算机可读存储介质上提供。
37.在另一示例实施例中，图的电路可以被实现为独立模块（例如，具有被配置为施行特定应用或功能的相关联组件和电路的设备），或者作为插件模块被实现到电子设备的应
用特定硬件中。注意，本公开的特定实施例可以部分地或全部地容易包括在片上系统（soc）封装中。soc表示将计算机或其它电子系统的组件集成到单个芯片中的ic。它可以包含数字、模拟、混合信号，并且通常包含射频功能：所有所述功能都可以在单个芯片衬底上提供。其它实施例可以包括多芯片模块（mcm），其中多个单独的ic位于单个电子封装内，并被配置为通过电子封装与彼此紧密交互。在各种其它实施例中，数字滤波器可以在专用集成电路（asic）、现场可编程门阵列（fpga）和其它半导体芯片中的一个或多个硅核中实现。
38.还必须注意，本文中概述的所有规范、尺寸和关系（例如，处理器的数量、逻辑运算等）仅被提供用于仅示例和教导目的。在不脱离本公开的精神或所附权利要求的范围的情况下，这样的信息可以大大变化。说明书仅适用于一个非限制性示例，并且因此，它们应该被照此解释。在前述描述中，已经参考组件的特定布置描述了示例实施例。在不脱离所附权利要求的范围的情况下，可以对这样的实施例进行各种修改和改变。因此，描述和附图被认为是说明性的，而不是限制性意义的。
39.注意，利用本文中提供的许多示例，可以依据两个、三个、四个或更多个电子组件来描述交互。然而，这样做仅出于清楚性和示例的目的。应当领会，该系统可以以任何合适的方式合并。沿着相似的设计替代，图的任何所图示组件、模块和元件可以以各种可能的配置组合，所有这些清楚地都在本说明书的广泛范围内。在某些情况下，通过仅引用有限数量的电气元件来描述给定流程集的一个或多个功能可能更容易。应当领会，图的电路及其教导是容易扩展的，并且可以容纳大量组件以及更复杂/精密的布置和配置。因此，所提供的示例不应限制电路的范围或阻碍电路的广泛教导，因为其潜在地应用于无数其它架构。
40.注意，在本说明书中，对包括在“一个实施例”、“示例实施例”、“实施例”、“另一实施例”、“一些实施例”、“各种实施例”、“其它实施例”、“替代实施例”以及诸如此类中的各种特征（例如，元件、结构、模块、组件、步骤、操作、特性等）的引用，意图意味着任何这样的特征都被包括在本公开的一个或多个实施例中，但是可以或不一定可以组合在相同的实施例中。
41.还重要的是要注意，与使用磁性传感器的非接触式电流测量相关的功能，例如在图中所示出的一个或多个过程中总结的那些，仅图示了可以由图中图示的电流测量系统执行或在其内执行的可能功能中的一些。在不脱离本公开的范围的情况下，这些操作中的一些可以在适当的地方被删除或移除，或者这些操作可以被大大修改或改变。此外，这些操作的定时可以大大更改。前面的操作流程已经出于示例和讨论的目的而提供。本文中描述的实施例提供了相当大的灵活性，因为在不脱离本公开的教导的情况下，可以提供任何合适的布置、时序、配置和定时机制。
42.本领域技术人员可以查明许多其它的改变、替换、变化、更改和修改，并且本公开意图涵盖如落入所附权利要求的范围内的所有这样的改变、替换、变化、更改和修改。注意，上面描述的装置的所有可选特征也可以关于本文中描述的方法或过程来实现，并且示例中的细节可以在一个或多个实施例中的任何地方使用。
43.为了协助美国专利和商标局（uspto），以及附加地，协助本技术上所发布的任何专利的任何读者解释对此所附权利要求，申请人希望指出，申请人：（a）不意图使任何所附权利要求援引35 u.s.c第112节（f）段，因为它在本技术提交之日就存在，除非在特定权利要求中具体使用了词语“用于
……
的手段”或“用于
……
的步骤”；和（b）不意图通过说明书中
的任何陈述以任何未在所附权利要求中另外反映的方式来限制本公开。