LIDAR光束走离校正的制作方法

lidar光束走离校正
1.相关申请的交叉引用
2.本技术要求于2021年6月9日提交的美国非临时申请17/343511的优先权，其要求于2020年6月12日提交的美国临时申请63/038450的优先权。申请17/343511和63/038450通过引用合并于此。
技术领域
3.本公开一般涉及成像，尤其涉及lidar(light detection and ranging，光检测和测距)。


背景技术：

4.调频连续波(fmcw)lidar通过将调频准直光束指向目标，直接测量对象的距离和速度。目标的距离和速度信息都可以从fmcw lidar信号中导出。需要提高lidar信号精度的设计和技术。
5.汽车工业目前正在开发用于在特定情况下控制车辆的自动特征。根据sae国际标准j3016，有6个级别的自主性，从0级(无自主性)到5级(在任何条件下无需操作者输入即可运行的车辆)。具有自动特征的车辆利用传感器来感测车辆行驶的环境。从传感器获取并处理数据允许车辆在其环境中行驶。自动驾驶车辆可以包括一个或多个fmcw lidar装置来感测其环境。


技术实现要素：

6.本公开的实施方式包括一种光检测和测距(lidar)系统，该lidar系统包括像素、镜子和双折射材料。像素被配置为发射具有第一偏振取向的光。反射镜被配置为将光反射到表面。双折射材料设置在像素与反射镜之间。双折射材料导致具有第一偏振取向并传播通过双折射材料的光的位置(position)上的偏移。双折射材料移动具有第二偏振取向的反射光束。
7.在实施方式中，双折射材料将反射光束在空间中水平移动回到像素上。第二偏振取向与第一偏振取向正交。具有第一偏振取向的光的位置上的偏移不同于具有第二偏振取向的反射光束的水平移动。
8.在实施方式中，双折射材料相对于入射在双折射材料上的光成角度，并且双折射材料相对于入射在双折射材料上的反射光束倾斜。
9.在实施方式中，反射镜被配置为旋转反射镜。
10.在实施方式中，像素包括双偏振耦合器，双偏振耦合器被配置为发射具有第一偏振取向的光并将具有第二偏振取向的反射光束耦合到像素中。
11.在实施方式中，像素包括透射光栅耦合器和单偏振光栅耦合器，透射光栅耦合器被配置为发射具有第一偏振取向的光，单偏振光栅耦合器垂直于透射光栅耦合器来取向，以将具有第二偏振取向的反射光束接收到像素中。
12.在实施方式中，像素包括分束器，分束器被配置为提供第一百分比的分束光和第二百分比的分束光，第一百分比的分束光用于由像素发射作为光。像素还包括光学混合器，光混合器被配置为通过将第二百分比的分束光与反射光束混合来产生输出。
13.在实施方式中，lidar装置还包括透镜，透镜设置在双折射材料与反射镜之间，并且透镜被配置为准直由像素发射的光。
14.在实施方式中，双折射材料包括lino3(硝酸锂)或yvo4(钒酸钇)中的至少一个。
15.本公开的实施方式包括一种用于自动驾驶车辆的自动驾驶车辆控制系统，其包括光检测和测距(lidar)装置和控制系统。lidar装置包括像素、反射镜和双折射材料。像素被配置为发射具有第一偏振取向的光，并且像素包括光学混合器，光混合器被配置为接收光的反射离开自动驾驶车辆的环境中的目标的反射光束。反射镜被配置为将光反射到目标。双折射材料引入传播通过双折射材料的具有第一偏振取向的光的位置上的偏移。双折射材料将反射光束在空间中水平移动回到像素上。反射光束具有与第一偏振取向正交的第二偏振取向。一个或多个处理器被配置为响应于像素的光学混合器的输出而控制自动驾驶车辆。
16.在实施方式中，双折射材料的倾斜角和双折射材料的厚度被配置为用于以50米或更大的检测距离的目标的检测。
17.在实施方式中，反射镜被配置为旋转反射镜。
18.在实施方式中，像素包括双偏振耦合器，双偏振耦合器被配置为发射具有第一偏振取向的光并将具有第二偏振取向的反射光束耦合到像素中。
19.在实施方式中，像素包括透射光栅耦合器和单偏振光栅耦合器，透射光栅耦合器被配置为发射具有第一偏振取向的光，单偏振光栅耦合器垂直于透射光栅耦合器来取向，以将具有第二偏振取向的反射光束接收到像素中。
20.在实施方式中，像素包括分束器和光混合器，分束器被配置为提供第一百分比的分束光和第二百分比的分束光，第一百分比的分束光用于由像素发射作为光，光学混合器被配置为通过将第二百分比的分束光与反射光束混合来产生输出
21.在实施方式中，具有第一偏振取向的光的位置上的偏移不同于具有第二偏振取向的反射光束的水平移动。
22.本公开的实施方式包括一种自动驾驶车辆，自动驾驶车辆包括像素、双折射材料和控制系统。像素被配置为发射具有第一偏振取向的红外光，并且被配置为接收从自动驾驶车辆的环境中的目标反射的红外反射光。双折射材料引入传播通过双折射材料的红外光的位置上的偏移，并且双折射材料将红外反射光束在空间中水平移动回到像素上。红外反射光束具有与第一偏振取向正交的第二偏振取向。控制系统被配置为响应于红外反射光束而控制自动驾驶车辆。
23.在实施方式中，自动驾驶车辆包括旋转反射镜，旋转反射镜被配置为当旋转反射镜处于第一位置时将红外光引导到目标。旋转反射镜被配置为当旋转反射镜处于不同于第一位置的第二位置时将红外反射光束引导回到像素。
24.在实施方式中，像素包括双偏振耦合器，双偏振耦合器被配置为发射具有第一偏振取向的红外光并将具有第二偏振取向的红外反射光束耦合到像素中。
25.在实施方式中，像素包括透射光栅耦合器，透射光栅耦合器被配置为发射具有第
一偏振取向的红外光。像素还包括垂直于透射光栅耦合器取向的单偏振光栅耦合器，以将具有第二偏振取向的红外反射光束接收到像素中。
附图说明
26.参考以下附图描述本发明的非限制性和非穷举性实施方式，其中在所有不同的视图中，相似的附图标记表示相似的组件，除非另有指定。
27.图1示出根据本公开实施方式的lidar装置的像素的实现的示意图。
28.图2示出根据本公开实施方式的lidar装置的像素的示意图。
29.图3示出根据本公开实施方式，怎样结合双折射板将图1的像素用于校正光束走离。
30.图4示出根据本公开实施方式，怎样结合双折射板将图2的像素用于校正光束走离。
31.图5a示出根据本公开实施方式的包括示例性传感器阵列的自动驾驶车辆。
32.图5b示出根据本公开实施方式的包括示例性传感器阵列的自动驾驶车辆的俯视图。
33.图5c示出根据本公开实施方式的包括传感器、驱动传动系统和控制系统的示例性车辆控制系统。
具体实施方式
34.本文描述lidar光束校正的实施方式。在以下描述中，阐述很多具体细节来提供对实施方式的透彻理解。然而，本领域技术人员将认识到，可以在没有一个或多个具体细节的情况下实践本文所述技术，也可以用其他方法、组件或材料来实践本文所述技术。在其他情况下，未详细示出或描述公知结构、材料或操作，以避免混淆某些方面。
35.本说明书上下对“一个实施方式”或“实施方式”的引用意味着结合实施方式所述的特定特征、结构或特性包括在本发明的至少一个实施方式中。因此，在整个说明书的不同地方出现的短语“在一个实施方式中”或“在实施方式中”不一定都指代同一个实施方式。此外，在一个或多个实施方式中，可以按照任何适当的方式来组合特定特征、结构或特性。
36.在本说明书中，使用了多个现有技术术语。这些术语在其所属领域中具有其一般含义，除非本文中有明确定义或者它们的使用背景另有明确说明。出于本公开的目的，术语“自动驾驶车辆”包括具有sae国际标准j3016的任何自主级别的自动特征的车辆。
37.在本公开的各个方面中，可见光可以定义为具有大约380nm-700nm的波长距离。不可见光可以定义为波长在可见光范围之外的光，诸如紫外光和红外光。波长距离约为700nm-1mm的红外光包括近红外光。在本公开的各个方面中，近红外光可以定义为具有大约700nm-1.4μm的波长范围。
38.在本公开的各个方面中，术语“透明”可以定义为具有大于90％的光透射率。在一些方面中，术语“透明”可以定义为具有大于90％的可见光透射率的材料。
39.调频连续波(fmcw)lidar通过将调频准直光束指向对象，直接测量对象的距离和速度。从对象反射的光与光束的轻拍版本组合。一旦针对需要二次测量的多普勒频移进行校正，所产生的拍音的频率就与对象相距lidar系统的距离成比例。可以同时进行也可以不
同时进行的两个测量提供距离和速度信息这两者。
40.fmcw lidar可以利用集成光子学来提高可制造性和性能。集成光子系统通常使用微米级波导器件来操纵单光学模式。
41.lidar系统可以包括一个或多个连续移动的反射镜，其将出射光转向距离内的目标，并将从该目标接收的光反射到接收器中。由于光从lidar移向目标然后返回的渡越时间，反射镜的连续运动导致接收的光从几个微米大小的收发器移开。这种“光束走离”效应可能导致系统性能下降。
42.在本公开的实施方式中，用于校正lidar应用中的光束走离的设备可以包括偏振多样化相干像素和倾斜的双折射材料片。
43.可以从具有偏振a的相干像素发射光，偏振a穿过双折射材料。当光线穿过双折射材料时，光束因为折射而变为相对于光源偏移。该光离开lidar系统，并且在相距系统一定距离的地方从漫反射表面反射出去。
44.从漫反射表面反射出去的光可以将其偏振随机化。偏振与发射的偏振(a)正交的光通过双折射材料传播回来，与发射光相比，双折射材料给光束引入不同的偏移。该光束照射接收光的偏振多样化相干像素。照射偏振多样化相干像素的光束的偏移可以增加由偏振多样化相干象素接收的信号强度，从而提高lidar装置的信号测量精度和/或降低操作lidar装置所需的功率。
45.可以选择双折射材料和几何结构，以挑选一组特定的发射和接收偏移，其减轻lidar系统中的光束走离。在本公开的一些实施方式中，选择双折射材料和几何形状来增加用于对相距lidar装置50米到1000米之间的目标进行成像的光束信号。
46.图1示出根据本公开实施方式的lidar装置的像素111的实施方式的示意图。可以结合双折射材料的双折射板将像素111用于校正光束走离。像素111的所示实施方式包括1
×
2分束器102、光学混合器109和双偏振光栅耦合器104。
47.光101进入像素111，并且可以被分束器(例如1
×
2分束器102)分束。光101可以是连续波激光器产生的红外激光。在一些实施方式中，激光可以被准直。例如，x％的光(第一百分比的光)在顶部互连103中离开分束器，并且被导向通过双偏振光栅耦合器104，双偏振光栅耦合器104可以发射第一偏振光105(例如te偏振光)。在一些实施方式中，第一百分比的光可以在70％和99％之间。在一些实施方式中，第一偏振光105可以通过透镜耦合并从反射镜反射出去到达目标场景上。在一些实施方式中，第一偏振光105可以是未准直光并且是由透镜准直的发散光束。
48.返回相干像素111的光106可以具有第二偏振分量106(例如tm偏振光)，第二偏振分量106可以通过双偏振光栅耦合器104耦合回到相干像素111中。因此，双偏振光栅耦合器104可以发射具有第一偏振取向的光(例如te偏振光)，并将具有第二偏振取向的反射光束(光106)耦合到像素111中。耦合到像素111中的该光沿着与传送路径不同的互连107被导向到光学混合器109，光学混合器109将互连107中的返回光学场与从1
×
2分束器102分束到底部互连108中的剩余y％的光(第二百分比的光)进行混合。在一些实施方式中，第二百分比的光可以在1％和30％之间。在一些实施方式中，反射光束(光106)可以从自动驾驶车辆的环境中的目标反射/散射出去。来自光学混合器109的输出110(可以有不止一个)由接收器光电电路处理。因此，光学混合器109被配置为通过将由分束器102分束到互连108中的第二
百分比的光(y％)与沿着互连107导向的反射光束混合来产生输出110。
49.图2示出根据本公开实施方式的lidar装置的像素212的示意图。可以结合双折射材料的双折射板将像素212用于校正光束走离。像素212的所示实施方式包括1
×
2分束器202、光学混合器210、透射光栅耦合器204以及垂直于透射光栅耦合器204取向的单偏振光栅耦合器207。
50.光201进入像素212，并且可以被分束器(例如1
×
2分束器202)分束。光201可以是由连续波激光器产生的红外激光。在一些实施方式中，激光可以被准直。例如，x％的光(第一百分比的光)离开顶部互连203中的分束器，并且被导向到单偏振光栅耦合器204中，单偏振光栅耦合器204发射第一偏振光205(例如te偏振光)。在一些实施方式中，第一百分比的光可以在70％和99％之间。第一偏振光205可以通过透镜耦合并从反射镜反射出去到达目标场景上。在一些实施方式中，第一偏振光205可以是未准直光并且是由透镜准直的发散光束。
51.返回相干像素212的光可以具有第二偏振分量206(例如tm偏振分量)，第二偏振分量206通过单偏振光栅耦合器207耦合回到相干像素212中，单偏振光栅耦合器207垂直于透射光栅耦合器204来取向，从而使其接收光的正交偏振。该光沿着与传送路径不同的互连208被导向到光学混合器210，光学混合器210将互连208中的返回光学场与从1
×
2分束器202分束到底部互连209中的剩余y％的光(第二百分比的光)混合。在一些实施方式中，第二百分比的光可以在1％和30％之间。在一些实施方式中，反射光束(光206)可以从自动驾驶车辆的环境中的目标反射/散射出去。来自该混合器210的输出211(可以有不止一个)由接收器光电电路处理。因此，光学混合器210被配置为通过将由分束器202分束到互连209中的第二百分比的光(y％)与沿着互连208导向的反射光束混合来产生输出211。在实施方式中，可以将分束器202去除或者用两个独立的光源替代。两个光源中的第一光源可以耦合到互连203中，第二光源可以耦合到互连209中。
52.图3示出根据本公开实施方式，怎样结合双折射板303将图1的相干像素111用于校正光束走离。
53.相干像素301以第一偏振取向302(例如“te”偏振)发射光。该光传播通过双折射板303，相对于相干像素301，双折射板303引入光束的位置上的小偏移321。该光束可以被透镜304准直，然后被连续旋转的反射镜306反射。在图3的图示中，透镜304设置在双折射材料303与反射镜306之间。准直光305传播到目标漫射表面307，漫射表面307将光朝向反射镜反射回来作为光308。该反射光308可以将其偏振随机化，并且因此包含与第一偏振分量正交的第二偏振分量。该第二偏振分量的光将传播回到反射镜306。
54.在到表面和返回的渡越时间期间，反射镜306旋转一个小量，并且因此第二偏振分量可以在透镜304上以稍微不同的角度反射回来。透镜304将该光重新聚焦，产生第二偏振分量光束309，由于反射镜306引起的角度变化，第二偏振分量光束309相对于透射光束302略有偏移。该光束穿过双折射板303，双折射板303将光束在空间中水平移动(例如移动322)，并照耀回到接收光的相干像素301。因为接收的偏振不同，所以双折射材料引入的移动也不同。具体而言，具有第一偏振取向的光302的位置上的偏移321与具有第二偏振取向(与第一偏振取向正交)的反射光束309的水平移动322不同(在图3中较小)。通过选择特定的双折射材料并控制板303的厚度310和板303的角度311，可以控制发射和接收光束的相对
移动。在图3的图示中，双折射材料相对于入射在双折射材料上的光束302成角度，并且双折射材料相对于入射在双折射材料上的反射光束309倾斜。在实施方式中，双折射材料303的倾斜角311和双折射材料313的厚度310被配置为用于以50米或更大的检测距离检测目标。
55.在一些实施方式中，双折射材料303可以是lino3(硝酸锂)。在一些实施方式中，双折射材料303可以是yvo4(钒酸钇)。本领域技术人员可以挑选这些特性，从而最佳地校正由旋转反射镜在大范围目标距离内引入的走离。例如，由于光束从目标反射出去并传播回到像素301的往返时间较长，针对较长距离目标的优化可以包括选择具有较大移动322的双折射材料。因为较长的往返时间对应于旋转反射镜301的较大旋转角度，所以可能需要较大的移动322将反射光束309引导到像素301的双偏振光栅耦合器104。
56.图4示出根据本公开实施方式，怎样结合双折射板403将图2的相干像素212用于校正光束走离。在一些实施方式中，图4的装置或设备的行为可以类似于图3所示的装置或设备，除了双折射板403将返回的第二偏振光409偏转更大的量(例如移动422)，使得所接收的光409在与透射耦合器401物理上分离的光学耦合器410上重新聚焦。在实施方式中，双折射材料403的倾斜角412和双折射材料403的厚度411被配置为用于以50米或更大的检测距离检测目标。
57.在操作中，透射耦合器401以第一偏振取向402(例如“te”偏振取向)发射光。该光传播通过双折射板403，相对于透射耦合器401，双折射板403引入光束的位置上的小偏移421。该光束可以被透镜404准直，然后被连续旋转的反射镜406反射。在图4的图示中，透镜404设置在双折射材料403与反射镜406之间。准直光405传播到目标漫射表面407，漫射表面407将该光朝向反射镜反射回来作为光408。该反射光408可以将其偏振随机化，并且因此包含第二偏振分量(例如tm偏振光)。该第二偏振分量的光将传播回到反射镜406。
58.在到达表面和返回的渡越时间期间，反射镜406旋转一个小量，并且因此第二偏振光可以在透镜404上以稍微不同的角度反射回来。透镜404将该光重新聚焦，产生第二偏振光束409，由于反射镜406引起的角度变化，该第二偏振光束409相对于透射光束402略有偏移。该光束穿过双折射板403，双折射板403将光在空间中水平移动(例如移动422)，并照耀回到接收光的光学耦合器410。因为接收的偏振不同，所以双折射材料引入的移动也不同。具体而言，具有第一偏振取向的光402的位置上的偏移421与具有第二偏振取向(与第一偏振取向正交)的反射光束409的水平移动422不同(在图4中较小)。在图4的图示中，移动422大于偏移421，使得当反射光束409传播到光学耦合器410时，反射光束409(在双折射材料403内)的光学路径与光束402的光学路径交叉。在其他实施方式中，移动422和偏移421不会导致反射光束409的光学路径与光束402的光学路径交叉，因为反射光束409传播到光学耦合器410。通过选择特定的双折射材料并控制板403的厚度411和板403的角度412，可以控制发射和接收光束的相对移动。在图4的图示中，双折射材料相对于入射在双折射材料403上的光束402成角度，并且双折射材料413相对于入射在双折射材料上的反射光束409倾斜。在实施方式中，双折射材料403的倾斜角412和双折射材料403的厚度411被配置为用于以50米或更大的检测距离检测目标。
59.在一些实施方式中，双折射材料403可以是lino3(硝酸锂)。在一些实施方式中，双折射材料403可以是yvo4(钒酸钇)。本领域技术人员可以挑选这些特性，从而最佳地校正由旋转反射镜在大范围目标距离内引入的走离。例如，由于光束从目标反射出去并传播回到
光学耦合器410的往返时间较长，针对较长距离目标的优化可以包括选择具有较大移动422的双折射材料。因为较长的往返时间对应于旋转反射镜406的较大旋转角度，所以可能需要较大的移动422将反射光束409引导到光学耦合器410。
60.倾斜的双折射材料片403可以是透镜组件或芯片封装组件的一部分。它可以集成在与相干像素相同的芯片上。多个相干像素和倾斜的双折射片可以一起使用，以实现fmcw lidar的更复杂操作。在一些实施方式中，可以将双折射片机动化，以改变倾斜角度412。
61.图5a示出可以包括根据本公开各个方面的图1至图4的lidar设计的示例性自动驾驶车辆500。所示自动驾驶车辆500包括传感器阵列，传感器阵列被配置为捕捉自动驾驶车辆外部环境的一个或多个对象，并生成与捕捉的一个或多个对象相关的传感器数据，目的是控制自动驾驶车辆500的操作。图5a示出传感器533a、533b、533c、533d和533e。图5b示出除了传感器533a、533b、533c、533d和533e之外还包括传感器533f、533g、533h和533i的自动驾驶车辆500的俯视图。传感器533a、533b、533c、533d、533e、533f、533g、533h和/或533i中的任何一个传感器都可以包括具有图1至图4的设计的lidar装置。图5c示出用于自动驾驶车辆500的示例性系统599的方框图。例如，自动驾驶车辆500可以包括动力传动系统502，动力传动系统502包括原动机504，原动机504由能量源506提供动力并且能够向驱动传动系统508提供动力。自动驾驶车辆500还可以包括控制系统510，控制系统510包括方向控制512、动力传动系统控制514和制动器控制516。自动驾驶车辆500可以实现为任何数量的不同车辆，包括能够运输人员和/或货物并且能够在各种不同环境中行驶的车辆。应当理解，上述组件502至516可以基于使用这些组件的车辆的类型而广泛变化。
62.例如，以下讨论的实施方式将侧重于轮式陆地车辆，例如汽车、厢式货车、卡车或公共汽车。在这些实施方式中，原动机504可以包括一个或多个电动机和/或内燃机(及其他)。能量源例如可以包括燃料系统(例如提供汽油、柴油、氢气)、电池系统、太阳能电池板或其他可再生能量源和/或燃料电池系统。连同变速器一起，驱动传动系统508可以包括车轮和/或轮胎和/或适合于将原动机504的输出转换成车辆运动的任何其他机械驱动组件以及被配置为可控制地停止或减速自动驾驶车辆500的一个或多个制动器和适合于控制自动驾驶车辆500的轨迹的方向或转向组件(例如，齿条和小齿轮转向连杆使得自动驾驶车辆500的一个或多个车轮能够围绕大致垂直的轴线枢转，从而改变车轮的旋转平面相对于车辆纵向轴线的角度)。在一些实施方式中，可以使用动力传动系统和能量源的组合(例如在电/气混合动力车辆的情况下)。在一些实施方式中，可以将多个电动机(例如专用于单个车轮或车轴)用作原动机。
63.方向控制器512可以包括一个或多个致动器和/或传感器，用于控制和接收来自方向或转向组件的反馈，以使得自动驾驶车辆500能够遵循期望的轨迹。动力传动系统控制器514可以被配置为控制动力传动系统502的输出，例如控制原动机504的输出功率，以控制驱动传动系统508中变速器的档位，从而控制自动驾驶车辆500的速度和/或方向。制动器控制516可以被配置为控制减速或停止自动驾驶车辆500的一个或多个制动器，例如耦合到车辆车轮的盘式制动器或鼓式制动器。
64.受益于本公开的本领域技术人员应当理解，包括但不限于越野车、全地形或履带式车辆或施工设备的其他车辆类型将必须使用不同的动力传动系统、驱动传动系统、能量源、方向控制、动力传动系统控制和制动器控制。此外，在一些实施方式中，可以将一些组件
组合，例如，其中车辆的方向控制主要通过改变一个或多个原动机的输出来处理。因此，本文公开的实施方式并不限于本文所述技术在自动轮式陆地车辆中的特定应用。
65.在所示实施方式中，在车辆控制系统520中实现对自动驾驶车辆500的自动控制，车辆控制系统520可以包括处理逻辑522中的一个或多个处理器和一个或多个存储器524，其中，处理逻辑524被配置为执行存储在存储器524中的程序代码(例如指令526)。例如，处理逻辑522可以包括(一个或多个)图形处理单元(gpu)和/或(一个或多个)中央处理单元(cpu)。车辆控制系统520可以被配置为响应于诸如像素111或212的lidar像素的光学混合器的输出而控制自动驾驶车辆500的动力传动系统502。
66.传感器533a至533i可以包括适合于从自动驾驶车辆周围环境收集数据的各种传感器，用于控制自动驾驶车辆的操作。例如，传感器533a至533i可以包括radar单元534、lidar单元536、(一个或多个)3d定位(positioning)传感器538，例如，诸如gps、glonass、北斗、伽利略或指南针这样的卫星导航系统。图1至图4的lidar设计可以包括在lidar单元536中。例如，lidar单元526可以包括分布在自动驾驶车辆500周围的多个lidar传感器。在一些实施方式中，(一个或多个)3d定位传感器538可以使用卫星信号来确定车辆在地球上的位置。传感器533a至533i可以选择性地包括一个或多个超声波传感器、一个或多个相机540和/或惯性测量单元(imu)542。在一些实施方式中，相机540可以是专题或立体相机，并且可以记录静止和/或视频图像。相机540可以包括被配置为捕捉自动驾驶车辆500外部环境中的一个或多个对象的图像的互补金属氧化物半导体(cmos)图像传感器。imu 542可以包括能够检测自动驾驶车辆500在三个方向上的线性运动和旋转运动的多个陀螺仪和加速计。可以将诸如车轮编码器的一个或多个编码器(未示出)用于监测自动驾驶车辆500的一个或多个车轮的旋转。
67.可以将传感器533a至533i的输出提供给控制子系统550，包括定位置(localization)子系统552、轨迹子系统556、感知子系统554和控制系统接口558。定位置子系统552被配置为确定自动驾驶车辆500在其周围环境中(并且通常在特定地理区域中)的位置和取向(有时候也称为“姿态”)。作为生成标记的自动驾驶车辆数据的一部分，可以将自动驾驶车辆的位置与相同环境中附加车辆的位置进行比较。感知子系统554可以被配置为检测、跟踪、分类和/或确定自动驾驶车辆500周围环境中的对象。轨迹子系统556被配置为在给定期望目的地以及环境内的静止和移动对象的情况下，生成自动驾驶车辆在特定时间框架内的轨迹。可以将根据若干实施方式的机器学习模型用于生成车辆轨迹。控制系统接口558被配置为与控制系统510通信，从而实现自动驾驶车辆500的轨迹。在一些实施方式中，可以将机器学习模型用于控制自动驾驶车辆来实现计划的轨迹。
68.应当理解，图5c所示用于车辆控制系统520的组件集合本质上只是示例性的。在一些实施方式中，可以省略单个传感器。在一些实施方式中，可以将图5c所示不同类型的传感器用于冗余和/或用于覆盖自动驾驶车辆周围环境中的不同区域。在一些实施方式中，可以使用不同类型的控制子系统和/或控制子系统的组合。此外，虽然子系统552至558被示出为与处理逻辑522和存储器524分离，但是应当理解，在一些实施方式中，子系统552至558的一部分或全部功能可以通过诸如驻留在存储器524中由处理逻辑522执行的指令526这样的程序代码来实现，并且这些子系统552至558在某些情况下可以使用(一个或多个)相同的处理器和/或存储器来实现。在一些实施方式中，子系统可以至少部分地使用各种专用电路逻
辑、各种处理器、各种现场可编程门阵列(fpga)、各种专用集成电路(asic)、各种实时控制器等来实现，如上所述，多个子系统可以使用电路、处理器、传感器和/或其他组件。此外，车辆控制系统520中的各种组件可以通过各种方式联网。
69.在一些实施方式中，自动驾驶车辆500还可以包括辅助车辆控制系统(未示出)，辅助车辆控制系统可以用作自动驾驶车辆500的冗余或备用控制系统。辅助车辆控制系统能够响应于特定事件来操作自动驾驶车辆500。辅助车辆控制系统可以响应于在主车辆控制系统520中检测的特定事件，仅具有有限的功能。在其他实施方式中，可以省略辅助车辆控制系统。
70.在一些实施方式中，可以使用不同的架构(包括软件、硬件、电路逻辑、传感器和网络的各种组合)来实现图5c所示的各种组件。例如，每个处理器可以实现为微处理器，每个存储器可以表示随机存取存储器(ram)装置，包括主存储器以及任何补充级别的存储器，例如高速缓存存储器、非易失性或备用存储器(例如可编程存储器或闪存)或只读存储器。此外，可以将每个存储器视为包括物理上位于自动驾驶车辆500中其他地方的存储器，例如，处理器中的任何高速缓存存储器，以及用作虚拟存储器的任何存储容量，例如，存储在大容量存储装置或另一个计算机控制器上。可以将图5c所示的处理逻辑522或完全分离的处理逻辑用于在自动控制目的之外实现自动驾驶车辆500中的附加功能，例如，以控制娱乐系统、操作车门、车灯或便利特征。
71.此外，对于附加存储而言，自动驾驶车辆500还可以包括一个或多个大容量存储装置，例如可移动磁盘驱动器、硬盘驱动器、直接存取存储装置(dasd)、光学驱动器(例如cd驱动器、dvd驱动器)、固态存储驱动器(ssd)、网络连接存储、存储区域网络和/或磁带驱动器，及其他。此外，自动驾驶车辆500可以包括用户界面564，以使得自动驾驶车辆100能够从乘客接收多个输入并为乘客生成输出，例如，一个或多个显示器、触摸屏、语音和/或手势界面、按钮和其他触觉控制。在一些实施方式中，可以通过另一个计算机或电子装置(例如通过移动装置上的应用或通过网络接口)，接收来自乘客的输入。
72.在一些实施方式中，自动驾驶车辆500可以包括适合于与一个或多个网络570(例如局域网(lan)、广域网(wan)、无线网络和/或互联网，及其他)通信的一个或多个网络接口，例如网络接口562，以允许与其他计算机和电子装置(例如包括中心服务，诸如云服务)的信息通信，自动驾驶车辆500从其接收环境数据和其他数据，用于其自动控制。在一些实施方式中，可以将通过一个或多个传感器533a至533i收集的数据通过网络570上传到计算系统572，用于附加处理。在这些实施方式中，可以在上传之前将时间戳与车辆数据的每个实例相关联。
73.图5c所示处理逻辑522以及本文公开的各种附加控制器和子系统通常在操作系统的控制下操作，并执行或以其他方式依赖于各种计算机软件应用、组件、程序、对象、模块或数据结构，如下更详细所述。此外，各种应用、组件、程序、对象或模块也可以在通过网络570耦合到自动驾驶车辆500的另一个计算机中的一个或多个处理器上执行，由此实现计算机程序的功能所需的处理可以通过网络分配给多个计算机和/或服务。
74.为实现本文所述各种实施方式而执行的例程，无论是作为操作系统的一部分还是作为特定应用、组件、程序、对象、模块或指令序列的一部分甚至是其子集来实现，在此都将称为“程序代码”。程序代码通常包括一个或多个指令，这些指令在不同的时间驻留在各种
存储器和存储装置中，并且当由一个或多个处理器读取和执行时，进行为执行具体实施本发明各个方面的步骤或元件所必须的步骤。此外，虽然已经并且以下可以在完全功能的计算机和系统的场境下描述多个实施方式，但是应当理解，本文所述的各种实施方式能够以各种形式作为程序产品来分配，并且无论用于实际执行分配的特定类型的计算机可读介质如何，都可以实现这些实施方式。计算机可读介质的示例包括有形的非暂时性介质，诸如易失性和非易失性存储装置、软盘和其他可移动磁盘、固态驱动器、硬盘驱动器、磁带和光盘(例如cd-rom、dvd)，及其他。
75.此外，可以基于在特定实施方式中将其实现的应用来识别以下所述的各种程序代码。然而，应当理解，后面的任何特定程序命名仅仅是为了方便而使用的，因此本发明不应仅限于在通过这种命名识别和/或暗示的任何特定应用中使用。此外，考虑到可以将计算机程序组织为例程、过程、方法、模块、对象等的通常无数种方式，以及可以在驻留在典型计算机中的各种软件层(例如，操作系统、库、api、应用、小程序)之间分配程序功能的各种方式，应当理解，本发明并不限于本文所述程序功能的具体组织和分配。
76.受益于本公开的本领域技术人员将认识到，图5c所示的示例性环境并非要限制本文公开的实施方式。事实上，本领域技术人员将认识到，在不脱离本文公开的实施方式范围的情况下，可以使用其他替代性硬件和/或软件环境。
77.本公开中的术语“处理逻辑”(例如处理逻辑522)可以包括一个或多个处理器、微处理器、多核处理器、专用集成电路(asic)和/或现场可编程门阵列(fpga)，以执行本文公开的操作。在一些实施方式中，将存储器(未示出)集成到处理逻辑中存储指令，以执行操作和/或存储数据。处理逻辑还可以包括模拟电路或数字电路，以执行根据本公开实施方式的操作。
78.本公开所述的“存储器”或“多个存储器”可以包括一个或多个易失性或非易失性存储器体系结构。“存储器”或“多个存储器”可以是通过任何方法或技术实现的可移动介质和不可移动介质，用于存储信息，诸如计算机可读指令、数据结构、程序模块或其他数据。示例性存储器技术可以包括ram、rom、eeprom、闪存、cd-rom、数字多功能盘(dvd)、高清多媒体/数据存储盘、或其他光学存储、盒式磁带、磁带、磁盘存储或其他磁存储装置、或者可以用于存储信息供计算装置访问的任何其他非传输介质。
79.网络可以包括任何网络或网络系统，诸如但不限于：对等网络、局域网(lan)、广域网(wan)、诸如互联网的公共网络、专用网络、蜂窝网络、无线网络、有线网络、无线和有线组合网络、以及卫星网络。
80.通信信道可以包括使用ieee 802.11协议、spi(串行外围接口)、i2c(相互集成电路)、usb(通用串行端口)、can(控制器局域网)、蜂窝数据协议(例如3g、4g、lte、5g)、光学通信网络、互联网服务提供商(isp)、对等网络、局域网(lan)、广域网(wan)、公共网络(例如互联网)、专用网络、卫星网络或其他网络的一个或多个有线或无线通信，或通过一个或多个有线或无线通信被路由。
81.计算装置可以包括台式电脑、笔记本电脑、平板电脑、平板手机、智能手机、功能手机、服务器计算机或其他装置。服务器计算机可以远程位于数据中心，也可以本地存储。
82.以上所述处理是根据计算机软件和硬件来描述的。所述技术可以构成在有形或非暂时性机器(例如计算机)可读存储介质内具体实施的机器可执行指令，在通过机器执行
时，这些指令将使得机器执行所述操作。此外，这些处理可以在硬件(诸如专用集成电路(asic)或其他)中具体实施。
83.有形非暂时机器可读存储介质包括以机器(例如，计算机、网络装置、个人数字助理、制造工具、具有一组一个或多个处理器的任何装置等)可访问的形式提供(即存储)信息的任何机制。例如，机器可读存储介质包括可记录/不可记录介质(例如，只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光学存储介质、闪存装置等)。
84.以上对本发明所示实施方式的描述，包括摘要所述内容，并非要穷举或将本发明限制于所公开的精确形式。虽然本文出于说明性目的描述了本发明的具体实施方式和示例，但是本领域技术人员将认识到，在本发明的范围内可以进行各种修改。
85.可以根据以上详细描述对本发明进行这些修改。在以下权利要求中使用的术语不应解释为将本发明限制于说明书所公开的具体实施方式。而是，本发明的范围将完全由以下权利要求来确定，这些权利要求将根据权利要求解释的既定原则来解释。