具有主动偏振控制的LIDAR像素的制作方法

具有主动偏振控制的lidar像素
1.相关申请的交叉引用
2.本技术要求2021年6月10日提交的美国非临时申请17/344,386的优先权，其要求2020年6月12日提交的美国临时申请63/038,452的优先权。申请17/344,386和63/038,452以引用的方式并入到本文中。
技术领域
3.本公开总体上涉及成像，并且特别地涉及lidar(light detection and ranging，光检测和测距)。


背景技术：

4.调频连续波(fmcw)lidar通过将调频准直光束指向目标，直接测量对象的范围和速度。目标的范围和速度信息都能够从fmcw lidar信号导出。期望提高lidar信号精度的设计和技术。
5.汽车工业目前正在开发用于在某些情况下控制车辆的自动特征。根据sae国际标准j3016，存在从0级(无自主性)到5级(车辆能够在所有条件下无需操作者输入而操作)的6个自主性级别。具有自动特征的车辆利用传感器来感测车辆导航通过的环境。获取和处理来自传感器的数据允许车辆行驶的环境。自动驾驶车辆可以包括用于感测其环境的一个或多个fmcw lidar设备。


技术实现要素：

6.本公开的实施方式包括光检测和测距(lidar)系统，该lidar系统包括激光器、分束器、偏振控制器和双偏振光栅耦合器。激光器被配置成生成光。分束器被配置成将光分束成多个光。偏振控制器被配置成接收多个分束光中的第一分束光。偏振控制器包括第一臂和第二臂。第一臂包括第一移相器和第二移相器，第一移相器和第二移相器被配置成受控制以设置第一臂相对于第二臂的相位。光栅耦合器包括第一端口和第二端口，第一端口接收来自第一臂的光，第二端口被配置成接收来自第二臂的光。双偏振光栅耦合器被配置成将来自第一端口的光耦合成具有第一偏振取向的第一光束。双偏振光栅耦合器被配置成将来自第二臂的光耦合成具有第二偏振取向的第二光束。
7.在实施方式中，lidar系统还包括光学混合器，该光学混合器被配置为接收多个分束光中的第二光。双偏振光栅耦合器被配置成将具有第一偏振取向的反射光耦合到第一臂中，并且被配置成将具有第二偏振取向的反射光耦合到第二臂中。光学混合器可以被配置成响应于反射光和第二光而输出输出信号。
8.在实施方式中，lidar系统还包括分束器，该分束器被配置为向偏振控制器提供分束光的第一部分。分束器还被配置成向光学混合器提供第二光。
9.在实施方式中，lidar系统还包括第一级和第二级。第一级包括第一2
×
2分束器和第一移相器。第一2
×
2分束器连接到互连，该互连馈入光学混合器。第二级包括第二2
×
2分
束器和第二移相器。
10.在实施方式中，双偏振光栅耦合器的第一端口光学耦合至第二移相器。
11.在实施方式中，具有第二偏振取向的第二光束与第一偏振取向正交。
12.本公开的实施方式包括一种用于自动驾驶车辆的系统，该系统包括耦合至lidar处理引擎的主动偏振控制相干像素阵列。主动偏振控制相干像素阵列中的像素包括偏振控制器和双偏振光栅耦合器。偏振控制器包括第一臂和第二臂。第一臂包括第一移相器和第二移相器，能够控制第一移相器和第二移相器来设置第一臂相对于第二臂的相位。双偏振光栅耦合器包括第一端口和第二端口，第一端口接收来自第一臂的光，第二端口被配置成接收来自第二臂的光。双偏振光栅耦合器被配置成将来自第一端口的光耦合成具有第一偏振取向的第一光束。双偏振光栅耦合器被配置成将来自第二臂的光耦合成具有第二偏振取向的第二光束。
13.在实施方式中，主动偏振控制相干像素阵列中的像素包括光学混合器，该光学混合器被配置成接收第二光。双偏振光栅耦合器被配置成将具有第一偏振取向的反射光耦合到第一臂中，并且被配置成将具有第二偏振取向的反射光耦合到第二臂中。光学混合器被配置成响应于反射光和分束光的剩余部分而输出输出信号。
14.在实施方式中，主动偏振控制相干像素阵列中的像素包括分束器，该分束器配置成向偏振控制器提供分束光的第一部分。分束器还被配置成将分束光的剩余部分提供给光学混合器。
15.在实施方式中，双偏振光栅耦合器的第一端口光学耦合至第二移相器。
16.本公开的一种实施方式包括一种用于自动驾驶车辆的自动驾驶车辆系统，该自动驾驶车辆系统包括lidar像素和一个或多个处理器。lidar像素包括偏振控制器、光栅耦合器和光学混合器。偏振控制器被配置成接收分束光的第一部分。偏振控制器包括第一臂和第二臂。偏振控制器的移相器设置在第一臂中传播的第一光相对于在第二臂中传播的第二光的相位。光栅耦合器被配置成响应于接收第一光和第二光而输出输出光束。光栅耦合器被配置成接收输出光束的反射光束。光学混合器被配置成响应于接收分束光的剩余部分和反射光束而输出差拍信号。一个或多个处理器被配置成响应于从像素接收到差拍信号而控制移相器。
17.在实施方式中，光栅耦合器为双偏振光栅耦合器，该双偏振光栅耦合器被配置成将来自第一臂的第一光耦合成具有第一偏振取向的第一光束。双偏振光栅耦合器被配置成将来自第二臂的第二光耦合成具有第二偏振取向的第二光束，该第二偏振取向与第一偏振取向正交。
18.在实施方式中，一个或多个处理器控制移相器以增加差拍信号的信号电平。
19.在实施方式中，一个或多个处理器控制移相器，以最大化差拍信号的信号电平。
20.在实施方式中，用于自动驾驶车辆的系统包括控制系统，该控制系统被配置为响应于差拍信号而控制自动驾驶车辆的动力传动系统。
21.在实施方式中，输出光束为红外输出光束。
22.在实施方式中，用于自动驾驶车辆的系统包括分束器，该分束器被配置成向偏振控制器提供分束光的第一部分。分束器还被配置成将分束光的剩余部分提供给光学混合器。
23.在实施方式中，偏振控制器包括第二移相器。
24.在实施方式中，偏振控制器包括第一级和第二级。第一级包括第一2
×
2分束器和移相器。第一2
×
2分束器连接到互连，该互连馈入光学混合器。第二级包括第二2
×
2分束器和第二移相器。
25.在实施方式中，光栅耦合器的第一端口光学耦合到第二移相器。
附图说明
26.本发明的非限制性和非穷尽性实施方式参考以下附图进行描述，其中除非另有说明，否则在各个视图中相似的附图标记指代相似的部件。
27.图1a图示了根据本公开的实施方式的包括具有主动偏振控制的lidar像素的示例lidar设备。
28.图1b图示了根据本公开的实施方式的包括用于主动偏振控制的第一移相器和第二移相器的示例lidar像素。
29.图2展示了根据本公开的实施方式，如何能够将多于一个具有主动偏振控制的相干像素组合成焦平面阵列(fpa)。
30.图3展示了根据本公开的实施方式，如何能够在fmcw lidar系统中使用具有主动偏振控制的相干像素阵列。
31.图4a图示了根据本公开实施方式的包括示例传感器阵列的自动驾驶车辆。
32.图4b图示了根据本公开实施方式的包括示例传感器阵列的自动驾驶车辆的俯视图。
33.图4c图示了根据本公开实施方式的包括传感器、驱动传动系统和控制系统的示例车辆控制系统。
具体实施方式
34.本文描述了用于lidar像素的主动偏振控制的实施方式。在以下描述中，阐述了许多具体细节以提供对实施方式的透彻理解。然而，相关领域的技术人员将认识到，被我描述的技术能够在没有具体细节中的一个或多个细节的情况下实施，或者利用其他方法、组件或材料来实施。在其他实例中，没有详细示出或描述众所周知的结构、材料或操作，以避免模糊某些方面。
35.贯穿本说明书对“一个实施方式”或“实施方式”的引用意味着结合该实施方式描述的特定特征、结构或特性包括在本发明的至少一个实施方式中。因此，短语“在一个实施方式中”或“在实施方式中”在本说明书各处的出现不一定都指同一实施方式。此外，特定的特征、结构或特性可以在一个或多个实施方式中以任何合适的方式组合。
36.贯穿本说明书，使用了若干技术术语。这些术语将采用它们在所属领域中的普通含义，除非在此特别定义或者它们使用的场境清楚地表明不是这样。出于本公开的目的，术语“自动驾驶车辆”包括具有sae国际标准j3016的任何自主性水平的自动特征的车辆。
37.在本公开的方面，可见光可定义为具有约380nm至700nm的波长范围。不可见光可以被定义为波长在可见光范围之外的光，诸如紫外光和红外光。波长范围约为700nm至1mm的红外光包括近红外光。在本公开的方面，近红外光可以被定义为具有大约700nm至1.6μm
的波长范围。
38.在本公开的方面，术语“透明”可定义为光透射率大于90％。在一些方面，术语“透明”可以定义为可见光透射率大于90％的材料。
39.调频连续波(fmcw)lidar通过将调频准直光束对准对象，直接测量对象的范围和速度。从对象反射的光与光束的分接形式(tapped version)相组合。一旦针对需要第二测量的多普勒频移进行了校正，所得到的拍音的频率与对象离lidar系统的距离成比例。这两种测量可以同时进行，也可以不同时进行，提供范围和速度信息。
40.fmcw lidar能够利用集成光子学来改进可制造性和性能。集成光子学系统通常使用微米级波导设备操纵单个光学模式。
41.从漫射表面反射的由fmcw lidar生成的相干光产生散斑图案，其特征在于反射光场中的随机强度和相位轮廓。这种散斑场减少了能够耦合回单模式光学系统的功率量。当fmcw lidar光束在漫射表面上扫描时，反射的散斑场具有时变行为，这导致信号频谱变宽。
42.本公开的实施方式包括一个或多个具有主动偏振控制的相干像素。相干像素中的光可以被均匀地分到两个“臂”内，然后能够任意操纵像素的两个臂的振幅和相对相位。两个臂中的光可以进入双偏振光学耦合器。该耦合器可以将光耦合到具有两个正交偏振的自由空间中。
43.通过控制相干像素两个臂的振幅和相位，能够任意选择光的输出偏振。备选地，通过控制相干像素两个臂的振幅和相位，能够使其对接收特定偏振光任意地敏感。
44.图1a图示了根据本公开的实施方式的示例lidar设备199，该lidar设备199包括具有主动偏振控制的lidar像素150。图1a中的lidar像素150包括1
×
2分束器152、光学混合器159、光栅耦合器161和偏振控制器180。偏振控制器180包括2
×
2分束器156和移相器157。偏振控制器180包括顶部臂162和底部臂160。
45.进入lidar像素150的光151能够由分束器(例如1
×
2分束器152)分束。光151可以是由激光器(例如连续波激光器)生成的红外激光。在一些实施方式中，激光可以被准直。可以根据fmcw lidar系统的需要选择分束器152的分束比。该分束光的一部分(例如在70％与99％之间)通过互连153传播到2
×
2分束器156。离开1
×
2分束器152的底部输出端口的剩余光(例如，在1％与30％之间)通过互连154传播到光学混合器159中。在一些实施方式中，输入光151和1
×
2分束器152可以用两个独立的光源代替。
46.在传输方向上，偏振控制器180被配置成接收由1
×
2分束器152分束的分束光的第一部分。分束光的第一部分通过互连153传播到偏振控制器180。进入2
×
2分束器156的光在其两个输出端口之间被分束。2
×
2分束器156的顶部输出端口启动偏振控制器180的“顶部臂”162，并且2
×
2分束器156的底部端口启动偏振控制器180的“底部臂”160。在一些实施方式中，2
×
2分束器156的顶部端口与底部端口之间的分束比是50:50，然而如果需要，可以选择其他分束比。顶部臂162中的光穿过移相器157，移相器157能够被控制，以便任意设置顶部臂162中的光相对于底部臂160的相位。
47.移相器157设置在顶部臂162中传播的顶部光相对于在底部臂160中传播的底部光的相位。在图1a中，处理逻辑190被配置成控制移相器157。顶部臂162中的光传播到光栅耦合器161的顶部端口168中，而底部臂160中的光传播到光栅耦合器161的底部端口169中。光栅耦合器161可以是双偏振光栅耦合器，双偏振光栅耦合器被配置成外耦合第一偏振取向
的光和与光的第一偏振取向正交的第二偏振取向的光。在一些实施方式中，光栅耦合器161将来自顶部端口168的光耦合成第一偏振光束(例如“te”偏振光束)，并将来自底部端口169的光耦合成第二偏振光束(例如“tm”偏振光束)。这两个正交光束叠加形成具有任意偏振的输出光束193，该任意偏振由移相器157的状态决定。因此，光栅耦合器161被配置成响应于接收在顶部臂162中传播的顶部光和在底部臂160中传播的底部光而输出输出光束193。
48.在图示实施方式中，光栅耦合器161呈现为“天线”。然而，能够使用偏振旋转器、偏振组合器或边缘发射器来实施等效的、备选的或类似的系统。
49.在接收方向上，任意偏振光194进入光栅耦合器161。具有第一偏振的光耦合到顶部臂162中，并穿过移相器157。具有第二偏振的光耦合到底部臂160中。两个臂中的光然后穿过2
×
2分束器156。能够控制移相器157，使得最大量的光耦合到2
×
2分束器156的底部端口，2
×
2分束器156的底部端口连接到互连163。互连163中的光被馈入到光学混合器159中，光学混合器159将其与互连154中的光组合。互连154中的光是来自在互连153中传播的光的第一部分的剩余光。因此，光学混合器159被配置成响应于接收到分束光的剩余部分和反射光束194(通过底部臂160和2
×
2分束器156传播)而输出输出信号164。光学混合器159将这些混合的光学信号(互连163和互连154中的光)转换到电域，产生一个或多个输出信号164。例如，输出信号164可以是诸如“差拍信号”的电子信号
50.如上文所描述，移相器157设置了在顶部臂162中传播的顶部光相对于在底部臂160中传播的底部光的相位。在图1a的图示实施方式中，处理逻辑190被配置成响应于从lidar像素150接收差拍信号164而控制移相器157。在一些实施方式中，处理逻辑190被配置成将移相器157驱动到不同的相位值，然后选择生成具有最高振幅的差拍信号164的相位值，并将所选择的相位值驱动到移相器157上，以增加或者甚至最大化差拍信号164的信号电平。由于不同的目标表面反射不同的偏振取向，处理逻辑190可以将移相器157驱动到不同的相位值，由于不同的目标表面反射的光的不同偏振，这增加了差拍信号164的振幅。在一些实施方式中，处理逻辑190从多个lidar像素150接收差拍信号164，并从多个差拍信号生成图像191。
51.图1b图示了根据本公开的实施方式的示例lidar像素149，该lidar像素149包括用于主动偏振控制的第一移相器107和第二移相器109。进入相干像素149的光101能够被分束器(例如1
×
2分束器102)分束。该分束器的分束比可以根据fmcw lidar系统的需要来选择。该分束光的一部分(例如在70％与99％之间)通过互连103传播到2
×
2分束器105。离开1
×
2分束器底部输出端口的剩余光(例如在1％与30％之间)通过互连104传播到光学混合器106。在一些实施方式中，输入光101和1
×
2分束器102可以用两个独立的光源代替。
52.在传输方向上，进入2
×
2分束器105的光在其两个输出端口(其构成具有“顶部臂”和“底部臂”的偏振控制器130的第一级)之间分束。第一级包括第一2
×
2分束器105和第一移相器107。在相干像素149的实施方式中，分束比是50:50，然而如果需要，可以选择其他分束比。顶部臂中的光穿过第一移相器107，该第一移相器107能够被控制，以便任意设置顶部臂中的光相对于底部臂的相位。
53.顶部臂和底部臂中的光进入第二2
×
2分束器108(偏振控制器130的第二级)。第二级包括第二2
×
2分束器108和第二移相器109。取决于两个臂的相移，能够控制离开分束器108的顶部端口和底部端口的光的振幅。该第二级的顶部臂中的光穿过第二移相器109，该
第二移相器109能够被控制以任意设置第二级的顶部臂和底部臂的相对相位。顶部臂中的光传播到双偏振光栅耦合器111的顶部端口118，而底部臂110中的光传播到双偏振光栅耦合器111的底部端口119。顶部端口118光学耦合到第二移相器109。光栅耦合器111将来自顶部端口118的光耦合成第一偏振光束，并将来自底部端口119的光耦合成第二正交偏振光束。这两个正交光束叠加形成具有任意偏振的光束143，该任意偏振由两个移相器107和109的状态决定。
54.在图示实施方式中，双偏振光栅耦合器111呈现为“天线”。然而，能够使用偏振旋转器、偏振组合器或边缘发射器来实现等效的、备选的或类似的系统。
55.在接收方向上，任意偏振光144进入双偏振光栅耦合器111。具有第一偏振的光耦合到第二级的顶部臂112中，并穿过第二移相器109。具有第二偏振的光耦合到第二级的底部臂110中。两个臂中的光然后穿过2
×
2分束器108，进入第一级。第一级的顶部臂中的光穿过第一移相器107。第一级的两个臂中的光穿过2
×
2分束器105。能够控制第一移相器107和第二移相器109，使得最大量的光耦合到2
×
2分束器105的底部端口内，2
×
2分束器105的底部端口连接到互连113。113中的光被馈入到光学混合器106中，光学混合器106将其与互连104中的光组合。光学混合器106将该混合光学信号转换到电域，产生一个或多个输出信号114。
56.图2展示了根据本公开的实施方式，如何能够将多于一个具有主动偏振控制的相干像素203组合成焦平面阵列(fpa)201。相干像素203可以用lidar像素149和/或lidar像素150的设计来实施。多个光学通道202进入阵列。这些能够是离散的并行通道，或者使用光学电路在像素之间切换。在一些实施方式中，相同的连续波(cw)红外激光器为光学通道202中每一个提供激光。可以实施波导、光纤、微光学组件、光学放大器和/或光子学电路，使得通道202中每一个接收来自cw红外激光器的激光的一部分。光进入每个相干像素(例如203)，如先前所描述，每个相干像素操纵、传输和接收具有任意偏振的光204。接收到的光被转换成输出电信号的阵列205。可以对输出电信号阵列205执行图像处理，以生成由fpa 201成像的环境图像。
57.图3展示了根据本公开的实施方式，如何能够在fmcw lidar系统399中使用具有主动偏振控制的相干像素阵列。在图3中，透镜300从主动偏振控制相干像素阵列301获取输入。在一些实施方式中，主动偏振控制相干像素阵列301可以包括fpa 201。透镜300还接收具有角度范围306的输出光束。主动偏振控制相干像素阵列301中的像素由fpa驱动器模块304控制。阵列中的个别像素可以被接通以发射和接收光，或者阵列中的多个同时的像素可以被接通以同时发射或接收光。主动偏振控制相干像素阵列301发射的光由具有q-平行通道的激光器阵列303产生。该激光器阵列可以直接与主动偏振控制相干像素阵列301集成，或者可以是与主动偏振控制相干像素阵列301在一起封装的分离模块。激光器阵列由激光器驱动器模块305控制，激光器驱动器模块305经由数模转换器(dac)307从lidar处理引擎302接收控制信号。lidar处理引擎302还控制fpa驱动器304，并发送和接收主动偏振控制相干像素阵列301的数据。
58.lidar处理引擎302包括微型计算机308。微型计算机308可以处理来自fpa系统330的数据，并经由fpa驱动器304和激光器控制器305向fpa系统330发送控制信号。信号由lidar处理引擎302的n通道接收器309接收。使用一组m通道模数转换器(adc)310将这些传
入信号数字化，并且微型计算机308被配置成接收信号的数字化形式。
59.图4a图示了根据本公开的方面的示例自动驾驶车辆400，该自动驾驶车辆400可包括图1a至图3的lidar设计。所图示的自动驾驶车辆400包括传感器阵列，该传感器阵列被配置成捕获自动驾驶车辆的外部环境的一个或多个对象，并生成与所捕获的一个或多个对象相关的传感器数据，用于控制自动驾驶车辆400的操作的目的。图4a示出了传感器433a、433b、433c、433d和433e。图4b示出了除了传感器433a、433b、433c、433d和433e之外还包括传感器433f、433g、433h和433i的自动驾驶车辆400的俯视图。传感器433a、433b、433c、433d、433e、433f、433g、433h和/或433i中的任何一个可以包括lidar设备，lidar设备包括图1a至图3的设计。图4c图示了用于自动驾驶车辆400的示例系统499的框图。例如，自动驾驶车辆400可以包括动力传动系统402，该动力传动系统402包括由能量源406提供动力并且能够向驱动传动系统408提供动力的原动机404。自动驾驶车辆400可以还包括控制系统410，该控制系统410包括方向控制412、动力传动系统控制414和制动控制416。自动驾驶车辆400可以被实施为任何数量的不同车辆，包括能够运送人和/或货物并且能够在各种不同环境中行驶的车辆。应当理解，上述组件402至416能够根据使用这些组件的车辆的类型而有很大的不同。
60.例如，下文讨论的实施方式将集中于轮式陆地车辆，诸如轿车、货车、卡车或公共汽车。在这样的实施方式中，原动机404可以包括一个或多个电动马达和/或内燃机(以及其它装置)。能量源可以包括例如燃料系统(例如，提供汽油、柴油、氢气)、电池系统、太阳能电池板或其他可再生能量源，和/或燃料电池系统。驱动传动系统408可以包括车轮和/或轮胎以及变速器和/或适用于将原动机404的输出转换成车辆运动的任何其他机械驱动组件，以及被配置成可控地停止或减慢自动驾驶车辆400的一个或多个制动器和适于控制自动驾驶车辆400的轨迹的方向或转向组件(例如，齿条和小齿轮转向联动装置，其使得自动驾驶车辆400的一个或多个车轮能够绕大体上竖直轴线枢转，以改变车轮的旋转平面相对于车辆纵向轴线的角度)。在一些实施方式中，可以使用动力传动系统与能量源的组合(例如，在电动/燃气混合动力车辆的情况下)。在一些实施方式中，多个电动马达(例如，专用于个别的车轮或轮轴)可以用作原动机。
61.方向控制412可包括一个或多个致动器和/或传感器，用于控制和接收来自方向或转向组件的反馈，以使自动驾驶车辆400遵循期望的轨迹。动力传动系统控制414可以被配置成控制动力传动系统402的输出，例如，控制原动机404的输出功率，以控制驱动传动系统408中的变速器的档位，从而控制自动驾驶车辆400的速度和/或方向。制动控制416可以被配置成控制使自动驾驶车辆400减速或停止的一个或多个制动器，例如耦合到车辆车轮的盘式或鼓式制动器。
62.其他车辆类型，包括但不限于越野车辆、全地形车辆或履带式车辆，或施工器械，将需要使用不同的动力传动系统、驱动传动系统、能量源、方向控制、动力传动系统控制和制动控制，受益于本公开内容的普通技术人员应理解这一点。此外，在一些实施方式中，组件中的一些能够组合，例如，其中车辆的方向控制主要通过改变一个或多个原动机的输出来处置。因此，本文公开的实施方式不限于本文描述的技术在自主轮式陆地车辆中的特定应用。
63.在图示实施方式中，对自动驾驶车辆400的自主控制在车辆控制系统420中实施，
车辆控制系统420可包括处理逻辑422中的一个或多个处理器和一个或多个存储器424，处理逻辑422被配置成运行存储在存储器424中的程序代码(例如，指令426)。例如，处理逻辑422可以包括图形处理单元(gpu)和/或中央处理单元(cpu)。车辆控制系统420可以被配置成响应于诸如lidar像素149或150的lidar像素的光学混合器的输出而控制自动驾驶车辆400的动力传动系统402。车辆控制系统420可以被配置成响应于来自多个lidar像素的输出而控制自动驾驶车辆400的动力传动系统402。车辆控制系统420可以被配置成响应于来自微型计算机308的输出而控制自动驾驶车辆400的动力传动系统402，来自微型计算机308的输出基于从fpa系统330接收的信号而生成。
64.传感器433a至433i可包括各种传感器，各种传感器适用于从自动驾驶车辆周围环境收集数据以在控制自动驾驶车辆的操作中使用。例如，传感器433a至433i能够包括radar单元434、lidar单元436、(一个或多个)3d定位(positioning)传感器438，例如卫星导航系统，诸如gps、glonass、北斗(beidou)、伽利略(galileo)或compass。图1a至图3的lidar设计可以包括在lidar单元436中。例如，lidar单元436可以包括分布在自动驾驶车辆400周围的多个lidar传感器。在一些实施方式中，(一个或多个)3d定位传感器438能够使用卫星信号来确定车辆在地球上的位置。传感器433a至433i能够任选地包括一个或多个超声波传感器、一个或多个相机440和/或惯性测量单元(imu)442。在一些实施方式中，相机440能够是单图(monographic)相机或立体(stereographic)相机，并且能够记录静态和/或视频图像。相机440可以包括互补金属氧化物半导体(cmos)图像传感器，其被配置成捕获自动驾驶车辆400的外部环境中的一个或多个对象的图像。imu 442能够包括多个陀螺仪和加速度计，多个陀螺仪和加速度计能够检测自动驾驶车辆400在三个方向上的线性和旋转运动。诸如车轮编码器的一个或多个编码器(未示出)可以用于监测自动驾驶车辆400的一个或多个车轮的旋转。
65.传感器433a至433i的输出可提供给控制子系统450，控制子系统450包括本地化(localization)子系统452、轨迹子系统456、感知子系统454和控制系统接口458。本地化子系统452被配置成确定自动驾驶车辆400在其周围环境中，并且通常在特定地理区域中的位置和取向(有时也称为“姿势”)。作为生成标记自动驾驶车辆数据的一部分，能够将自动驾驶车辆的位置与相同环境中的附加车辆的位置进行比较。感知子系统454可以被配置成检测、跟踪、分类和/或确定自动驾驶车辆400周围环境中的对象。轨迹子系统456被配置成在给定期望目的地以及环境中的静态和移动对象的情况下，在特定时间框架上生成自动驾驶车辆400的轨迹。根据若干实施方式的机器学习模型能够用于生成车辆轨迹。控制系统接口458被配置成与控制系统410通信，以便实施自动驾驶车辆400的轨迹。在一些实施方式中，能够利用机器学习模型来控制自动驾驶车辆实施规划的轨迹。
66.应当理解，图4c所图示的用于车辆控制系统420的组件集合本质上仅是示例性的。在一些实施方式中，可以省略个别的传感器。在一些实施方式中，图4c所图示的不同类型的传感器可以用于冗余和/或用于覆盖自动驾驶车辆周围环境中的不同区域。在一些实施方式中，可以使用不同类型和/或组合的控制子系统。此外，虽然子系统452至458被示为与处理逻辑422和存储器424分离，但是应当理解，在一些实施方式中，子系统452至458的一些或全部功能可以用程序代码(诸如驻留在存储器424中并由处理逻辑422执行的指令426)来实施，并且这些子系统452至458在一些实例中可以使用(一个或多个)相同的处理器和/或存
储器来实施。一些实施方式中的子系统可以至少部分地使用各种专用电路逻辑、各种处理器、各种现场可编程门阵列(“fpga”)、各种专用集成电路(“asic”)、各种实时控制器等来实施。如上文所指出的，多个子系统可以使用电路、处理器、传感器和/或其他组件。此外，车辆控制系统420中的各种组件可以以各种方式联网。
67.在某些实施方式中，自动驾驶车辆400还可包括辅助车辆控制系统(未图示)，辅助车辆控制系统可用作自动驾驶车辆400的冗余或备用控制系统。在一些实施方式中，辅助车辆控制系统能够响应于特定事件而操作自动驾驶车辆400。响应于在主车辆控制系统420中检测到的特定事件，辅助车辆控制系统可能仅具有有限的功能。在其他实施方式中，可以省略辅助车辆控制系统。
68.在一些实施方式中，不同的架构，包括软件、硬件、电路逻辑、传感器和网络的各种组合，可用于实施图4c所图示的各种组件。每个处理器可以被实施为例如微处理器，并且每个存储器可以代表包括主存储的随机存取存储器(“ram”)设备，以及任何补充级别的存储器，例如高速缓冲存储器、非易失性或备份存储器(例如可编程或闪存)、或只读存储器。此外，每个存储器可以被认为包括物理上位于自动驾驶车辆400中其他地方的存储器存储，例如处理器中的任何高速缓冲存储器，以及用作虚拟存储器的任何存储容量，例如存储在大容量存储设备或另一个计算机控制器上。图4c所图示的处理逻辑422或完全分离的处理逻辑可用于在自动驾驶车辆400中实施自主控制目的之外的附加功能，例如，以控制娱乐系统、操作门、灯或便利特征。
69.此外，对于附加存储，自动驾驶车辆400还可包括一个或多个大容量存储装置，例如，可移动磁盘驱动器、硬盘驱动器、直接存取存储设备(“dasd”)、光驱(例如，cd驱动器、dvd驱动器)、固态存储驱动器(“ssd”)、网络附加存储、存储区域网络和/或磁带驱动器等。此外，自动驾驶车辆400可以包括用户接口464，以使自动驾驶车辆400能够接收来自乘客的多个输入并为乘客生成输出，例如，一个或多个显示器、触摸屏、语音和/或手势接口、按钮和其他触觉控制。在一些实施方式中，来自乘客的输入可以通过另一计算机或电子设备接收，例如，通过移动设备上的app或通过web接口接收。
70.在某些实施方式中，自动驾驶车辆400可包括一个或多个网络接口，如网络接口462，网络接口适用于与一个或多个网络470(如局域网(“lan”)、广域网(“wan”)、无线网络和/或互联网等)进行通信，以允许与其他计算机和包括例如中央服务(诸如云服务)的电子设备进行信息通信，自动驾驶车辆400从其接收环境和其他数据，以用于其自主控制。在一些实施方式中，由一个或多个传感器433a至433i收集的数据可以通过网络470上传到计算系统472用于附加的处理。在这样的实施方式中，在上传之前，时间戳能够与车辆数据的每个实例相关联。
71.图4c所图示的处理逻辑422，以及本文公开的各种附加控制器和子系统，通常在操作系统的控制下操作，并运行或以其他方式依赖于各种计算机软件应用、组件、程序、对象、模块或数据结构，如在下文中可能更详细描述。此外，各种应用、组件、程序、对象或模块也可以在通过网络470耦合到自动驾驶车辆400的另一计算机中的一个或多个处理器上运行，例如在分布式、基于云的或客户端-服务器计算环境中运行，由此实施计算机程序的功能所需的处理可以通过网络分配给多个计算机和/或服务。
72.为实施本文所描述的各种实施方式而运行的例程，无论是作为操作系统的一部分
实施，还是作为特定应用、组件、程序、对象、模块或指令序列或甚至其子集实施，在本文中均称为“程序代码”。程序代码通常包括一个或多个指令，该一个或多个指令在不同的时间驻留在不同的存储器和存储设备中，并且当被一个或多个处理器读取和运行时，执行步骤，这些步骤是运行体现本发明的各个方面的步骤或元素所必需的。此外，尽管实施方式已经并且在下文中可能在全功能计算机和系统的场境中描述，但是应当理解，本文描述的各种实施方式能够作为各种形式的程序产品来分发，并且实施方式能够被实施而不管用于实际执行分发的计算机可读介质的特定类型。计算机可读介质的示例包括有形的非暂时性介质，诸如易失性和非易失性存储设备、软盘和其他可移动磁盘、固态驱动器、硬盘驱动器、磁带和光盘(例如cd-rom、dvd)等。
73.此外，下文所描述的各种程序代码可根据其在特定实施中的应用进行识别。然而，应该理解，以下任何特定的程序命名法仅仅是为了方便而使用的，因此本发明不应该局限于仅在由这种命名法标识和/或暗示的任何特定应用中使用。此外，给定计算机程序可被组织成例程、过程、方法、模块、对象等的通常无限数量的方式，以及程序功能可在驻留在典型计算机内的各种软件层(例如，操作系统、库、api、应用、小程序)之间分配的各种方式，应该理解，本发明不限于这里描述的程序功能的特定组织和分配。
74.受益于本公开的本领域技术人员将认识到，图4c所图示的示例性环境无意限制本文公开的实施方式。实际上，本领域的技术人员将认识到，在不脱离这里公开的实施范围的情况下，可以使用其他备选的硬件和/或软件环境。
75.本公开中的术语“处理逻辑”(例如，处理逻辑190或422)可包括一个或多个处理器、微处理器、多核处理器、专用集成电路(asic)和/或现场可编程门阵列(fpga)，以运行本文公开的操作。在一些实施方式中，存储器(未图示)被集成到处理逻辑中，以存储指令来运行操作和/或存储数据。处理逻辑还可以包括模拟或数字电路，以根据本公开的实施方式来执行操作。
76.本公开中描述的“存储器”或“多个存储器”可包括一个或多个易失性或非易失性存储器架构。“存储器”或“多个存储器”可以是以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实施的可移动和不可移动介质。示例存储器技术可以包括ram、rom、eeprom、闪存、cd-rom、数字多功能盘(dvd)、高清晰度多媒体/数据存储盘或其他光学存储、盒式磁带、磁带、磁盘存储或其他磁存储设备，或者能够用于存储信息以供计算设备访问的任何其他非传输介质。
77.网络可包括任何网络或网络系统，诸如但不限于以下网络：对等网络；局域网(lan)；广域网(wan)；诸如互联网的公共网络；专用网络；蜂窝网络；无线网络；有线网络；无线和有线组合的网络；和卫星网络。
78.通信通道可包括利用ieee 802.11协议、spi(串行外围接口)、i2c(内部集成电路)、usb(通用串行端口)、can(控制器局域网)、蜂窝数据协议(例如3g、4g、lte、5g)、光学通信网络、互联网服务提供商(isp)、对等网络、局域网(lan)、广域网(wan)、公共网络(例如“互联网”)、专用网络、卫星网络等的一个或多个有线或无线通信或通过这样的一个或多个有线或无线通信路由。
79.计算设备可包括台式计算机、膝上型计算机、平板电脑、平板手机、智能手机、功能手机、服务器计算机等。服务器计算机可以远程地位于数据中心中，也可以存储在本地。
80.上文所解释的过程根据计算机软件和硬件进行描述。所描述的技术可以构成体现在有形或非暂时性机器(例如，计算机)可读存储介质中的机器可运行指令，当由机器运行时，这些指令将使机器执行所描述的操作。此外，这些过程可以体现在硬件诸如专用集成电路(“asic”)等中。
81.有形非暂时性机器可读存储介质包括以机器(例如，计算机、网络设备、个人数字助理、制造工具、具有一个或多个处理器的任何设备等)可访问的形式提供(即，存储)信息的任何机构。例如，机器可读存储介质包括可记录/不可记录介质(例如，只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光存储介质、闪存设备等)。
82.本发明图示实施方式的上述描述，包括摘要中的描述，并非旨在穷举或将本发明限制为所公开的精确形式。虽然为了说明的目的，在此描述了本发明的具体实施方式和示例，但是相关领域的技术人员将会认识到，在本发明的范围内，各种修改是可能的。
83.根据上述详细描述，可对本发明进行这些修改。以下权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的特定实施方式。相反，本发明的范围将完全由下面的权利要求来确定，这些权利要求将根据权利要求解释的既定原则来解释。