与光探测和测距定时同步的高分辨率和低亮度成像的传感器读出模式的制作方法

与光探测和测距定时同步的高分辨率和低亮度成像的传感器读出模式
1.相关申请的交叉引用
2.本技术要求2019年11月19日提交的美国专利申请第16/688,443号的权益，其内容通过引用并入本文。


背景技术：

3.传感器系统可包括多种不同类型的传感器，诸如图像捕获系统(例如，相机)、雷达和/或光探测和测距(lidar或lidar)系统。这种传感器系统可以例如与自主或半自主机器人和/或载具(例如，自驾驶汽车/卡车)结合使用。这些类型的传感器系统的一个挑战是同步图像捕获(使用相机)和lidar扫描。例如，传统系统没有被设计成在单个lidar扫描间隔期间使用同一相机以同步方式捕获高分辨率图像以及低亮度(low light)图像。


技术实现要素：

4.本公开总体上涉及从至少两种不同类型的传感器提供时间协调的传感器信息的传感器系统和方法。
5.在第一方面，提供了一种设备。该设备包括图像传感器、时钟输入和具有至少一个处理器和存储器的控制器。至少一个处理器可操作来执行存储在存储器中的程序指令，以便执行操作。该操作包括：通过时钟输入接收时钟信号。时钟信号是定义至少一个扫描间隔的周期性信号。该操作还包括：在扫描间隔期间，使图像传感器捕获全分辨率图像帧。该操作还包括：在扫描间隔期间，使图像传感器捕获至少一个降低分辨率的图像帧。
6.在第二方面，提供了一种系统。该系统包括图像传感器、光探测和测距(lidar)设备以及具有至少一个处理器和存储器的控制器。至少一个处理器可操作来执行存储在存储器中的程序指令，以便执行操作。该操作包括：使lidar设备基于扫描定时序列(timing sequence)来扫描视场(field of view)。扫描定时序列包括多个扫描间隔。该操作还包括：在给定扫描间隔期间，使图像传感器捕获全分辨率图像帧。该操作另外包括：在给定扫描间隔期间，使图像传感器捕获至少一个降低分辨率的图像帧。
7.在第三方面，提供了一种方法。该方法包括：基于扫描定时序列，使lidar设备扫描视场。扫描定时序列包括多个扫描间隔。该方法还包括：在给定扫描间隔期间，使图像传感器捕获全分辨率图像帧。全分辨率图像帧包括相关双采样图像。该方法另外包括：在给定扫描间隔期间，使图像传感器捕获至少一个降低分辨率的图像帧。
8.通过在适当时参考附图阅读以下详细描述，其他方面、实施例和实施方式对本领域普通技术人员而言将变得清晰。
附图说明
9.图1示出了根据示例实施例的设备的示意框表示。
10.图2示出了根据示例实施例的图1的设备的一部分。
11.图3a示出了根据示例实施例的操作场景。
12.图3b示出了根据示例实施例的操作场景。
13.图3c示出了根据示例实施例的操作场景。
14.图4示出了根据示例实施例的系统的示意框表示。
15.图5示出了根据示例实施例的方法。
16.图6示出了根据示例实施例的操作场景。
17.图7示出了根据示例实施例的操作方法。
18.图8示出了根据示例实施例的操作场景。
具体实施方式
19.这里描述了示例方法、设备和系统。应当理解，这里使用词语“示例”和“示例性的”意味着“用作示例、实例或说明”。这里作为“示例”或“示例性”而描述的任何实施例或特征不必被解释为比其他实施例或特征更优选或更有优势。在不脱离这里所呈现的主题的范围的情况下，可以利用其他实施例，并且可以进行其他改变。
20.因此，这里所述的示例实施例不意味着是限制性的。如这里所一般描述的，以及在附图中所示出的，本公开的各方面可以以多种不同的配置来布置、替换、组合、分离和设计，所有这些是这里可预期的(contemplated)。
21.此外，除非上下文另有说明，否则各图中所示的特征可相互结合使用。因此，附图通常应被视为一个或多个总体实施例的组成方面，应理解并非所有示出的特征对于每个实施例都是必要的。
22.i.概述
23.在包括lidar和单个相机的常规传感器系统中，高分辨率图像相机图像和低亮度相机图像是在相对于lidar扫描定时的异步定时下捕获的。例如，在传统的“错列分辨率读出模式”或“串行(serial)cds成像模式”中，lidar扫描周期(scan period)可以是大约100毫秒(ms)。也就是说，lidar可以被配置成在给定的lidar扫描周期期间扫描三维空间的预定区域或扇区。在这样的传统场景中，1200万像素(12-megapixel)的图像传感器/相机可以被配置成捕获单个1200万像素的“高分辨率”相关双采样(cds)图像帧，随后是300万像素的“低分辨率、低亮度”cds图像帧。作为示例，1200万像素cds图像帧可以具有大约60-70毫秒的总曝光和读出时间。随后的300万像素cds帧可以具有大约30毫秒的总曝光和读出时间。然而，在一些情况下，随后的低亮度cds图像帧可能由于读出时间(readout time)、积分时间(integration time)和时延(latency)等而被延迟，使得低亮度cds图像帧在初始lidar扫描周期完成之后多于30毫秒(例如，34毫秒)完成。
24.这里描述的设备、系统和方法提供了各种方式，以在时间上协调高分辨率图像捕获、降低分辨率的图像捕获和lidar扫描的各种功能。例如，一些实施例可以提供与基于lidar的点云图数据(point cloud map data)在时间和空间上相关的高分辨率相机图像，这两者是以同步的帧速率获得的。此外，实施例提供了使用同一相机捕获一个或多个降低分辨率的图像的能力，所有这些在单个lidar扫描间隔期间被执行。
25.通过阅读以下详细描述，并在适当时参考附图，其他方面、实施例和实施方式对本领域普通技术人员而言将变得清晰。
26.ii.示例设备
27.图1示出了根据示例实施例的设备100的示意框表示。设备100包括图像传感器110和时钟输入120。在示例实施例中，图像传感器110可以包括多个光感测元件112。多个光感测元件112在空间上被分组为多个光感测区域114(例如，多个低分辨率像素)。图像传感器110被配置成在单个扫描间隔124期间捕获全分辨率图像帧130和对应于至少一个光感测区域114的另一图像帧(例如，降低分辨率的图像帧140)。
28.在一些实施例中，图像传感器110可以包括电荷耦合器件(ccd)传感器、互补金属氧化物半导体(cmos)传感器和/或有源像素传感器。将理解，在本公开的上下文中，其他类型的图像传感器也是可能的和可预期的。
29.在一些实施例中，图像传感器110可以包括多于1200万个(12million)光感测元件112(例如，1200万像素、1500万像素或更多)。
30.设备100还包括具有至少一个处理器152和存储器154的控制器。在一些实施例中，控制器150可以包括现场可编程门阵列(fpga)或专用集成电路(asic)中的至少一个。附加地或可替换地，至少一个处理器152可以包括通用处理器或专用处理器(例如，数字信号处理器等)。处理器152可以被配置为执行存储在存储器154中的计算机可读程序指令。在一些实施例中，处理器152可以执行程序指令来提供这里描述的功能和操作中的至少一些。
31.存储器154可以包括一个或多个计算机可读存储介质或采用一个或多个计算机可读存储介质的形式，所述一个或多个计算机可读存储介质可由一个或多个处理器152读取或访问。一个或多个计算机可读存储介质可以包括易失性和/或非易失性存储组件，例如光、磁、有机或其他存储器或盘存储，其可以整体地或部分地集成在一个或多个处理器152中的至少一个中。在一些实施例中，存储器154可以使用单个物理设备(例如，一个光、磁、有机或其他存储器或盘存储单元)来实现，而在其他实施例中，存储器154可以使用两个或更多个物理设备来实现。
32.在一些实施例中，操作可包括通过时钟输入120接收时钟信号122。在这样的场景中，时钟信号122是定义至少一个扫描间隔124的周期性信号。时钟信号122可以是至少在高状态(例如， 5伏)和低状态(例如，-5伏)之间振荡的模拟或数字信号。在一些实施例中，时钟信号122可以用作同步数字电路的触发器。在示例实施例中，时钟信号122可以由时钟信号生成器生成。在一些场景中，时钟信号生成器可以是设备100的一部分，和/或耦合到设备100。可替换地，时钟信号生成器不需要在物理上靠近设备100设置。
33.操作还包括：在扫描间隔124期间，使图像传感器110捕获全分辨率图像帧130。在一些实施例中，全分辨率图像帧130可以包括相关双采样(cds)图像。
34.如这里所使用的，相关双采样可以包括测量电压或电流的方法，以消除与缺陷像素(例如，“死点”或“卡住”像素)相关联的不期望的信号(或信号缺失)。例如，当测量图像传感器输出时，传感器的输出可以被测量两次。在这样的过程中，传感器输出可以在“已知”条件下测量一次，并在“未知”条件下测量一次。然后，从未知条件中减去在已知条件下测量的值，以生成与正被测量的物理量(在这种情况下，从环境中接收的光子)具有已知关系的值。
35.在一些实施例中，相关双采样可以用作降噪技术。例如，在每个积分周期结束时，可以从像素的信号电压(即，积分结束时的像素电压)中减去给定图像传感器像素的参考电压(即，在其复位后的像素电压)。这种消减(subtraction)可以抵消(offset)和/或减轻与
图像传感器的相应光感测元件的电容(capacitance)相关联的热噪声(例如，ktc噪声)。
36.操作另外包括：在扫描间隔124期间，使图像传感器110捕获至少一个降低分辨率的图像帧140。在一些实施例中，降低分辨率的图像帧140可以是非相关双采样图像。也就是说，可以从图像传感器读出降低分辨率的图像帧140，而不执行图像消减(image subtraction)或归一化(normalization)。
37.在一些实施例中，操作还可以包括接收指示期望的感兴趣区域160的信息。在这样的场景中，使图像传感器110捕获至少一个降低分辨率的图像帧140可以包括使图像传感器110捕获另一图像帧(例如，参考图2描述的第二降低分辨率的图像帧140b)。在给定扫描间隔124期间，另一图像帧可以对应于期望的感兴趣区域160。
38.图2示出了根据示例实施例的图1的设备100的一部分200。如图2中所示，捕获至少一个降低分辨率的图像帧140可以包括使用图像传感器110捕获第一降低分辨率的图像帧140a。在这样的场景中，第一降低分辨率的图像帧140a可以包括第一非相关双采样图像142a。在示例实施例中，第一非相关双采样图像142a可以从与全分辨率图像帧130相同的曝光中获得。在这样的场景中，由于并不需要进一步的曝光，可以比cds图像更快地提供第一降低分辨率的图像帧140a。
39.如图2中所示，捕获至少一个降低分辨率的图像帧140可以另外包括捕获第二降低分辨率的图像帧140b。在这样的场景中，第二降低分辨率的图像帧140b可以包括暗帧(dark frame)144。在一些实施例中，可以使用图像传感器110，基于随后是读出周期的短的“暗”曝光时间段，来提供第二降低分辨率的图像帧140b。
40.在一些实施例中，暗帧144可利用与第一降低分辨率的图像帧140a相同的曝光时间、iso感光度和环境温度来捕获。然而，将理解，暗帧144可以使用其他曝光参数来获得。在一些场景中，可以利用不透明(opaque)快门机制来防止在捕获暗帧144时光到达图像传感器110。
41.在一些实施例中，暗帧144将用于传感器噪声消减。在这种场景中，暗帧144可以利用关闭的电荷转移门(charge transfer gate)tx读出。因此，图像可以被读出为暗帧，但是可以包括与cds图像相同或相似的噪声。将理解，捕获暗帧144以获得传感器噪声信息的其他方式也是可能的和可预期的。
42.此外，控制器150执行的操作可以包括基于第二降低分辨率的图像帧140b对第一降低分辨率的图像帧140a执行暗图像消减。在这种场景中，暗图像消减可以校正固定模式噪声，诸如与暗电流和/或“安培辉光(amp glow)”相关联的噪声。可见的固定模式噪声可能是由“热像素”(例如，具有高于正常暗电流的像素)、卡住像素和/或闪烁像素导致的。
43.在一些实施例中，全分辨率图像帧130由从多个光感测元件112中的每一个接收的信息形成。例如，在图像传感器110具有1200万个光感测元件112的情况下，对应的全分辨率图像130可以包括1200万像素的分辨率。
44.此外，降低分辨率的图像帧140由从多个光感测元件112的子集接收的信息形成。也就是说，在图像传感器110具有1200万个光感测元件112的情况下，对应的降低分辨率的图像帧140可以包括300万像素的分辨率。
45.在一些实施例中，扫描间隔124可以小于40毫秒。例如，扫描间隔124可以对应于具有大约30毫秒周期的时钟信号122(例如，lidar时钟信号)。然而，将理解，更长或更短的扫
描间隔也是可能的和可预期的。
46.在各种示例中，时钟输入120可以基于光探测和测距(lidar)设备(例如，lidar设备410)的扫描定时序列430，如参考图4所示和所描述的。
47.在这样的场景中，可以在lidar设备扫描视场(例如，视场420)时捕获全分辨率图像帧130。附加地或可替换地，至少一个降低分辨率的图像帧140可以在lidar设备没有在扫描视场时被捕获。
48.图3a示出了根据示例实施例的操作场景300。操作场景300可以示出“串行图像捕获”场景。作为示例，为了提供第一全分辨率cds图像帧306a，在扫描间隔124a期间(例如，在t0和t1之间)，图像传感器110可以在曝光302a期间曝光并积累电荷，并且积累的电荷可以在读出304a期间被读出。此外，为了提供第一降低分辨率的cds图像帧308a，图像传感器110可以在曝光302b期间再次曝光并积累电荷，并且对应的积累电荷可以在读出304b期间被读出。
49.在操作场景300中所示的串行图像捕获过程可以在扫描间隔124a、124b和124c期间继续进行。例如，第二全分辨率图像帧306b可以通过曝光302c和读出304c来捕获，而第二降低分辨率的图像帧308b可以通过曝光302d和读出304d来捕获。然而，串行捕获过程可能导致与扫描间隔124a-c或时钟信号122不同步的图像帧。因此，关于在操作场景300中捕获的图像帧中的对象和其他特征的信息可能更难以与基于扫描间隔124a-c获得的关于环境的捕获的其他类型的信息进行合并，和/或与之进行比较。例如，在lidar设备的情况下，在串行捕获过程中捕获的图像传感器数据可能在空间上相对于lidar数据偏移，和/或更难以用于传感器融合(fusion)和/或其他感知确定。
50.图3b示出了根据示例实施例的操作场景320。操作场景320可以包括，在扫描间隔124a期间，在曝光322a和读出324a期间，捕获第一全分辨率图像帧326a。随后，可以在读出324b期间捕获第一降低分辨率的非cds图像帧328a。第一降低分辨率的非cds图像帧328a可以利用与第一全分辨率图像帧326a相同的曝光322a。然而，由于第一降低分辨率的图像帧328a的非cds性质，结果得到的图像可能比等效的cds降低分辨率的图像帧更嘈杂(noisier)或者质量更低。
51.在随后的扫描间隔(例如，扫描间隔124b和124c)期间，第二全分辨率图像帧326b可以在曝光322b和读出324c期间捕获，而第二降低分辨率的图像帧328b可以在读出324d期间捕获。尽管仅部分地示出，但是第三全分辨率图像帧326c可以在曝光322c和对应的读出时间期间捕获。
52.通过根据操作场景320进行操作，设备100可以提供与扫描间隔124a-c同步的全分辨率和降低分辨率的图像帧。通过与扫描间隔124a-c同步，可以使传感器融合和/或感知任务更加高效并且计算强度更低。
53.图3c示出了根据示例实施例的操作场景330。操作场景330包括捕获对应于曝光332a和读出334a的第一全分辨率图像帧336a。之后，操作场景330包括在读出334b期间捕获第一降低分辨率的图像帧338a。接下来，操作场景330包括捕获与曝光332b和读出334c相关联的暗帧340a。在操作场景330中，第一降低分辨率的图像帧338a可以是非cds的，而暗帧340a可以是利用关闭的电荷转移门(例如，“关闭的”电子快门)或利用关闭的物理快门获得的图像。
54.在随后的扫描间隔124b和124c中，捕获序列可以重复捕获第二全分辨率图像帧336b、第二降低分辨率的图像帧338b和第二暗帧340b。
55.通过利用这样的操作模式，设备100可以被配置为在每个扫描间隔期间提供全分辨率图像帧和暗电流校正的降低分辨率的图像帧。
56.iii.示例系统
57.图4示出了根据示例实施例的系统400的示意框表示。系统400可以包括与关于图1示出和描述的设备100相似或相同的元件。例如，系统400包括图像传感器110。
58.系统400还包括光探测和测距(lidar)设备410。lidar设备410可以被配置成提供关于给定环境中的一个或多个对象(例如，位置、形状等)的信息(例如，点云数据)。在示例实施例中，lidar系统可以向载具提供点云信息、对象信息、地图(mapping)信息或其他信息。载具可以是半自动或全自动载具。例如，载具可以是自驾驶汽车、自主无人机飞行器、自主卡车或自主机器人。这里，其他类型的载具和lidar系统也是可预期的。
59.此外，系统400还包括控制器150，其包括至少一个处理器152和存储器154。至少一个处理器152可操作以执行存储在存储器154中的程序指令，以便执行操作。
60.在一些实施例中，操作可包括使lidar设备410基于扫描定时序列430扫描视场420。在这样的场景中，扫描定时序列430可以包括多个扫描间隔124。操作还可以包括：在给定扫描间隔124期间，使图像传感器110捕获全分辨率图像帧130。操作可以另外包括：在给定扫描间隔124期间，使图像传感器110捕获至少一个降低分辨率的图像帧140。在一些实施例中，全分辨率图像帧130可以在lidar设备410扫描视场420时被捕获。附加地或可替换地，至少一个降低分辨率的图像帧140可以在lidar设备410没有在扫描视场420时被捕获。
61.如图4中所示，在一些实施例中，控制器150可将lidar控制信号158传输至lidar设备410。可以使用lidar控制信号158来维持和/或改变lidar设备410的操作。
62.在一些实施例中，可以根据对应于图3a、图3b和图3c的操作场景300、320和/或330来控制系统400。
63.iv.示例方法
64.图5示出了根据示例实施例的方法500。将理解，方法500可以包括比这里明确示出或公开的步骤或块更少或更多的步骤或块。此外，方法500的各个步骤或块可以以任意顺序执行，并且每个步骤或块可以被执行一次或多次。在一些实施例中，方法500的步骤或块中的一些或全部可以与如关于图1和图4示出和描述的设备100和/或系统400的元件相关。方法500的一些步骤或一些块可以关于图3b-图3c、图6和图7来示出和描述。
65.块502包括：基于扫描定时序列(例如，扫描定时序列430)，使lidar设备(例如，lidar设备410)扫描视场(例如，视场420)。扫描定时序列包括多个扫描间隔(例如，扫描间隔124)。
66.块504包括：在给定扫描间隔期间，使图像传感器(例如，图像传感器110)捕获全分辨率图像帧(例如，全分辨率图像帧130)。在这样的场景中，全分辨率图像帧可以包括相关双采样图像。
67.块506包括：在给定扫描间隔期间，使图像传感器捕获至少一个降低分辨率的图像帧。在这样的场景中，捕获至少一个降低分辨率的图像帧可以包括捕获第一降低分辨率的图像帧(例如，第一降低分辨率的图像帧338a)。在一些示例中，第一降低分辨率的图像帧可
以包括非相关双采样图像。此外，捕获至少一个降低分辨率的图像帧还可以包括捕获第二降低分辨率的图像帧(例如，第二降低分辨率的图像帧340a)。在一些实施例中，第二降低分辨率的图像帧可以包括暗帧。方法500还包括基于第二降低分辨率的图像帧对第一降低分辨率的图像帧执行暗图像消减。
68.在一些实施例中，全分辨率图像帧可以在lidar设备扫描视场时被捕获。作为示例，至少一个降低分辨率的图像帧可以在lidar设备不需要扫描视场时被捕获。
69.在一些实施例中，给定扫描间隔可以小于40毫秒(例如，20-30毫秒)。然而，其他扫描间隔也是可能的和可预期的。
70.图6示出了根据示例实施例的操作场景600。操作场景600包括图像传感器610、智能传感器620和中央控制器630。操作场景600可以包括通过使用图像传感器610获得信息(例如，像素电荷量)。此后，操作场景600可以包括使用智能传感器620处理所获得的信息的至少一部分。智能传感器620可以包括一个或多个电路，其被配置为在将图像传感器610提供的信息传递给中央控制器630之前，基于例如期望的视场，高效地传输和/或过滤该信息。进而，中央控制器630可以处理该信息和/或将处理后的信息呈现给用户。
71.图7示出了根据示例实施例的操作场景700。在一些实施例中，操作场景700可以包括捕获高分辨率图像的图像传感器610。接下来，图像传感器610可以捕获低分辨率非cds图像。随后，图像传感器610可以捕获低分辨率暗帧。如这里所描述的，暗帧可以利用关闭的电荷转移门tx来捕获。这样的图像可以包括与cds图像相似或相同的噪声信息，提供了可以从低分辨率非cds图像中减去的噪声参考帧。
72.在某些实施例中，智能传感器620可以被配置为在两幅低分辨率图像之间执行暗图像消减，以图减少因故障像素和/或相关读出电路产生的噪声。此后，智能传感器620可以被配置为进一步调整或完成(finalize)图像，并将处理的帧发送到中央控制器630。在处理的帧被传输之后，该方法可以在随后的扫描间隔期间再次重复。
73.图8示出了根据示例实施例的操作场景800和810。操作场景800示出了与参考图3a描述的相似或相同的串行图像捕获过程。在串行图像捕获过程中，cds全分辨率图像帧被捕获，紧接在后是cds降低分辨率的图像帧。然而，由于进行背靠背cds图像帧所需的时间长度，在第一全分辨率图像帧之后，随后的图像帧可以相对于lidar扫描间隔“不同步”。
74.操作场景810示出了与参考图3c描述的相似或相同的过程。在这样的实施例中，通过扫描触发脉冲(例如，触发脉冲126)的上升沿或下降沿触发，可以捕获cds全分辨率图像帧(例如，1200万像素分辨率)。此后，可以捕获非cds降低分辨率的图像帧(例如，300万像素分辨率)，随后是降低分辨率的暗帧。以这样的方式，可以与lidar扫描间隔“同步”地提供cds全分辨率图像帧和非cds、暗图像消减的、降低分辨率的图像帧。
75.将理解，虽然各图像帧以特定顺序被捕获，但其他图像帧捕获的顺序也是可预期的和可能的。
76.附图中所示的特定布置不应视为是限制性的。应当理解，其他实施例可以包括比给定附图中所示的每个元素的更多或更少。此外，一些示出的元素可以被组合或省略。此外，说明性的实施例可以包括附图中未示出的元素。
77.表示信息处理的步骤或块可以对应于能够被配置为执行这里所描述的方法或技术的特定逻辑功能的电路。可替换地或附加地，表示信息处理的步骤或块可以对应于模块、
片段、物理计算机(例如，现场可编程门阵列(fpga)或专用集成电路(asic))或程序代码的一部分(包括相关数据)。程序代码可以包括可由处理器执行的一个或多个指令，用于实现所述方法或技术中的特定逻辑功能或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上，诸如包括盘的存储设备、硬盘驱动器或其他存储介质。
78.计算机可读介质还可以包括非暂时性计算机可读介质，诸如用于短期存储数据的计算机可读介质，如寄存器存储器、处理器高速缓存和随机存取存储器(ram)。计算机可读介质还可以包括长期存储程序代码和/或数据的非暂时性计算机可读介质。因此，计算机可读介质可以包括二级或永久长期存储器，例如像只读存储器(rom)、光盘或磁盘、光盘只读存储器(cd-rom)。计算机可读介质也可以是任何其他的易失性或非易失性存储系统。例如，计算机可读介质可以被认为是计算机可读存储介质，或者有形存储设备。
79.虽然已经公开了各种示例和实施例，但是其他示例和实施例对本领域技术人员而言也将是清楚的。各种公开的示例和实施例仅用于说明目的，并非用于限制，而真实范围由所附权利要求来指示。