距离测量方法以及用于对距离进行测量的系统与流程

距离测量方法以及用于对距离进行测量的系统
交叉引用
1.本技术要求于2021年10月27日提交的、题为“dual distanced sensing method for passive range finding”的美国非临时专利申请号17/511,571的优先权权益，该美国非临时专利申请要求于2020年12月28日提交的、题为“dual distanced sensing method for passive range finding”的美国临时专利申请号63/131,301的优先权权益，上述两个申请的全部内容通过引用并入本文。
技术领域
2.本公开涉及距离感测，并且更具体地，涉及使用图像传感器来实现用于诸如车辆和机器人装备的系统的距离感测。


背景技术：

3.距离感测在本领域中是公知的。距离传感器(或接近传感器)通常通过输出某种信号(例如，激光、红外(ir)led或超声波)然后读取信号在其返回时如何变化来工作。该变化可能在于返回信号的强度、信号返回所需的时间等方面。已经开发了用于诸如超声波传感器、ir led传感器、激光距离传感器(lidar)和led飞行时间距离传感器的传感器的技术。


技术实现要素：

4.实施例提供了使用图像传感器来实现距离感测和测量的新型方法。在各种实施例中，图像传感器被配置用于基于由图像传感器所捕获的图像来检测对象距离。在这些实施例中，图像内的参数被分析以确定对象相对于图像传感器的距离。在一些实施方式中，根据本公开的用于对对象距离进行距离检测的技术被部署在车辆内。在这些实施方式中，根据本公开的距离感测可以用于辅助各种驾驶情景，诸如由车辆进行的不同级别的自主自驾。在一些实施方式中，根据本公开的距离感测可以在诸如无人水下设备的机器人装备中被采用以辅助某些感兴趣的水下对象的距离感测。在一些实施方式中，根据本公开的距离感测可以在监测或侦查时被采用以用于检测或测量相对于参考点的对象距离。设想了根据本公开的距离感测的其他实施方式。
附图说明
5.本文所提及并构成其一部分的附图示出了本公开的实施例。附图与描述一起用于说明本发明的原理。
6.图1示出了根据本公开的距离感测的一个实施例，其中由图像传感器所捕获的对象的图像面积可以被测量以用于确定对象相对于图像传感器的距离。
7.图2示出了根据本公开的距离感测的一个实施例，其中由图像传感器所捕获的图像中对象的辐照度可以被测量以确定对象相对于图像传感器的距离。
8.图3示出了根据本公开的距离感测的一个实施例，其中图像传感器的示例配置被
示出为布置在车辆的各个点上。
9.图4示出了根据本公开的距离感测的一个实施例，其中测距传感器可以被用于辅助由根据本公开的图像传感器进行的距离测量。
10.图5示出了根据本公开的距离感测的一个实施例，其中位置传感器可以被用于辅助由根据本公开的图像传感器进行的距离测量。
11.图6示出了根据本公开的使用图像传感器来测量对象距离的一种示例方法；
12.图7示出了根据本公开的使用图像传感器进行的距离感测的一种示例实施方式；
13.图8示出了应用根据本公开的距离感测的一种示例情景；
14.图9描绘了可以实施本文描述和所示的一些实施例的系统的示例。在附图中，相似的部件和/或特征可以具有相同的附图标记。此外，相同类型的各种部件可以通过在附图标记后面加上区分相似部件的第二标记来区分。如果说明书中仅使用第一附图考标记，则该描述可适用于具有相同第一附图标记的相似部件中的任何一个，而与第二附图标记无关。
具体实施方式
15.在以下描述中，提供了许多具体细节以用于全面理解本发明。然而，本领域的技术人员应当理解的是，可以在没有这些细节中的一个或多个细节的情况下实现本发明。在其他示例中，出于简洁的目的，将不会描述本领域中已知的特征和技术。
16.传统的距离感测通常涉及生成信号、向对象传输信号、接收返回信号以及将返回信号的某些方面与原始信号的某些方面进行比较以确定对象的距离。例如，典型的lidar传感器向周围环境发射脉冲光波。这些脉冲从周围的对象反射并返回到lidar传感器。lidar传感器使用每个脉冲返回传感器所需的时间来计算其行进的距离。
17.然而，这种传统方法的一个问题是它不会很好地按比例调节以用于诸如自动驾驶的各种情景。以lidar传感器为例，虽然它可以在其周围环境中的lidar传感器数量有限的情况下很好地工作，但当大量的lidar传感器向在该环境中大致相同的一个或多个对象发送信号时，它可能无法同样很好地工作。这通常发生在道路上，在道路上多个车辆的lidar传感器在大致相同的时间向在环境中的一个或多个相同目标传输信号。这可能会导致信号干扰，并且错误的信号会被未发送该信号的lidar截获。简而言之，为了在诸如繁忙的高速公路的复杂环境中实现距离感测，传统的距离感测技术并不能总是很好地发挥作用。
18.与上面提到的其他传统传感器(如lidar传感器)相比，图像传感器(诸如相机)在本领域中通常被认为不太适用于距离感测。这主要是由于分析图像比分析接收到的信号复杂和耗时得多。这在诸如自动驾驶的实时情况下更为严重，在这种情况下，要求处理和测量几乎是即时的。例如，如果道路前方有卡车，那么车辆应该在车辆接近卡车之前就掌握该信息。使用没有较大处理能力的图像分析技术，难以分析车载相机所捕获的图像并难以在非常短的时间量(不超过几秒钟)内确定前方有卡车。
19.然而，与传统的距离感测技术不同，使用图像传感器进行的距离感测更不易于受到信号干扰。对象的图像可以就像人眼可以感知对象一样被捕获。本公开的发明人提供的见解是，如果可以以某种方式将场景中对象的捕获图像的处理减少到可管理的程度，使得可以在不到几秒钟的时间内完成基于图像的对象距离测量，则图像传感器可以用于距离感
测。
20.图1示出了根据本公开的使用图像传感器的距离感测的一个实施例。如图1所示，图像传感器101和103被放置在相对于图像传感器101和103的视场(fov)中的对象105的不同距离处。在图1所示的配置中，图像传感器101被放置在相对于对象105的距离r1处，并且图像传感器103被放置在相对于对象105的距离r2处。还如图1所示，图像传感器101和103可以同时或几乎同时捕获对象105的图像100。
21.通常，在图像传感器拍摄图像100之后，采用图像分析来从图像100中识别对象105并且基于捕获的单个图像来执行图像分析，如上所述，这可能是耗时且消耗处理的。在本实施例中，由于由图像传感器101和103大致同时捕获对象的多个图像，因此多个图像中的对象105的诸如面积或尺寸的图像参数可以被测量和比较以用于确定距离r1。例如，假设图像传感器101的焦距为f1，以及图像传感器103的焦距为f2。还假设对象105在真实场景中具有宽度h，如图1所示。图像传感器101所捕获的对象105的图像宽度h1因此为：h1～f1*h/r1。图像传感器103所捕获的对象105的图像宽度h2为：h2～f2*h/r2。由于图像传感器101和103被布置为使得距离r2＝r1 dr，所以以下公式成立：h1/h2＝f1*(r1 dr)/(f2*r1)
ꢀꢀ
(公式1)在上面的公式1中，dr是图像传感器101和103之间的距离，其是预定的和预设的。f2和f1都是已知的。因此，对象距离r1可以根据公式1通过测量图像传感器101和103所捕获的图像中对象105的图像宽度h1和h2来求解。
22.可以及时地测量图像中对象105的宽度，诸如h1或h2。测量图像中这种尺寸的一种方法是通过对具有相似像素值(诸如颜色)的像素进行计数。如图像100所示，对象105是白色卡车并且道路是黑色的。因此，可以对表示图像100中的对象105的白色像素的数量进行计数。尽管图像100中还有其他白色对象，但这些对象与白色对象(卡车)105分开，因此只要仅对相邻的白色像素进行计数，这些对象就不会被计数为白色对象(卡车)105的一部分。由于图像传感器101和103彼此相对彼此靠近地布置，对于图像传感器101和103，白色对象(卡车)105在图像100中出现在大致相同的位置。因此，可以在由图像传感器101和103所捕获的图像100中对表示对象105的相同或相似的白色像素进行计数以确定h1和h2。
23.在一种实施方式中，对象105的图像尺寸可以在图像轮廓框的帮助下被测量。例如，假设真实场景中对象105的面积为a。传感器101所捕获的图像面积a1因此为：a1～f1^2*a/r1^2，并且传感器103所捕获的图像面积a2为：a2～f2^2*a/r2^2。根据这些关系，以下成立：a1/a2＝f1^2*(r1 dr)^2/(f2*r1)^2
ꢀꢀ
(公式2)在公式2中，dr、f1和f2如上所述是已知的。因此，通过测量图像传感器101和103所捕获的图像中对象105的图像面积a1和a2，可以根据公式2求解对象距离r1。
24.图2示出了根据本公开的距离感测的另一示例。在该示例中，图像传感器101和103与图1类似地进行设置以捕获图像。在该示例中，图像分析集中于由图像传感器101和103在图像中捕获的对象的辐照度。如图2所示，点目标205可以由图像传感器101或103捕获。在一些示例中，点目标可能意味着感兴趣的目标的图像尺寸小于检测器像素。假设图像传感器101的孔径为φ1，图像传感器103的孔径为φ2并且在真实场景中点目标205辐照度为irra。因此，传感器101所捕获的图像中目标205的图像亮度b1为：b1～irra*φ1/r1^2。传感器103
所捕获的图像中的图像亮度为b2～irra*φ2/r2^2。由于r2＝r1 dr，因此以下成立：b1/b2＝φ1*(r1 dr)^2/(φ2*r1^2)
ꢀꢀ
(公式3)因此，如上所述，dr、φ1、φ2是已知的，通过测量图像传感器101和103所捕获的图像中点目标205的亮度b1和b2，可以根据公式3求解对象距离r1。
25.如果目标对象是发亮或发光的对象，例如交通灯，则这种使用图像传感器来感测对象距离的方法会是有用的。测量图像中交通灯的亮度可以通过查找与周围像素相比具有高照度值的像素来实现。如图3所示，可以对跨越由图像传感器101和103所捕获的图像的这些像素的照度值进行比较以求解距离r。同样如上所述，由于图像传感器101和103被布置在除了它们到点目标205的距离之外的相似位置处，所以点目标205在由图像传感器101和103所捕获的图像中的位置将出现在大致相同位置处。这使得可以实现快速比较b1和b2而无需大量处理。
26.图3示出了根据本公开的距离感测的另一实施例。可以看出，在本实施例中，各种图像传感器被布置在车辆301的各个点上。在本示例中，传感器303是扫描传感器，其可以被设计为连续扫描整个场景。传感器303可以被配置为与其他传感器协作以在不同方向上检测对象，例如本示例中所示的传感器305、307、309、311、313和315。305为用于顶视检测的传感器，307为用于前视检测的传感器，309为用于后视检测的传感器，311为用于驾驶员侧视检测的传感器，313为用于乘客侧视检测的传感器，以及315被安装在车辆301的前侧。在实施方式中，可以使用本文描述和所示的距离感测方法来将图3中所示的传感器进行配对或分组以检测对象距离。在一些实施方式中，可以在一些分组的传感器中采用三角法来进行距离感测。尽管在该示例中传感器被示出为安装在车辆301上的特定点上，但这并不旨在限制根据本公开的用于距离感测的图像传感器布置的配置。可以理解的是，图像传感器可以安装在车辆301上的任何位置，只要它们是可靠的且便于捕获场景的图像即可。
27.图4示出了根据本公开的距离感测的又一实施例。在该实施例中，测距仪407被采用。测距仪407的示例可以包括激光、rf、超声波和/或任何其他类型的测距仪。如图4所示，测距仪407可以被配置为向对象105发射探测光束409。如上所述，测距仪407可以通过在光束409从对象105反射回来之后接收到光束来检测对象105相对于测距仪407的距离。如图4所示，测距仪407可以被布置在与图像传感器101大致相同的位置处，使得测距仪407到对象105的距离与距离r1大致相同。因此，当通过图像传感器101和103进行的距离感测并且测距仪407处理同一对象例如对象105时，测距仪407可用于校准通过图像传感器101和103进行的距离感测。在实施方式中，测距仪407可用于执行实时距离校准。
28.图5示出了根据本公开的距离感测的又一实施例，其中位置传感器可以用于辅助由根据本公开的通过图像传感器进行的距离测量。在该示例中，图像传感器501与位置传感器诸如g传感器、gps设备和/或任何其他位置传感器结合。位置传感器可以在给定时间点处输出图像传感器501的位置。例如，如图5所示，位置传感器可以在时间t1处输出图像传感器501的第一位置和在时间t2处输出图像传感器501的第二位置。如图所示，图像传感器501的第一位置和第二位置满足图1所示的距离关系。以这种方式，随着图像传感器501移动到不同位置，对象105的图像被捕获以实现本文描述和所示的距离感测。在实施方式中，图5所示的示例可以应用于静止或非移动场景检测——例如，在被监测的对象是静止的侦查情景中。在另一种情景中，本实施例可以应用于检测诸如自动驾驶中的路标和交通灯的静止对
象。在一些实施方式中，当图像传感器被安装在车辆或诸如水下无人设备的任何移动设备上时，速度计可用于跟踪图像传感器501在不同时间点处的位置。
29.图6示出了一种使用根据本公开的图像传感器来测量对象距离的一个示例方法。下面呈现的方法600的操作旨在是说明性的。在一些实施例中，方法600可以通过一个或多个未描述的附加操作和/或没有一个或多个所讨论的操作来完成。此外，在图6中示出方法600的操作顺序，并且下面描述的内容不旨在是限制性的。
30.在一些实施例中，方法600可以在一个或多个处理设备(例如，数字处理器、模拟处理器、设计用于处理信息的数字电路、设计用于处理信息的模拟电路、状态机和/或其他电子处理信息的机制)中实现。一个或多个处理设备可以包括响应于以电子方式存储在电子存储介质上的指令而执行方法600的一些或全部操作的一个或多个设备。一个或多个处理设备可以包括通过硬件、固件和/或软件配置成专门设计用于执行方法600的一个或多个操作的一个或多个设备。
31.在602处，可以由多个图像传感器同时或接近同时地捕获对象的图像。图1至图5示出了在实现方式中可以如何实现602的一些示例。
32.在604处，可以提取关于在602处捕获的图像的图像参数。示例图像参数可以包括像素颜色值、像素照度值和/或任何其他图像参数。
33.在606处，可以分析在604处提取的图像参数以确定图像中的对象相对于图像传感器的距离。例如，可以对具有相似颜色和/或照度值的像素进行计数以确定图像中代表对象的的区域。如上所述，可以比较不同图像中对象的不同面积值以确定对象相对于图像传感器的距离。
34.在608处，可以基于在606处分析的图像参数来确定对象的距离。可以在本文描述和所示的公式1至公式3中找到对象距离的示例确定。
35.图7示出了可用于实现本文描述和所示的各种实施例的各种距离感测方法的示例设备700。如图所示，设备700可以包括被配置为执行程序代码的处理器702中的一个或多个。在一个实现方式中，设备700是安装在车辆中的车辆控制单元(vcu)。如图所示，处理器702可以包括图像传感器参数模块704、图像分析模块706、对象距离确定模块708和/或任何其他模块。图像传感器参数模块704可以被配置为例如存储关于用于捕获场景图像的图像传感器的各种参数，诸如图1和图2所示的图像传感器101和103的焦距和孔径大小。图像分析模块706可被配置为接收由图像传感器所采集的输入图像；并分析图像。可以由图像分析模块706执行的图像分析操作的示例可以包括检测和计数具有相似颜色和/或照度值的像素，和/或任何其他操作。对象距离确定模块708可以被配置有各种逻辑，诸如通过本文描述和所示的公式1至公式3所示的逻辑。对象距离确定模块708可以被配置为根据对象距离确定模块708中所配置的逻辑来从图像传感器参数模块704获取各种相关图像传感器参数和从图像分析模块706获取对象属性值(诸如特定图像中的对象面积)。基于这些输入，对象距离确定模块708可以被配置为根据其中所配置的逻辑来确定并输出对象距离。
36.图8示出了应用根据本公开的距离感测的一种示例情景。如该示例中所示，诸如车辆或机器人的距离测量请求设备802可以被配置为生成用于测量对象距离的请求。在实施方式中，请求可以包括在各个时间点处所捕获的场景的图像。如图所示，该请求可以从距离测量请求设备802通过无线网络804传输到服务器806。服务器806可以被配置为根据本文描
述和所示的各种方法来确定对象距离。在一个实施方式中，服务器806可以包括图7中所示的处理器702。根据本公开的用于实施共轭图像方法的计算系统示例
37.任何合适的计算系统都可以用于执行本文描述的操作。例如，图9描绘了可以实施图7中所示的方法700的系统900的示例。在一些实施例中，系统900可以包括处理器912，其通信耦合到存储器914并且执行计算机可执行程序代码和/或访问存储在存储器914中的信息。处理器912可以包括微处理器、专用集成电路(“asic”)、状态机或其他处理设备。处理器912可以包括包含一个的多个处理设备中的任何一个。这样的处理器可以包括存储指令的计算机可读介质或可以与存储指令的计算机可读介质通信，这些指令在由处理器912执行时使处理器执行本文描述的操作。
38.存储器914可以包括任何合适的非暂时性计算机可读介质。计算机可读介质可以包括能够为处理器提供计算机可读指令或其他程序代码的任何电子、光学、磁性或其他存储设备。计算机可读介质的非限制示例包括磁盘、存储器芯片、rom、ram、asic、所配置的处理器、光学存储装置、磁带或其他磁性存储装置、或者计算机处理器可以从中读取指令的任何其他介质。指令可以包括由编译器和/或解释器根据以任何合适的计算机编程语言所编写的代码而生成的处理器特定的指令，计算机编程语言包括例如c、c 、c#、visual basic、java、python、perl、javascript、和actionscript。
39.系统900还可以包括总线916。总线916可以通信地耦合系统900的一个或多个组件。系统900还可以包括多个外部或内部设备，诸如输入或输出设备。例如，系统900被示为具有输入/输出(“i/o”)接口919，其可以从一个或多个输入设备920接收输入或向一个或多个输出设备922提供输出。一个或多个输入设备920和一个或多个输出设备922可以通信地耦合到i/o接口919。通信耦合可以经由任何合适的方式来实现(例如，经由印刷电路板的连接、经由电缆的连接、经由无线传输的通信等)。输入设备920的非限制示例包括触摸屏(例如，用于对触摸区域进行成像的一个或多个相机或用于检测由触摸引起的压力变化的压力传感器)、鼠标、键盘或任何其他可用于响应于由计算设备的用户的物理动作而生成输入事件的设备。输出设备922的非限制示例包括lcd屏幕、外部监视器、扬声器或任何其他可用于显示或以其他方式呈现由计算设备所生成的输出的设备。
40.系统900可以执行程序代码，该程序代码将处理器912配置为执行上面关于图1-5描述的一个或多个操作。程序代码可以包括图像处理应用104。程序代码可以驻留在存储器914中或任何合适的计算机可读介质中并且可以由处理器912或任何其他合适的处理器执行。
41.系统900还可以包括至少一个网络接口设备924。网络接口设备924可以包括适合于建立到一个或多个数据网络929的有线或无线数据连接的任何设备或设备组。网络接口设备924的非限制示例包括以太网网络适配器、调制解调器等。系统900可以经由网络接口设备924将消息作为电子或光学信号来传输。
42.系统900还可以包括一个或多个图像捕获设备930，例如能够捕获摄影图像的相机或其他成像设备。一个或多个图像捕获设备930可以被配置为捕获静态图像和/或视频。一个或多个图像捕获设备930可利用电荷耦合设备(“ccd”)或互补金属氧化物半导体(“cmos”)图像传感器来捕获图像。一个或多个图像捕获设备930的设置可以被实施为硬件
或软件按钮。在一些示例中，系统900可以包括被配置用于捕获rgb彩色图像的常规彩色相机和被配置用于捕获nir图像的nir相机。常规彩色相机和nir相机可以被配置为使得两个相机的视场基本相同。此外，两个相机可以具有匹配的分辨率，并且具有来自两个传感器的同步图像捕获。一般考虑
43.本文列出了许多具体细节以提供对要求保护的主题的彻底理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践要求保护的主题。在其他情况下，没有详细描述普通技术人员已知的方法、装置或系统，以免混淆要求保护的主题。
44.除非另有特别说明，否则应当理解的是，使用诸如“处理”、“计算(computing)”、“计算(calculating)”、“确定”和“识别”等术语进行的贯穿本说明书的讨论指代计算设备的动作或过程，诸如一台或多台计算机或一个或多个相似的电子计算设备，其在存储器、寄存器或其他信息存储设备、传输设备或计算平台的显示设备内操纵或转换表示为物理电子或磁量的数据。
45.本文所讨论的一个或多个系统不限于任何特定的硬件架构或配置。计算设备可以包括提供以一个或多个输入为条件的结果的任何合适的组件布置。合适的计算设备包括访问所存储的软件的多用途基于微处理器的计算机系统，该所存储的软件将计算系统从通用计算装置编程或配置为实施本主题的一个或多个实施例的专用计算装置。任何合适的编程、脚本或其他类型的语言或语言的组合可以被用于在要用于编程或配置计算设备的软件中实施本文所包含的教导。
46.本文所公开的方法的实施例可以在这样的计算设备的操作中被执行。以上示例中呈现的块的顺序可以改变——例如，块可以被重新排序、组合和/或分解为子块。某些块或过程可以并行执行。
47.本文中“适合于”或“配置为”的使用意指开放和包容性的语言，其不排除适合于或配置为执行附加任务或步骤的设备。此外，“基于”的使用意指开放和包容性的，因为“基于”一个或多个所列举的条件或值的过程、步骤、计算或其他动作在实践中可以基于超出所列举的附加条件或值。本文所包括的标题、列表和编号仅是为了便于解释的目的而不是限制。
48.虽然本主题已经关于其特定实施例进行了详细描述，但是应当理解的是，本领域技术人员在获得对前述内容的理解之后，可以容易地产生对本主题的替换、改变和等同物。因此，应当理解的是，本公开是出于示例而非限制的目的而呈现的，并且不排除包括对本主题的此类修改、改变和/或添加，如本领域的普通技术人员容易想到的。
49.虽然本公开包含许多细节，但这些不应该被解释为对任何发明的范围或可能要求保护的范围的限制，而是对可能特定于特定发明的特定实施例的特征的描述。本专利文献中在单独实施例的上下文中描述的某些特征也可以在单个实施例中组合地被实施。相反，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合在多个实施例中实施。此外，虽然特征可以被描述为在某些组合中起作用，并且甚至最初要求这样保护，但在某些情况下可以从组合中删除一个或多个来自要求保护的组合的特征，并且要求保护的组合可以针对子组合或子组合的变体。
50.类似地，虽然在附图中以特定顺序描绘了操作，但这不应当被理解为要求以所示出的特定顺序或按序列顺序来执行此类操作，或执行所有所示的操作，以实现期望的结果。
此外，本专利文献中描述的实施例中的各种系统组件的分离不应当被理解为在所有实施例中都需要这样的分离。
51.仅描述了一些实施方式和示例，并且可以基于本专利文献中描述和所示的内容来进行其他实施方式、增强和改变。
[0052]“一”、“一个”或“该”的记载旨在意指“一个或多个”，除非有相反的具体指示。范围在本文中可以被表示为从“大约”一个指定值，和/或“大约”另一个指定值。术语“大约”在本文中用于意指大约、在...左右、大体或大概。当术语“大约”与数值范围结合使用时，它通过扩展高于和低于所阐述的数值的边界来修改该范围。一般而言，术语“大约”在本文中用于修改高于和低于所述值的10％方差的数值。当表示这样的范围时，另一实施例包括从一个特定值和/或到另一个特定值。类似地，当值被表示为近似值时，通过使用先前的“大约”，将理解的是指定值形成另一实施例。将进一步理解的是，每个范围的端点都包括在该范围内。
[0053]
这里所提及的所有专利、专利申请、公开和描述均出于所有目的通过引用整体并入。没有一项被承认是现有技术。