利用飞行时间信息增强基于三角测量的三维距离测量
1.相关申请的交叉引用本技术要求2019年12月1日提交的美国临时专利申请序列号62/942,137的优先权，该申请通过引用以其整体并入本文中。
技术领域
2.本发明一般涉及距离测量，并且更特别地涉及利用飞行时间（tof）信息增强基于三角测量的三维距离测量。
背景技术：
3.美国专利申请序列号14/920,246、15/149,323和15/149,429描述了距离传感器的各种配置。这样的距离传感器可能在各种各样的应用、包括安全、游戏、无人驾驶车辆的控制以及其它应用中是有用的。
4.在这些申请中描述的距离传感器包括光投影系统（例如，包括激光器、衍射光学元件和/或其它协作组件），其将对于人眼大体上不可见的波长（例如，红外）中的光束投影到视场中。光束展开以创建可以被适当的光接收系统（例如，透镜、图像捕获设备和/或其它组件）检测到的点图案（圆点、虚线或其它诸如此类）。当图案入射在视场中的物体上时，从传感器到物体的距离可以基于视场的一个或多个图像中图案的外观（例如，点的位置关系）来计算，所述一个或多个图像可以由传感器的光接收系统捕获。也可以确定物体的形状和尺寸。
5.例如，图案的外观可以随着到物体的距离而改变。作为示例，如果图案包括圆点的图案，则当物体更接近传感器时，圆点可以看起来彼此更接近，并且当物体更远离传感器时，圆点可以看起来彼此更远离。
技术实现要素：
6.在一个示例中，一种由包括至少一个处理器的处理系统施行的方法包括：使距离传感器的光投影系统将光图案投影到物体上，其中光图案包括共同形成图案的多个光点；使距离传感器的光接收系统获取投影到物体上的光图案的图像；检测光接收系统的成像传感器上的所述多个光点中的第一光点的图像位置；基于第一光点的图像位置计算距离传感器与物体之间的第一估计距离和第二估计距离；使距离传感器的光投影系统朝向物体发射光脉冲；使光接收系统获取被物体反射的光脉冲的一部分的图像；基于光脉冲的飞行时间计算距离传感器与物体之间的第三估计距离；以及基于第一估计距离、第二估计距离和第三估计距离来计算距离传感器与物体之间的第四估计距离。
7.在另一示例中，一种非暂时性机器可读存储介质编码有由包括至少一个处理器的处理系统可执行的指令。当被执行时，所述指令使处理系统施行操作，所述操作包括：使距离传感器的光投影系统将光图案投影到物体上，其中光图案包括共同形成图案的多个光点；使距离传感器的光接收系统获取投影到物体上的光图案的图像；检测光接收系统的成
像传感器上的所述多个光点中的第一光点的图像位置；基于第一光点的图像位置计算距离传感器与物体之间的第一估计距离和第二估计距离；使距离传感器的光投影系统朝向物体发射光脉冲；使光接收系统获取被物体反射的光脉冲的一部分的图像；基于光脉冲的飞行时间计算距离传感器与物体之间的第三估计距离；以及基于第一估计距离、第二估计距离和第三估计距离来计算距离传感器与物体之间的第四估计距离。
8.在另一示例中，一种装置包括：包括至少一个处理器的处理系统和编码有由处理系统可执行的指令的非暂时性机器可读存储介质。当被执行时，所述指令使处理系统执行操作，所述操作包括：使距离传感器的光投影系统将光图案投影到物体上，其中光图案包括共同形成图案的多个光点；使距离传感器的光接收系统获取投影到物体上的光图案的图像；检测光接收系统的成像传感器上的所述多个光点中的第一光点的图像位置；基于第一光点的图像位置计算距离传感器与物体之间的第一估计距离和第二估计距离；使距离传感器的光投影系统朝向物体发射光脉冲；使光接收系统获取被物体反射的光脉冲的一部分的图像；基于光脉冲的飞行时间计算距离传感器与物体之间的第三估计距离；以及基于第一估计距离、第二估计距离和第三估计距离来计算距离传感器与物体之间的第四估计距离。
附图说明
9.图1a是图示了光点在距离传感器的成像传感器上的图像位置与物距之间的关系的示例图表；图1b是图示了物距与基于飞行时间的距离计算的距离测量准确度之间的关系的示例图表；图2例如图示了用于测量到物体的距离的距离传感器的简化示例；图3是图示了当轨迹重叠时点的图像位置与物距之间的关系的示意图，并且进一步图示了如何可以与经由基于三角测量的测量技术获得的测距结果同时地获得经由基于飞行时间的测量技术获得的测距结果；图4更详细地图示了图2的成像传感器的示例；图5是图示了根据本公开的示例的用于计算到物体的距离的示例方法的流程图；以及图6描绘了用于计算从传感器到物体的距离的示例电子设备的高级框图。
具体实施方式
10.本公开广义地描述了用于利用飞行时间（tof）信息增强基于三角测量的三维距离测量的装置、方法和非暂时性计算机可读介质。如上面所讨论的，诸如美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的那些距离传感器之类的距离传感器通过投影光束来确定到物体的距离（以及潜在地，物体的形状和尺寸），该光束展开以在包括物体的视场中创建点图案（例如，圆点、虚线或诸如此类）。光束可以从一个或多个激光光源投影，所述激光光源发射对于人眼大体上不可见但是对于适当的检测器（例如，光接收系统的检测器）可见的波长的光。然后，可以使用三角测量技术，基于图案对于检测器的外观，计算到物体的三维距离。
11.通过三角测量的三维距离测量已经被证明在近范围处是高度准确的，并且因此对
于诸如面部认证（例如，基于个体面部特征与授权用户的面部特征的匹配，将个体认证为设备或服务的授权用户）之类的应用是有用的。然而，在较长的距离处，由于难以标识个体光点（即，标识图案中的光点与创建点的光束之间的对应关系，这对于确定光点的位置关系是必要的），因此三角测量可能更容易出错。
12.例如，如上面所讨论的，投影到物体中的图案中的个体光点的图像位置（即，由成像传感器上的点反射的光的位置）可以基于到物体的距离而变化。作为示例，当物体更接近传感器时，光点可能看起来彼此更接近，并且当物体更远离传感器时，光点可能看起来彼此更远离。个体光点的潜在图像位置的范围可以被称为光点的“轨迹”，并且该轨迹往往是固定的。随着图案中光点数量的增加，个体光点轨迹将重叠的可能性也增加，从而使得更难以确定哪个光点对应于距离传感器投影的哪个光束。如果不能确定光点对应的光束，则那么通过三角测量进行距离测量就变得更加困难。
13.图1a是图示了光点在距离传感器的成像传感器上的图像位置与物距（即，从距离传感器到其距离正在被测量的物体的距离）之间的关系的示例图表100。特别地，图表100的x轴绘制了光点的位置分辨率，而图表100的y轴绘制了距离分辨率。如上面所讨论的，知道点图像位置与物距之间的关系是能够使用三角测量技术计算物距的关键。
14.如图1a中可以看到的，轨迹（或者在其内点的图像位置可以移动的范围）随着到物体的距离增加而减小。这意味着，对于基于三角测量的距离测量技术，距离测量可以在更长距离下以高分辨率进行，因为图像位置的移动量在近范围内更大。
15.图1b是图示了物距与基于飞行时间的距离计算的距离测量准确度之间的关系的示例图表102。特别地，图表102的x轴绘制了时间测量分辨率（即，飞行的往返时间），而图表102的y轴绘制了距离分辨率。如从图1b可以看到的，对于任何物距，基于飞行时间的距离测量计算的测距分辨率（或准确度）是恒定的。
16.因此，当一起审查图1a和图1b时，可以看到基于三角测量的距离测量技术的距离测量分辨率远远超过基于飞行时间的距离测量技术的距离测量分辨率，至少高达某个物距。
17.本公开的示例利用基于飞行时间（tof）的距离测量技术来增强基于三角测量的三维距离测量，以获得改进的准确度。tof通常通过将调制光投影到物体上并跟踪投影光作为反射光返回所花费的时间来工作；到物体的距离可以作为发射投影光与反射光在传感器上成像之间经过的时间的函数来计算。以这种方式，无论距离如何，都可以以某个分辨率测量距离。尽管该分辨率对于依赖于高级细节的诸如面部认证之类的应用来说通常太粗糙，但是它在确认基于三角测量的结果时可以是有用的。
18.特别地，在一个示例中，使用基于三角测量的技术进行的距离测量计算可以标识在其中两个相邻轨迹重叠的投影图案区域内检测到的投影图案中的光点。单独使用基于三角测量的距离测量技术，可能难以确定该光点属于哪个轨迹（并且因此属于哪个投影光束）。然而，通过利用基于飞行时间的距离测量计算进行增强，辨别光点所属的轨迹可以是可能的。
19.图2例如图示了用于测量到物体210的距离的距离传感器200的简化示例。如图示的，距离传感器200一般包括处理器202、包括至少包括第一投影点204的多个投影点的光投影系统、以及至少包括成像传感器206和相机透镜214的光接收系统206。
20.投影点204可以包括多个组件，包括光源和衍射光学元件。光源可以包括激光光源，其能够发射对于人眼大体上不可见的波长（例如，红外波长）的光。光源可以发射单个光束，该单个光束被衍射光学元件分成从公共中心点或原点散开的多个光束。
21.如图示的，投影点204可以将多个光束208
1-208n（在下文中单独称为“光束208”或统称为“光束208”）投影到物体210上。当光束208入射到物体210上时，这在物体210上创建多个光点212
1-212n（在下文中单独称为“点212”或统称为“点212”），即每个光束208一个光点。光点212共同形成其尺寸已知的预定义图案（诸如网格）。
22.从距离传感器200到物体210的距离可以变化。图2示出了在第一距离da和第二距离db处的物体210。如所示出的，光点212可以在距离da或db处入射到物体210上；然而，如上面所讨论的，改变距离将改变由光点212创建的图案的外观。特别地，点的反射图像在成像传感器206上的位置将如所示出的那样变化。
23.插图218示出了对应于点212
1-212n的轨迹216
1-216n（在下文中单独称为“轨迹216”或统称为“轨迹216”）如何在成像传感器的表面上重叠。成像传感器的中心被指定为c用于参考。由于轨迹216的重叠，光的给定点212可能出现在成像传感器206上被两个相邻且重叠的轨迹216覆盖的位点上，使得难以肯定地确定给定点212属于哪个轨迹216（并且因此属于哪个光束208）。
24.图3是图示了当轨迹216重叠时点212的图像位置与物距d之间的关系的示意图，并且进一步图示了如何可以与经由基于三角测量的测量技术获得的测距结果同时地获得经由基于飞行时间的测量技术获得的测距结果。
25.图3示出了类似于图1a中所图示的多个图像位置-物距曲线，但针对图2中所图示的光点212。例如，曲线3001对应于点2121，曲线3002对应于点2122，并且曲线300n对应于点212n。曲线300
1-300n可以单独称为“曲线300”，或者统称为“曲线300”。曲线300之间的间隔或距离由点212之间的角度间隔确定，并且对应于范围302。
26.图3中的rt表示基于飞行时间的测量的分辨率。更具体地，rt指示，对于指定的最近图像位置，当物体（例如，物体210）离距离传感器的距离为rt时，图像位置移动达rt。因此，rt1指示点2121的分辨率，rt2指示点2122的分辨率，并且rtn指示点212n的分辨率。
27.如图示的，点212的轨迹216重叠。因此，当在位置p处检测到给定光点时，所计算的物距将取决于给定光点是否属于轨迹2161、2162或216n而不同。另一方面，由于在位置p处使用飞行时间技术计算的物距是已知的，因此该知识可以帮助标识给定光点属于哪个轨迹216。此外，由于基于飞行时间的测量的分辨率是rt，因此可以利用飞行时间的分辨率可靠地确定点212的物距。
28.图4更详细地图示了图2的成像传感器206的示例。更特别地，图4示出了成像传感器206上的图像位置与飞行时间检测位置之间的关系。如图示的，成像传感器206包括布置在网格或矩阵中的多个像素400
1-400m（下文中单独称为“像素400”或统称为“像素400”）。每个像素400可以包括例如光电检测器，并且可以进一步包括将反射光聚焦到光电检测器上的透镜（例如，微透镜）和允许特定波长的光穿过到达光电检测器的滤光器。
29.如图示的，光点402可以被成像到成像传感器206上。（如由基于三角测量的测量技术确定的）光点402的位置可以与成像传感器206的一个或多个像素400重叠。在图4中，阴影像素400表示点402的飞行时间检测位置，而圆形轮廓表示如使用基于三角测量的测量技术
所检测的点402的图像位置。还图示了点402所属的轨迹404。在一个示例中，取决于从距离传感器到物体的距离，属于轨迹404的点402可以被成像在落入轨迹404内的成像传感器206上的任何地方。
30.图5是图示了根据本公开的示例的用于计算到物体的距离的示例方法500的流程图。方法500可以例如由包括至少一个处理器的处理系统（诸如距离传感器的处理系统）来施行。为了举例，方法500被描述为由处理系统施行。
31.方法500可以在步骤502中开始。在步骤504中，处理系统可以使距离传感器的光投影系统将光图案投影到物体上，其中光图案包括共同形成图案的多个光点。例如，处理系统可以向光投影系统发送电子信号，其中电子信号编码指令。如上面所讨论的，光可以具有对于人眼大体上不可见的波长，但是可被距离传感器的成像传感器检测到（例如，红外光）。
32.光图案可以由距离传感器的光投影系统投影的多个光束创建。多个光束可以将多个光点投影到物体上，其中多个光点共同形成光图案或“投影图案”。在一个示例中，多个光点可以布置成包括多行和多列的网格图案。
33.在另外的示例中，行和列的布置可以是交错的。例如，可以布置行，使得每隔一行的光点沿着在y或垂直方向上穿过光点中心的假想线对齐或共线。相反，任何两个直接相邻的行中的光点将不会对齐（例如，在y或垂直方向上将不存在穿过两行光点中心的假想线）。
34.类似地，可以布置列，使得每隔一列的光点沿着在x或水平方向上穿过光点中心的假想线对齐或共线。相反，任何两个直接相邻的列的光点将不会对齐（例如，在x或水平方向上将不存在穿过两列光点中心的假想线）。
35.在步骤506中，处理系统可以使距离传感器的光接收系统获取物体上的投影图案的图像。例如，处理系统可以向光接收系统发送电子信号，其中电子信号编码指令。如上面所讨论的，尽管投影图案（例如，形成投影图案的光）对于人眼来说可能是不可见的，但是它对于光接收系统的图像传感器来说可能是可见的。
36.在步骤508中，处理系统可以检测光接收系统的成像传感器上的多个光点中的第一光点的图像位置。检测第一光点的图像位置可以包括确定由对应于（即产生的）第一光点的光投影系统的投影点所投影的第一光束（其中第一光束是从投影点投影的多个光束之一）。
37.在一个示例中，检测第一光点的图像位置可以包括确定第一光点的图像位置位于其中第一轨迹和第二轨迹重叠的成像传感器区域中。因此，从在步骤206中获取的图像来看，可能不清楚第一光点属于哪个轨迹（并且因此属于多个光束中的哪个光束）。
38.例如，考虑落在图2中轨迹2161、2162和216n重叠的区域内的位置p处的光点。点p可能潜在地被标识为轨迹2161上的点p1、轨迹2162上的点p2或轨迹216n上的点pn。取决于p1、p2或pn中的哪一个点被确定为点p，所计算的物距将是不同的（即，对于点p1物距将是d1，对于点p2物距将是d2，并且对于点pn物距将是dn）。
39.在步骤510中，处理系统可以基于第一光点的图像位置计算距离传感器与物体之间的第一估计距离和第二估计距离。例如，处理系统可以使用三角测量技术来计算第一估计距离和第二估计距离。作为示例，可以以美国专利申请序列号14/920,246、15/149,323和15/149,429中讨论的任何方式计算距离。
40.在一个示例中，可以基于第一轨迹对应于第一光点的假设来计算第一估计距离，
而可以基于第二轨迹对应于第二光点的假设来计算第二估计距离。因此，可以为与成像传感器上第一光点的位点重叠的每个轨迹计算基于三角测量的距离测量。例如，遵循上面对于点p的示例，取决于哪个轨迹被标识为对应于点p，第一估计距离可以被计算为d1、d2或d3。
41.在步骤512中，处理系统可以使距离传感器的光投影系统朝向物体发射光脉冲。例如，处理系统可以向光投影系统发送电子信号，其中电子信号编码指令。如上面所讨论的，光可以具有对于人眼大体上不可见的波长，但是该波长可被距离传感器的成像传感器检测到（例如，红外光）。在一个示例中，步骤512与步骤504同时施行。
42.在步骤514中，处理系统可以使距离传感器的光接收系统获取被物体反射的光脉冲的一部分的图像。例如，处理系统可以向光接收系统发送电子信号，其中电子信号编码指令。如上面所讨论的，尽管光脉冲（以及被反射的光脉冲部分）可能对于人眼是不可见的，但是它可能对于光接收系统的图像传感器是可见的。在一个示例中，步骤514与步骤506同时施行。
43.在步骤516中，处理系统可以基于光脉冲的飞行时间来计算距离传感器与物体之间的第三估计距离。例如，处理系统可以基于当光投影系统发射光脉冲时的时间与当光接收系统的成像传感器检测到被物体反射的光脉冲部分时的时间之间经过的时间来计算第三估计距离。例如，对于成像传感器上位置p处的光点，第二估计距离可以计算为dt(p)。
44.在步骤518中，处理系统可以基于第一估计距离、第二估计距离和第三估计距离计算距离传感器与物体之间的第四估计距离。特别地，使用基于飞行时间的距离测量技术计算的第三估计距离可以用于确定第一估计距离和第二估计距离中的哪一个是正确的（例如，在某个阈值容限内匹配第三估计距离或者更接近第三估计距离）。例如，参考回图4，如果点402表示第一光点，则那么点402周围的像素400的距离测量可以被用作点402的距离测量。然后，基于第三估计距离，第一估计距离和第二估计距离中被确定为正确的无论哪个可以被输出或存储为从距离传感器到物体的距离。
45.方法500可以在步骤520中结束。
46.应当注意，尽管没有明确指定，但是上面描述的方法500的一些框、功能或操作可以包括针对特定应用的存储、显示和/或输出。换句话说，取决于特定的应用，方法500中讨论的任何数据、记录、字段和/或中间结果可以被存储、显示和/或输出到另一个设备。此外，图5中陈述确定操作或涉及决策的框、功能或操作并不意味着确定操作的两个分支都被实践。换句话说，取决于确定操作的结果，可以不施行确定操作的分支之一。
47.图6描绘了用于计算从传感器到物体的距离的示例电子设备600的高级框图。照此，电子设备600可以被实现为电子设备或系统的处理器，诸如距离传感器。
48.如图6中所描绘的，电子设备600包括：硬件处理器元件602，例如中央处理单元（cpu）、微处理器或多核处理器；存储器604，例如随机存取存储器（ram）和/或只读存储器（rom）；用于计算从传感器到物体的距离的模块605；以及各种输入/输出设备606，例如存储设备，包括但不限于磁带驱动器、软盘驱动器、硬盘驱动器或压缩盘驱动器、接收器、发射器、显示器、输出端口、输入端口和用户输入设备，诸如键盘、小键盘、鼠标、麦克风、相机、激光光源、led光源以及诸如此类。
49.尽管示出了一个处理器元件，但是应当注意，电子设备600可以采用多个处理器元件。此外，尽管在图中示出了一个电子设备600，但是如果对于特定的说明性示例，以分布式
或并行的方式来实现如上面所讨论的（一种或多种）方法，即，跨多个或并行的电子设备来实现上面（一种或多种）方法的框或整个（一种或多种）方法，则那么该图的电子设备600意图表示那些多个电子设备中的每一个。
50.应当注意，本公开可以通过机器可读指令和/或机器可读指令和硬件的组合来实现，例如，使用专用集成电路（asic）、包括现场可编程门阵列（fpga）的可编程逻辑阵列（pla）、或部署在硬件设备上的状态机、通用计算机或任何其它硬件等同物，例如，与上面讨论的（一种或多种）方法相关的计算机可读指令可以用于配置硬件处理器来施行上面公开的（一种或多种）方法的框、功能和/或操作。
51.在一个示例中，用于计算从传感器到物体的距离的本模块或过程605的指令和数据（例如机器可读指令）可以被加载到存储器604中，并由硬件处理器元件602执行，以实现如上面结合方法500讨论的框、功能或操作。此外，当硬件处理器执行指令来施行“操作”时，这可以包括硬件处理器直接施行操作和/或促进、引导另一硬件设备或组件（例如，协处理器以及诸如此类）或者与之协作来施行操作。
52.执行与上面描述的（一种或多种）方法相关的机器可读指令的处理器可以被视为编程处理器或专用处理器。照此，本公开的用于计算从传感器到物体的距离的本模块605可以存储在有形的或物理的（广义上非暂时性的）计算机可读存储设备或介质上，例如易失性存储器、非易失性存储器、rom存储器、ram存储器、磁性或光学驱动器、设备或磁盘以及诸如此类。更具体地，计算机可读存储设备可以包括提供存储信息的能力的任何物理设备，所述信息诸如要由处理器或电子设备（诸如计算机或安全性传感器系统的控制器）访问的数据和/或指令。
53.将领会的是，上面公开的变体以及其它特征和功能或其替代物可以组合到许多其它不同的系统或应用中。随后可以在其中进行各种目前未预见或未预料到的替代、修改或变化，这也意图被以下权利要求涵盖。
1.相关申请的交叉引用本技术要求2019年12月1日提交的美国临时专利申请序列号62/942,137的优先权，该申请通过引用以其整体并入本文中。
技术领域
2.本发明一般涉及距离测量，并且更特别地涉及利用飞行时间（tof）信息增强基于三角测量的三维距离测量。
背景技术：
3.美国专利申请序列号14/920,246、15/149,323和15/149,429描述了距离传感器的各种配置。这样的距离传感器可能在各种各样的应用、包括安全、游戏、无人驾驶车辆的控制以及其它应用中是有用的。
4.在这些申请中描述的距离传感器包括光投影系统（例如，包括激光器、衍射光学元件和/或其它协作组件），其将对于人眼大体上不可见的波长（例如，红外）中的光束投影到视场中。光束展开以创建可以被适当的光接收系统（例如，透镜、图像捕获设备和/或其它组件）检测到的点图案（圆点、虚线或其它诸如此类）。当图案入射在视场中的物体上时，从传感器到物体的距离可以基于视场的一个或多个图像中图案的外观（例如，点的位置关系）来计算，所述一个或多个图像可以由传感器的光接收系统捕获。也可以确定物体的形状和尺寸。
5.例如，图案的外观可以随着到物体的距离而改变。作为示例，如果图案包括圆点的图案，则当物体更接近传感器时，圆点可以看起来彼此更接近，并且当物体更远离传感器时，圆点可以看起来彼此更远离。
技术实现要素：
6.在一个示例中，一种由包括至少一个处理器的处理系统施行的方法包括：使距离传感器的光投影系统将光图案投影到物体上，其中光图案包括共同形成图案的多个光点；使距离传感器的光接收系统获取投影到物体上的光图案的图像；检测光接收系统的成像传感器上的所述多个光点中的第一光点的图像位置；基于第一光点的图像位置计算距离传感器与物体之间的第一估计距离和第二估计距离；使距离传感器的光投影系统朝向物体发射光脉冲；使光接收系统获取被物体反射的光脉冲的一部分的图像；基于光脉冲的飞行时间计算距离传感器与物体之间的第三估计距离；以及基于第一估计距离、第二估计距离和第三估计距离来计算距离传感器与物体之间的第四估计距离。
7.在另一示例中，一种非暂时性机器可读存储介质编码有由包括至少一个处理器的处理系统可执行的指令。当被执行时，所述指令使处理系统施行操作，所述操作包括：使距离传感器的光投影系统将光图案投影到物体上，其中光图案包括共同形成图案的多个光点；使距离传感器的光接收系统获取投影到物体上的光图案的图像；检测光接收系统的成
像传感器上的所述多个光点中的第一光点的图像位置；基于第一光点的图像位置计算距离传感器与物体之间的第一估计距离和第二估计距离；使距离传感器的光投影系统朝向物体发射光脉冲；使光接收系统获取被物体反射的光脉冲的一部分的图像；基于光脉冲的飞行时间计算距离传感器与物体之间的第三估计距离；以及基于第一估计距离、第二估计距离和第三估计距离来计算距离传感器与物体之间的第四估计距离。
8.在另一示例中，一种装置包括：包括至少一个处理器的处理系统和编码有由处理系统可执行的指令的非暂时性机器可读存储介质。当被执行时，所述指令使处理系统执行操作，所述操作包括：使距离传感器的光投影系统将光图案投影到物体上，其中光图案包括共同形成图案的多个光点；使距离传感器的光接收系统获取投影到物体上的光图案的图像；检测光接收系统的成像传感器上的所述多个光点中的第一光点的图像位置；基于第一光点的图像位置计算距离传感器与物体之间的第一估计距离和第二估计距离；使距离传感器的光投影系统朝向物体发射光脉冲；使光接收系统获取被物体反射的光脉冲的一部分的图像；基于光脉冲的飞行时间计算距离传感器与物体之间的第三估计距离；以及基于第一估计距离、第二估计距离和第三估计距离来计算距离传感器与物体之间的第四估计距离。
附图说明
9.图1a是图示了光点在距离传感器的成像传感器上的图像位置与物距之间的关系的示例图表；图1b是图示了物距与基于飞行时间的距离计算的距离测量准确度之间的关系的示例图表；图2例如图示了用于测量到物体的距离的距离传感器的简化示例；图3是图示了当轨迹重叠时点的图像位置与物距之间的关系的示意图，并且进一步图示了如何可以与经由基于三角测量的测量技术获得的测距结果同时地获得经由基于飞行时间的测量技术获得的测距结果；图4更详细地图示了图2的成像传感器的示例；图5是图示了根据本公开的示例的用于计算到物体的距离的示例方法的流程图；以及图6描绘了用于计算从传感器到物体的距离的示例电子设备的高级框图。
具体实施方式
10.本公开广义地描述了用于利用飞行时间（tof）信息增强基于三角测量的三维距离测量的装置、方法和非暂时性计算机可读介质。如上面所讨论的，诸如美国专利申请序列号14/920,246、15/149,323和15/149,429中描述的那些距离传感器之类的距离传感器通过投影光束来确定到物体的距离（以及潜在地，物体的形状和尺寸），该光束展开以在包括物体的视场中创建点图案（例如，圆点、虚线或诸如此类）。光束可以从一个或多个激光光源投影，所述激光光源发射对于人眼大体上不可见但是对于适当的检测器（例如，光接收系统的检测器）可见的波长的光。然后，可以使用三角测量技术，基于图案对于检测器的外观，计算到物体的三维距离。
11.通过三角测量的三维距离测量已经被证明在近范围处是高度准确的，并且因此对
于诸如面部认证（例如，基于个体面部特征与授权用户的面部特征的匹配，将个体认证为设备或服务的授权用户）之类的应用是有用的。然而，在较长的距离处，由于难以标识个体光点（即，标识图案中的光点与创建点的光束之间的对应关系，这对于确定光点的位置关系是必要的），因此三角测量可能更容易出错。
12.例如，如上面所讨论的，投影到物体中的图案中的个体光点的图像位置（即，由成像传感器上的点反射的光的位置）可以基于到物体的距离而变化。作为示例，当物体更接近传感器时，光点可能看起来彼此更接近，并且当物体更远离传感器时，光点可能看起来彼此更远离。个体光点的潜在图像位置的范围可以被称为光点的“轨迹”，并且该轨迹往往是固定的。随着图案中光点数量的增加，个体光点轨迹将重叠的可能性也增加，从而使得更难以确定哪个光点对应于距离传感器投影的哪个光束。如果不能确定光点对应的光束，则那么通过三角测量进行距离测量就变得更加困难。
13.图1a是图示了光点在距离传感器的成像传感器上的图像位置与物距（即，从距离传感器到其距离正在被测量的物体的距离）之间的关系的示例图表100。特别地，图表100的x轴绘制了光点的位置分辨率，而图表100的y轴绘制了距离分辨率。如上面所讨论的，知道点图像位置与物距之间的关系是能够使用三角测量技术计算物距的关键。
14.如图1a中可以看到的，轨迹（或者在其内点的图像位置可以移动的范围）随着到物体的距离增加而减小。这意味着，对于基于三角测量的距离测量技术，距离测量可以在更长距离下以高分辨率进行，因为图像位置的移动量在近范围内更大。
15.图1b是图示了物距与基于飞行时间的距离计算的距离测量准确度之间的关系的示例图表102。特别地，图表102的x轴绘制了时间测量分辨率（即，飞行的往返时间），而图表102的y轴绘制了距离分辨率。如从图1b可以看到的，对于任何物距，基于飞行时间的距离测量计算的测距分辨率（或准确度）是恒定的。
16.因此，当一起审查图1a和图1b时，可以看到基于三角测量的距离测量技术的距离测量分辨率远远超过基于飞行时间的距离测量技术的距离测量分辨率，至少高达某个物距。
17.本公开的示例利用基于飞行时间（tof）的距离测量技术来增强基于三角测量的三维距离测量，以获得改进的准确度。tof通常通过将调制光投影到物体上并跟踪投影光作为反射光返回所花费的时间来工作；到物体的距离可以作为发射投影光与反射光在传感器上成像之间经过的时间的函数来计算。以这种方式，无论距离如何，都可以以某个分辨率测量距离。尽管该分辨率对于依赖于高级细节的诸如面部认证之类的应用来说通常太粗糙，但是它在确认基于三角测量的结果时可以是有用的。
18.特别地，在一个示例中，使用基于三角测量的技术进行的距离测量计算可以标识在其中两个相邻轨迹重叠的投影图案区域内检测到的投影图案中的光点。单独使用基于三角测量的距离测量技术，可能难以确定该光点属于哪个轨迹（并且因此属于哪个投影光束）。然而，通过利用基于飞行时间的距离测量计算进行增强，辨别光点所属的轨迹可以是可能的。
19.图2例如图示了用于测量到物体210的距离的距离传感器200的简化示例。如图示的，距离传感器200一般包括处理器202、包括至少包括第一投影点204的多个投影点的光投影系统、以及至少包括成像传感器206和相机透镜214的光接收系统206。
20.投影点204可以包括多个组件，包括光源和衍射光学元件。光源可以包括激光光源，其能够发射对于人眼大体上不可见的波长（例如，红外波长）的光。光源可以发射单个光束，该单个光束被衍射光学元件分成从公共中心点或原点散开的多个光束。
21.如图示的，投影点204可以将多个光束208
1-208n（在下文中单独称为“光束208”或统称为“光束208”）投影到物体210上。当光束208入射到物体210上时，这在物体210上创建多个光点212
1-212n（在下文中单独称为“点212”或统称为“点212”），即每个光束208一个光点。光点212共同形成其尺寸已知的预定义图案（诸如网格）。
22.从距离传感器200到物体210的距离可以变化。图2示出了在第一距离da和第二距离db处的物体210。如所示出的，光点212可以在距离da或db处入射到物体210上；然而，如上面所讨论的，改变距离将改变由光点212创建的图案的外观。特别地，点的反射图像在成像传感器206上的位置将如所示出的那样变化。
23.插图218示出了对应于点212
1-212n的轨迹216
1-216n（在下文中单独称为“轨迹216”或统称为“轨迹216”）如何在成像传感器的表面上重叠。成像传感器的中心被指定为c用于参考。由于轨迹216的重叠，光的给定点212可能出现在成像传感器206上被两个相邻且重叠的轨迹216覆盖的位点上，使得难以肯定地确定给定点212属于哪个轨迹216（并且因此属于哪个光束208）。
24.图3是图示了当轨迹216重叠时点212的图像位置与物距d之间的关系的示意图，并且进一步图示了如何可以与经由基于三角测量的测量技术获得的测距结果同时地获得经由基于飞行时间的测量技术获得的测距结果。
25.图3示出了类似于图1a中所图示的多个图像位置-物距曲线，但针对图2中所图示的光点212。例如，曲线3001对应于点2121，曲线3002对应于点2122，并且曲线300n对应于点212n。曲线300
1-300n可以单独称为“曲线300”，或者统称为“曲线300”。曲线300之间的间隔或距离由点212之间的角度间隔确定，并且对应于范围302。
26.图3中的rt表示基于飞行时间的测量的分辨率。更具体地，rt指示，对于指定的最近图像位置，当物体（例如，物体210）离距离传感器的距离为rt时，图像位置移动达rt。因此，rt1指示点2121的分辨率，rt2指示点2122的分辨率，并且rtn指示点212n的分辨率。
27.如图示的，点212的轨迹216重叠。因此，当在位置p处检测到给定光点时，所计算的物距将取决于给定光点是否属于轨迹2161、2162或216n而不同。另一方面，由于在位置p处使用飞行时间技术计算的物距是已知的，因此该知识可以帮助标识给定光点属于哪个轨迹216。此外，由于基于飞行时间的测量的分辨率是rt，因此可以利用飞行时间的分辨率可靠地确定点212的物距。
28.图4更详细地图示了图2的成像传感器206的示例。更特别地，图4示出了成像传感器206上的图像位置与飞行时间检测位置之间的关系。如图示的，成像传感器206包括布置在网格或矩阵中的多个像素400
1-400m（下文中单独称为“像素400”或统称为“像素400”）。每个像素400可以包括例如光电检测器，并且可以进一步包括将反射光聚焦到光电检测器上的透镜（例如，微透镜）和允许特定波长的光穿过到达光电检测器的滤光器。
29.如图示的，光点402可以被成像到成像传感器206上。（如由基于三角测量的测量技术确定的）光点402的位置可以与成像传感器206的一个或多个像素400重叠。在图4中，阴影像素400表示点402的飞行时间检测位置，而圆形轮廓表示如使用基于三角测量的测量技术
所检测的点402的图像位置。还图示了点402所属的轨迹404。在一个示例中，取决于从距离传感器到物体的距离，属于轨迹404的点402可以被成像在落入轨迹404内的成像传感器206上的任何地方。
30.图5是图示了根据本公开的示例的用于计算到物体的距离的示例方法500的流程图。方法500可以例如由包括至少一个处理器的处理系统（诸如距离传感器的处理系统）来施行。为了举例，方法500被描述为由处理系统施行。
31.方法500可以在步骤502中开始。在步骤504中，处理系统可以使距离传感器的光投影系统将光图案投影到物体上，其中光图案包括共同形成图案的多个光点。例如，处理系统可以向光投影系统发送电子信号，其中电子信号编码指令。如上面所讨论的，光可以具有对于人眼大体上不可见的波长，但是可被距离传感器的成像传感器检测到（例如，红外光）。
32.光图案可以由距离传感器的光投影系统投影的多个光束创建。多个光束可以将多个光点投影到物体上，其中多个光点共同形成光图案或“投影图案”。在一个示例中，多个光点可以布置成包括多行和多列的网格图案。
33.在另外的示例中，行和列的布置可以是交错的。例如，可以布置行，使得每隔一行的光点沿着在y或垂直方向上穿过光点中心的假想线对齐或共线。相反，任何两个直接相邻的行中的光点将不会对齐（例如，在y或垂直方向上将不存在穿过两行光点中心的假想线）。
34.类似地，可以布置列，使得每隔一列的光点沿着在x或水平方向上穿过光点中心的假想线对齐或共线。相反，任何两个直接相邻的列的光点将不会对齐（例如，在x或水平方向上将不存在穿过两列光点中心的假想线）。
35.在步骤506中，处理系统可以使距离传感器的光接收系统获取物体上的投影图案的图像。例如，处理系统可以向光接收系统发送电子信号，其中电子信号编码指令。如上面所讨论的，尽管投影图案（例如，形成投影图案的光）对于人眼来说可能是不可见的，但是它对于光接收系统的图像传感器来说可能是可见的。
36.在步骤508中，处理系统可以检测光接收系统的成像传感器上的多个光点中的第一光点的图像位置。检测第一光点的图像位置可以包括确定由对应于（即产生的）第一光点的光投影系统的投影点所投影的第一光束（其中第一光束是从投影点投影的多个光束之一）。
37.在一个示例中，检测第一光点的图像位置可以包括确定第一光点的图像位置位于其中第一轨迹和第二轨迹重叠的成像传感器区域中。因此，从在步骤206中获取的图像来看，可能不清楚第一光点属于哪个轨迹（并且因此属于多个光束中的哪个光束）。
38.例如，考虑落在图2中轨迹2161、2162和216n重叠的区域内的位置p处的光点。点p可能潜在地被标识为轨迹2161上的点p1、轨迹2162上的点p2或轨迹216n上的点pn。取决于p1、p2或pn中的哪一个点被确定为点p，所计算的物距将是不同的（即，对于点p1物距将是d1，对于点p2物距将是d2，并且对于点pn物距将是dn）。
39.在步骤510中，处理系统可以基于第一光点的图像位置计算距离传感器与物体之间的第一估计距离和第二估计距离。例如，处理系统可以使用三角测量技术来计算第一估计距离和第二估计距离。作为示例，可以以美国专利申请序列号14/920,246、15/149,323和15/149,429中讨论的任何方式计算距离。
40.在一个示例中，可以基于第一轨迹对应于第一光点的假设来计算第一估计距离，
而可以基于第二轨迹对应于第二光点的假设来计算第二估计距离。因此，可以为与成像传感器上第一光点的位点重叠的每个轨迹计算基于三角测量的距离测量。例如，遵循上面对于点p的示例，取决于哪个轨迹被标识为对应于点p，第一估计距离可以被计算为d1、d2或d3。
41.在步骤512中，处理系统可以使距离传感器的光投影系统朝向物体发射光脉冲。例如，处理系统可以向光投影系统发送电子信号，其中电子信号编码指令。如上面所讨论的，光可以具有对于人眼大体上不可见的波长，但是该波长可被距离传感器的成像传感器检测到（例如，红外光）。在一个示例中，步骤512与步骤504同时施行。
42.在步骤514中，处理系统可以使距离传感器的光接收系统获取被物体反射的光脉冲的一部分的图像。例如，处理系统可以向光接收系统发送电子信号，其中电子信号编码指令。如上面所讨论的，尽管光脉冲（以及被反射的光脉冲部分）可能对于人眼是不可见的，但是它可能对于光接收系统的图像传感器是可见的。在一个示例中，步骤514与步骤506同时施行。
43.在步骤516中，处理系统可以基于光脉冲的飞行时间来计算距离传感器与物体之间的第三估计距离。例如，处理系统可以基于当光投影系统发射光脉冲时的时间与当光接收系统的成像传感器检测到被物体反射的光脉冲部分时的时间之间经过的时间来计算第三估计距离。例如，对于成像传感器上位置p处的光点，第二估计距离可以计算为dt(p)。
44.在步骤518中，处理系统可以基于第一估计距离、第二估计距离和第三估计距离计算距离传感器与物体之间的第四估计距离。特别地，使用基于飞行时间的距离测量技术计算的第三估计距离可以用于确定第一估计距离和第二估计距离中的哪一个是正确的（例如，在某个阈值容限内匹配第三估计距离或者更接近第三估计距离）。例如，参考回图4，如果点402表示第一光点，则那么点402周围的像素400的距离测量可以被用作点402的距离测量。然后，基于第三估计距离，第一估计距离和第二估计距离中被确定为正确的无论哪个可以被输出或存储为从距离传感器到物体的距离。
45.方法500可以在步骤520中结束。
46.应当注意，尽管没有明确指定，但是上面描述的方法500的一些框、功能或操作可以包括针对特定应用的存储、显示和/或输出。换句话说，取决于特定的应用，方法500中讨论的任何数据、记录、字段和/或中间结果可以被存储、显示和/或输出到另一个设备。此外，图5中陈述确定操作或涉及决策的框、功能或操作并不意味着确定操作的两个分支都被实践。换句话说，取决于确定操作的结果，可以不施行确定操作的分支之一。
47.图6描绘了用于计算从传感器到物体的距离的示例电子设备600的高级框图。照此，电子设备600可以被实现为电子设备或系统的处理器，诸如距离传感器。
48.如图6中所描绘的，电子设备600包括：硬件处理器元件602，例如中央处理单元（cpu）、微处理器或多核处理器；存储器604，例如随机存取存储器（ram）和/或只读存储器（rom）；用于计算从传感器到物体的距离的模块605；以及各种输入/输出设备606，例如存储设备，包括但不限于磁带驱动器、软盘驱动器、硬盘驱动器或压缩盘驱动器、接收器、发射器、显示器、输出端口、输入端口和用户输入设备，诸如键盘、小键盘、鼠标、麦克风、相机、激光光源、led光源以及诸如此类。
49.尽管示出了一个处理器元件，但是应当注意，电子设备600可以采用多个处理器元件。此外，尽管在图中示出了一个电子设备600，但是如果对于特定的说明性示例，以分布式
或并行的方式来实现如上面所讨论的（一种或多种）方法，即，跨多个或并行的电子设备来实现上面（一种或多种）方法的框或整个（一种或多种）方法，则那么该图的电子设备600意图表示那些多个电子设备中的每一个。
50.应当注意，本公开可以通过机器可读指令和/或机器可读指令和硬件的组合来实现，例如，使用专用集成电路（asic）、包括现场可编程门阵列（fpga）的可编程逻辑阵列（pla）、或部署在硬件设备上的状态机、通用计算机或任何其它硬件等同物，例如，与上面讨论的（一种或多种）方法相关的计算机可读指令可以用于配置硬件处理器来施行上面公开的（一种或多种）方法的框、功能和/或操作。
51.在一个示例中，用于计算从传感器到物体的距离的本模块或过程605的指令和数据（例如机器可读指令）可以被加载到存储器604中，并由硬件处理器元件602执行，以实现如上面结合方法500讨论的框、功能或操作。此外，当硬件处理器执行指令来施行“操作”时，这可以包括硬件处理器直接施行操作和/或促进、引导另一硬件设备或组件（例如，协处理器以及诸如此类）或者与之协作来施行操作。
52.执行与上面描述的（一种或多种）方法相关的机器可读指令的处理器可以被视为编程处理器或专用处理器。照此，本公开的用于计算从传感器到物体的距离的本模块605可以存储在有形的或物理的（广义上非暂时性的）计算机可读存储设备或介质上，例如易失性存储器、非易失性存储器、rom存储器、ram存储器、磁性或光学驱动器、设备或磁盘以及诸如此类。更具体地，计算机可读存储设备可以包括提供存储信息的能力的任何物理设备，所述信息诸如要由处理器或电子设备（诸如计算机或安全性传感器系统的控制器）访问的数据和/或指令。
53.将领会的是，上面公开的变体以及其它特征和功能或其替代物可以组合到许多其它不同的系统或应用中。随后可以在其中进行各种目前未预见或未预料到的替代、修改或变化，这也意图被以下权利要求涵盖。
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
