测距设备及其光接收方法与流程

1.本技术涉及一种测距设备及其光接收方法，并且确切地说，涉及一种测距设备及其光接收方法，其中在光源和tof传感器是单独准备的情况下，光源的调制频率与tof传感器的调制频率同步。


背景技术：

2.已知称为tof(飞行时间)方法的测距方法是一种使用光来测量距离目标对象的距离的测距方法。在tof方法中，使用光源对对象进行光照射，tof传感器接收来自对象的反射光，并且通过对光接收结果进行分析来测量距离对象的距离。
3.此外，还提出了一种通过使用从与tof传感器分开准备的光源发射的光照射对象并且通过使用tof传感器接收所产生的反射光来测量距离对象的距离的技术等(例如，参见ptl 1)。
4.[引用列表]
[0005]
[专利文献]
[0006]
[ptl 1]
[0007]
2018-31607号日本专利公开案


技术实现要素：

[0008]
[技术问题]
[0009]
但是，在光源和tof传感器彼此分开准备的情况下，光源的光源时钟与tof传感器的传感器时钟不同。因此，光源的调制频率不一定与tof传感器的调制频率同步。在某些情况下，这会导致频率偏差。此外，在tof传感器的调制频率偏离光源的调制频率的情况下，距离测量的结果可能出现误差。
[0010]
本技术是鉴于上述情况而提出的，用于在光源与tof传感器分别准备的情况下，实现光源的调制频率与tof传感器的调制频率之间的同步。
[0011]
[问题解决方案]
[0012]
根据本技术的第一方面的测距设备包括：接收部，所述接收部通过对通过无线通信从单独设备发送的传输信号执行同步处理，生成与单独设备的同步时钟信号同步的信号；参考时钟生成部，所述参考时钟生成部基于所述同步时钟信号而生成将用作光源发光的参考的参考时钟信号；以及tof传感器，所述tof传感器基于参考时钟信号而接收由于从光源施加照射光并且被对象反射而产生的反射光。
[0013]
根据本技术的第二方面的测距设备包括：通信部，所述通信部通过无线通信发送传输信号；参考时钟生成部，所述参考时钟生成部基于与所述传输信号同步的同步时钟信号而生成用作光源发光的参考的参考时钟信号；以及光源，所述光源基于所述参考时钟信号施加照射光。
[0014]
根据本技术的第三方面的测距设备包括：通信部，所述通信部通过无线通信发送
和接收传输信号；参考时钟生成部，所述参考时钟生成部基于与传输信号同步的同步时钟信号而生成用作光源发光的参考的参考时钟信号；光源，所述光源基于参考时钟信号施加照射光；以及tof传感器，所述tof传感器基于参考时钟信号而接收从单独设备施加的照射光并且被对象反射所产生的反射光。
[0015]
根据本技术的第四方面的用于测距设备的光接收方法包括：由测距设备通过对通过无线通信从单独设备发送的传输信号执行同步处理而生成与单独设备的同步时钟信号同步的信号；基于所述同步时钟信号，生成用作光源发光的参考的参考时钟信号；以及基于所述参考时钟信号，接收从光源施加的照射光并且被对象反射所产生的反射光。
[0016]
根据本技术的第一、第三和第四方面，基于与无线通信的传输信号同步的同步时钟信号生成要用作光源发光的参考的参考时钟信号，并且基于参考时钟信号接收从光源施加并被对象反射的照射光所产生的反射光。
[0017]
根据本技术的第二方面，基于与无线通信的传输信号同步的同步时钟信号生成要用作光源发光的参考的参考时钟信号，并且照射光是基于参考时钟信号从光源施加的。
[0018]
测距设备可以是独立的设备，也可以是包括在另一个设备中的模块。
附图说明
[0019]
图1是用于说明使用直接tof方法的测距处理的基本原理的图解。
[0020]
图2是用于说明使用直接tof方法的测距处理的基本原理的图解。
[0021]
图3是用于说明相位差的计算方法的图解。
[0022]
图4是用于说明根据本公开的分量和帧的图解。
[0023]
图5是用于说明校正循环误差的处理的概念的图解。
[0024]
图6是用于说明防止多个光源之间的干涉的方法的图解。
[0025]
图7是用于说明防止多个光源之间的干涉的方法的图解。
[0026]
图8是用于说明直接tof方法的图解。
[0027]
图9是示出根据本公开第一实施例的测距系统的配置示例的图解。
[0028]
图10是示出包括光源和测距单元的测距设备的功能配置示例的方框图。
[0029]
图11是示出操作模式被设置为时分模式的操作示例的图解。
[0030]
图12是示出操作模式被设置为调制频率模式的操作示例的图解。
[0031]
图13是示出操作模式被设置为光发射图案模式的操作示例的图解。
[0032]
图14是仅具有发光功能的测距设备的功能方框图。
[0033]
图15是仅具有光接收功能的测距设备的功能方框图。
[0034]
图16是示出光发射侧测距设备中的发光控制处理的流程图。
[0035]
图17是示出光接收侧测距设备中的发光控制处理的流程图。
[0036]
图18是用于说明实现相位同步的处理的图解。
[0037]
图19是基于gnss信号实现时间同步的测距设备的方框图。
[0038]
图20是示出根据本公开第二实施例的测距系统的配置示例的图解。
[0039]
图21是用于说明计算相对距离的原理的图解。
[0040]
图22是用于说明计算相对距离的原理的图解。
[0041]
图23是用于说明计算相对距离的原理的图解。
[0042]
图24是关于整合在无人机中的测距设备的方框图。
[0043]
图25是示出无人机所观察到的置信度图像的示例的图解。
[0044]
图26是用于说明使用精确的相对距离来提高位置和姿态的精度的处理的图解。
[0045]
图27是用于说明调制频率与测得距离之间的关系的图解。
[0046]
图28是描绘测量无人机的相对距离的处理的流程图。
[0047]
图29是示出根据本公开第三实施例的测距系统的配置示例的图解。
[0048]
图30是描绘根据第三实施例的测距系统中的距离计算处理的流程图。
[0049]
图31是用于说明图30中的步骤s66中的相位差检测的图解。
[0050]
图32是用于说明涉及接收来自多个光源的反射光的距离计算方法的图解。
[0051]
图33是用于说明涉及接收来自多个光源的反射光的距离计算方法的图解。
[0052]
图34是示出tof传感器的光接收部的配置示例的图解。
[0053]
图35是描绘车辆控制系统的示意性配置的示例的方框图。
[0054]
图36是辅助说明车外信息检测部和成像部的安装位置的示例的图解。
[0055]
实施例的说明
[0056]
在下文中，将参照附图解释用于执行本技术的模式(在下文中，称为实施例)。应注意，在本说明书和附图中，具有基本相同功能配置的组成元件由相同的附图标记表示。因此，将省略其重复说明。将按以下顺序进行说明。
[0057]
1.使用tof方法的测距处理的概述
[0058]
2.测距系统的第一实施例
[0059]
3.测距设备的方框图
[0060]
4.测距设备的处理流程
[0061]
5.第一实施例的修改
[0062]
6.测距系统的第二实施例
[0063]
7.测距系统的第三实施例
[0064]
8.涉及从多个光源接收反射光的距离计算方法
[0065]
9.tof传感器的配置
[0066]
10.应用于移动体的示例
[0067]
《1.使用tof方法的测距处理的概述》
[0068]
已知一种被称为tof(飞行时间)方法的测距方法被用作使用光来测量距离测量目标对象的距离的一种测距方法。在tof方法中，使用光源来用光照射对象，所产生的反射光被tof传感器接收，并且对光接收结果进行分析，由此测量距离对象等的距离。
[0069]
本公开涉及使用tof方法的测距技术。为便于理解根据本公开的实施例，将参照图1到图7来解释使用tof方法的测距处理的基本原理。
[0070]
在tof方法中，将光施加到对象上，并且对所产生的反射光进行分析，从而测量距离对象的距离(深度)以及此对象的形状。应注意，以下说明不包括任何对三维形状的测量的特别提及。但是，距离对象表面的距离的测量是针对此对象的所有表面进行的，从而可以测量此对象的三维形状。
[0071]
(测距系统配置)
[0072]
图1示出测距系统的配置。
[0073]
图1中的测距系统1包括光源2和测距单元3。光源2向作为测量目标对象的对象4施加光。从光源2施加的照射光l1被对象4反射，并且随后成为反射光l2并且进入测距单元3。
[0074]
光源2和测距单元3的布置位置基本相同。在此情况下，从测距单元3到对象4的距离(深度)d可以通过以下表达式(1)来计算。
[0075]
[数学计算1]
[0076][0077]
表达式(1)中，δt表示光源2发出的照射光l1被对象4反射后进入测距单元3所需的时间，c表示光速(2.9979
×
108[m/sec])。
[0078]
作为从光源2施加的照射光l1，如图2所示，采用以预定频率f(调制频率)高速重复接通(on)状态与关断(off)状态的发光模式的脉冲光。此光发射图案的一个周期是1/f。测距单元3根据光从光源2传播到测距单元3所花费的时间δt来检测相位偏移的反射光l2。当将该相移(相位差)的量定义为时，时间δt可以通过以下表达式(2)计算。
[0079]
[数学计算2]
[0080][0081]
因此，基于表达式(1)和表达式(2)，可以通过以下表达式(3)来计算从测距单元3到对象4的距离d。
[0082]
[数学计算3]
[0083][0084]
接下来，将参照图3说明相位差的计算方法。
[0085]
测距单元3包括tof传感器，在tof传感器中二维地布置对入射光执行光电转换的像素。tof传感器中的每个像素在接通(on)状态和关断(off)状态之间高速重复地切换，并且仅在接通(on)时段期间累积电荷。
[0086]
在tof传感器用于测量距离对象的距离的情况下，测距单元3顺序地在tof传感器的接通(on)执行定时与关断(off)执行定时之间进行切换，累积接通(on)执行定时下的电荷以及关断(off)执行定时下的电荷，并且根据累积所得的电荷而输出检测信号。
[0087]
开/关执行定时有四种类型，例如，0度相位、90度相位、180度相位和270度相位。
[0088]
在0度相位的执行定时下，tof传感器的接通(on)时刻(光接收定时)与光源2发出的脉冲光的相位(即，光发射图案的相位)匹配。
[0089]
在90度相位的执行定时下，tof传感器的接通(on)定时(光接收定时)的相位自光源2发出的脉冲光(发光模式)延迟90度。
[0090]
在180度相位的执行定时下，tof传感器的接通(on)定时(光接收定时)的相位自光源2发出的脉冲光(发光模式)延迟180度。
[0091]
在270度相位的执行定时下，tof传感器的接通(on)定时(光接收定时)的相位自光源2发出的脉冲光(发光模式)延迟270度。
[0092]
tof传感器在这四种类型之间依次切换执行定时，并且在每个光接收定时获取反射光l2的接收量(累积电荷)。在图3中，在每一相位的接通(on)定时(光接收定时)中，反射光l2的入射定时带有阴影线。
[0093]
在图3中，将光接收定时设置为0度相位、90度相位、180度相位、270度相位时累积的电荷分别定义为q0、q
90
、q
180
和q
270
。可以使用q0、q
90
、q
180
和q
270
通过以下表达式(4)计算相位差
[0094]
[数学计算4]
[0095][0096]
将根据表达式(4)计算的相位差代入表达式(3)。因此，可以计算从测距单元3到对象4的距离d。
[0097]
此外，表示在tof传感器中的每个像素处接收到的光强度的值被称为置信值。置信值通过以下表达式(5)或表达式(6)计算。
[0098]
[数学计算5]
[0099][0100]
置信值＝|q
180-q0| |q
90-q
270
|...(6)
[0101]
如图4所示，tof传感器的光接收定时依次在0度相位、90度相位、180度相位和270度相位之间切换，并且依次输出相应相位中根据累积电荷(电荷q0、电荷q
90
、电荷q
180
和电荷q
270
)的检测信号。
[0102]
在本公开中，从tof传感器输出的0度相位、90度相位、180度相位和270度相位中的任意一者的图像帧被称为“分量”，而将包括0度相位、90度相位、180度相位、270度相位的4个分量(4个相位的图像帧)的集合称为“帧”。
[0103]
(校正循环误差)
[0104]
假设从光源2发射的照射光l1的强度变化是正弦波，从而执行上述表达式(4)的计算。但是，从光源2发出的光实际上是矩形波，如图2所示。因此，因为矩形波被作为正弦波处理，因此距离d中周期性地出现误差(以下称为循环误差)。因此，通常对从tof传感器输出的相位的检测信号进行校正循环误差的校正处理。
[0105]
图5是说明校正循环误差的处理的概念的图解。
[0106]
图5左侧的图解描绘相位差与从tof传感器输出的距离d之间的关系。由虚线表示的线性关系对于相位差与距离d之间的关系而言是理想的。但是，该关系实际上具有非线性形状，包括由实线表示的循环误差。
[0107]
因此，处理由tof传感器输出的检测信号的后级的信号处理部执行校正循环误差的校正处理。结果，相位差与距离d之间的已校正关系具有线性形状，如图5中的右侧所示。
[0108]
具体地，在校正处理中，tof传感器对已知距离d的对象进行测量，然后基于相位差与相位差之间的关系计算将实测得到的相位差之间的关系计算将实测得到的相位差转换为作为与距离对象的距离
d相对应的真值的相位差的校正函数f校正函数预先存储在信号处理部的存储器中。在接收到相位差作为来自tof传感器的测量值的来源时，信号处理部对相位差相位差执行校正处理。
[0109]
需要注意的是，除了将校正函数存储在存储器中并且使用校正函数进行计算的方法之外，校正处理的示例还包括成对存储的方法，其中每对包括作为测得值的相位差以及作为查询表等中的真值的相位差并且从查找表中读出并输出作为与测得值对应的真值的相位差
[0110]
或者，也可以将实测得到的校正函数f(x)约等于另一个参数函数，只将几个校正系数存入存储器。例如，如表达式(7)所示，可以将校正函数f(x)展开为傅立叶级数，从而可以将k表示0到n阶项的校正系数(ak,bk)存储在存储器中。
[0111]
[数学计算6]
[0112][0113]
(防止多光源干涉的方法)
[0114]
在测距系统1中，在某个测距单元3的测量范围内有多组光源2和测距单元3的情况下，相位差的精确测量可能会由于从单独光源2发射的照射光而失败。
[0115]
例如，假设包括光源2a和测距单元3a的组5a以及包括光源2b和测距单元3b的组5b布置在光源2能够彼此接收光的范围(测量范围)内，如图6所示。
[0116]
测距单元3a接收由从光源2a施加并且被对象4反射的照射光所产生的反射光，并且计算相位差测距单元3b接收由从光源2b施加并且被对象4反射的照射光所产生的反射光，并且计算相位差在这种情况下，存在从光源2a施加的照射光影响测距单元3b处的光接收并且从光源2b施加的照射光影响测距单元3a处的光接收的可能性。
[0117]
针对与从单独光源2施加的照射光的上述干涉的对策，存在三种方法，即，使光源2以时分方式发射脉冲光的方法(1)、使来自光源2的脉冲光的调制频率彼此不同的方法(2)，以及使来自光源2的脉冲光的光发射图案彼此不同的方法(3)。
[0118]
在使光源2以时分方式发射脉冲光的方法(1)中，由于在任何时点从光源2发射一种类型的脉冲光，因此从单独的光源2施加的照射光不存在影响。
[0119]
图7的a示出使来自光源2的脉冲光的调制频率彼此不同的方法(2)的示例。
[0120]
在使来自光源2的脉冲光的调制频率彼此不同的方法中，组a的光源2a以100mhz的调制频率f施加脉冲光，而组b的光源2b施加调制频率f为例如71mhz的脉冲光。
[0121]
组a的测距单元3a以等于调制频率f＝100mhz的驱动频率来驱动tof传感器。组b的测距单元3b以等于调制频率f＝71mhz的驱动频率来驱动tof传感器。tof传感器的驱动频率对应于图3中累积电荷的接通(on)时段的频率。
[0122]
由于以与从光源2a发射的脉冲光的调制频率f相等的驱动频率驱动测距单元3a，因此可以以高相关性接收从光源2a发射的光。也就是说，可以检测具有高置信度值的信号。
[0123]
另一方面，在测距单元3b接收从光源2a发射的脉冲光的情况下，由于驱动频率的
差异而无法计算相位差也就是说，在测距单元3b中，与来自光源2a的反射光对应的电荷q0、q
90
、q
180
和q
270
的值大致相等。相应地，光源2a不被观察为调制光源，从而对相位差的计算没有影响。因此，即使当多个光源2a和2b同时发射照射光时，测距单元3a和3b也可以彼此独立地测量各自的精确距离d。
[0124]
图7中的b描绘使来自光源2的脉冲光的光发射图案彼此不同的方法(3)的示例。
[0125]
组a的光源2a以预定光发射图案a施加脉冲光，而组b的光源2b以预定光发射图案b施加脉冲光。组a的测距单元3a以光发射图案a驱动tof传感器，而组b的测距单元3b以光发射图案b驱动tof传感器。光发射图案a和光发射图案b彼此不同。
[0126]
在测距单元3a和3b之间，对于相同光发射图案的反射光存在高相关性，并且获得高置信度值。另一方面，不同光发射图案的反射光的相关性低，因此不会对相位差的计算产生影响。因此，即使当多个光源2a和2b同时发射照射光时，测距单元3a和3b也可以彼此独立地测量各自的精确距离d。
[0127]
选择通过时分识别来自光源2的脉冲光的方法(1)、通过调制频率识别来自光源2的脉冲光的方法(2)，或通过其光发射图案识别来自光源2的脉冲光的方法(3)作为防止照射光干涉的措施，其可以以取决于操作模式的方式来设置。通过时分方式来识别来自光源2的脉冲光的方法(1)、通过调制频率识别来自光源2的脉冲光的方法(2)，以及通过其光发射图案识别来自光源2的脉冲光的方法(3)分别称为(1)时分模式、(2)调制频率模式和(3)光发射图案模式等。
[0128]
(直接tof方法)
[0129]
与上述方式相同，根据在照射光l1的照射定时下在不同相位检测到的电荷q0、q
90
、q
180
和q
270
以及计算所得的距离对象4的距离d而检测相位差的tof方法称为间接tof方法。
[0130]
另一方面，还有被称为直接tof方法的另一种方法，其中直接计数从光源2发射光到达测距单元3所花费的时间δt。
[0131]
参照图8，将简要说明直接tof方法。
[0132]
在使用直接tof方法的tof传感器中，以矩阵形式二维排列的像素均包括spad(单光子雪崩二极管)或apd(雪崩光电二极管)作为光接收元件。spad或apd是对由入射到像素上的入射光产生的电子进行雪崩放大，然后输出信号的光接收元件。tdc(时间到数字转换器)将从光源2开始施加光的时间到测距单元3接收到反射光的时间的光的飞行时间转换为数字计数值(在下文中，称为tdc码)。多次执行光施加和光接收，以消除干扰光和多径的影响。
[0133]
随后，生成多次tdc码的直方图，如图8所示。将具有最高频率值的tdc码确定为最终飞行时间δt，然后可以根据上式(1)计算距离d。
[0134]
因此，同样在使用直接tof方法的tof传感器中，因为时间是基于光源2开始施加光的时间来计数的，因此需要将发光定时通知tof传感器侧。
[0135]
迄今为止，已经说明了使用tof方法的测距处理的概要。
[0136]
在tof方法中，如上所述，光源2和测距单元3通常以位于基本相同的位置的方式集成到一个模块等中。
[0137]
但是，光源2可以与测距单元3分开，对象4可以被放置在分开的位置的光源2施加
的光照射，测距单元3可以接收所产生的反射光，并且可以测量距离对象4的距离。
[0138]
在光源2和测距单元3分开放置在不同位置的情况下，可以将光源2放置在对象4附近。因此，与一体地形成光源2和测距单元3的情况相比，可以增加tof传感器处的光接收量。结果，可以提高测距单元3的测距精度。
[0139]
但是，在通过tof方法测量距离d时，测距单元3需要实现与光源2的发光定时的高精度同步，如上所述。因此，在光源2和测距单元3分开放置的情况下，测距单元3的tof传感器能否实现与光源2的发光定时的高精度频率同步和相位同步是一个关键问题。
[0140]
因此，下文将给出以高精度实现分开放置的光源和测距单元之间的同步的测距系统的说明。
[0141]
《2.测距系统的第一实施例》
[0142]
图9是示出根据本公开第一实施例的测距系统的配置示例的图解。
[0143]
根据图9中的第一实施例的测距系统11包括多个测距设备21。图9示出包括作为测距设备21a到21e的五个测距设备21的测距系统11的配置。但是，将测距设备21的数量设置为五个并非是必要的。可以准备任意数量的测距设备21。
[0144]
一些测距设备21具有包括光源2和测距单元3这两者的配置。其他测距设备21具有仅包括光源2的配置或者具有仅包括测距单元3的配置。具体地，测距设备21a仅包括光源2，并且测距设备21b包括光源2和测距单元3。测距设备21c仅包括测距单元3，并且测距设备21d包括光源2和测距单元3。测距设备21e仅包括测距单元3。
[0145]
测距设备21由分别给予测距设备21的各自唯一id标识。在本实施例中，测距设备21a的唯一id是“0”(id0)。测距设备21b的唯一id是“1”(id1)。测距设备21c的唯一id是“2”(id2)。测距设备21d的唯一id是“3”(id3)。测距设备21e的唯一id是“4”(id4)。
[0146]
测距单元3包括使用间接tof方法或直接tof方法测量距离对象的距离d的tof传感器52(图10)。应注意，为方便起见，将在假设每个测距单元3的tof传感器52是使用间接tof方法的tof传感器的情况下给出以下说明。如果需要，将对使用直接tof方法的tof传感器52进行补充说明。
[0147]
例如，测距设备21a到21d固定地安装在天花板上。测距设备21e安装在移动运载车辆22上的预定位置。移动运载车辆22的行进方向可以根据距离测量结果(例如，由测距设备21e获得的距离对象24的距离)而改变。
[0148]
这五个测距设备设备21a到21e可以通过网络23使用预定的无线信号进行通信(无线通信)。替代地，所述五个测距设备21a到21e中的每一者可以在没有网络23的情况下直接与对方测距设备21进行无线通信。
[0149]
例如，网络23包括wifi(注册商标)、蓝牙(注册商标)或广域通信网络，例如通常称为无线移动体的4g或5g线路。
[0150]
当包括测距单元3的单独测距设备21(例如，测距设备21c)进行距离测量时，仅包括光源2的测距设备21a发射照射光。
[0151]
各自仅包括测距单元3的测距设备21c和21e接收由从单独测距设备21的光源2施加的照射光产生的反射光，然后测量距离对象的距离d。
[0152]
各自包括光源2和测距单元3的测距设备21b和21d可以分别接收从测距设备21b和21d的光源2施加的照射光的反射光，以测量距离对象的距离d，或者可以接收从单独的测距
设备21(例如测距设备21c)的光源2施加的照射光的反射光，以测量距离对象的距离d。
[0153]
例如，仅包括测距单元3的测距设备21e通过实现与从单独的测距设备21d的光源2施加的照射光的发光定时同步来测量从测距设备21e到对象24的距离d。
[0154]
更具体地，通过实现与从单独测距设备21d的光源2输出的无线信号的时钟同步，测距设备21e实现测距设备21e的光源2的发光定时和测距单元3的光接收定时之间的同步。例如，在测距设备21e和测距设备21d通过wifi(注册商标)或蓝牙(注册商标)相互进行无线通信的情况下，测距设备21e实现根据例如2.4-ghz时钟信号测距设备21e的测距单元3的发光定时与光接收定时之间的同步。因此，即使在光源2与测距单元3分开放置的情况下，也可以进行高精度的距离测量。
[0155]
《3.测距设备的方框图》
[0156]
图10是示出包括光源2和测距单元3的测距设备21的功能配置示例的方框图。
[0157]
测距设备21包括时钟源41、通信模块42、天线43、参考时钟生成部44、操作模式设置部45、激光驱动器46和激光发射部47。
[0158]
此外，测距设备21包括光源信息获取部48、存储器(存储部)49、时间同步部50、定时控制部51、tof传感器52和信号处理部53。
[0159]
例如，时钟源41包括晶体振荡器。时钟源41生成用作无线通信和发光定时这两者的参考的主时钟，并且将主时钟提供给通信模块42。
[0160]
通信模块42控制由测距设备21执行的无线通信，并且基于经由天线43发送和接收的无线信号来处理数据。
[0161]
例如，在数据发送期间，通信模块42根据所传输的数据使用预先决定的编码方法和调制方法来执行编码和调制等，并且使得从天线43发送所得到的传输信号。从光源信息获取部48、时间同步部50、定时控制部51等提供被发送的数据。
[0162]
此外，在数据接收期间，通信模块42根据经由天线43接收到的数据执行与数据发送期间执行的处理相反的处理(解码和解调)，并且将所得数据提供给后级的任何一个块。具体地，数据被提供给操作模式设置部45、光源信息获取部48、时间同步部50、定时控制部51等。
[0163]
通信模块42包括同步时钟生成部61和信号发送/接收部62。
[0164]
在数据发送期间，同步时钟生成部61生成将载波频率调制到预定调制频率的传输信号，并且经由天线43发送此传输信号。此外，同步时钟生成部61生成与载波频率或调制频率对应的同步时钟信号，并且将此同步时钟信号提供给参考时钟生成部44。
[0165]
在数据接收期间，同步时钟生成部61通过对经由天线43接收的信号执行同步处理来生成与数据发送时间的同步时钟信号相对应的信号(同步时钟信号)，并且将所生成的信号提供给参考时钟生成部44。
[0166]
在数据发送期间，信号发送/接收部62通过预定编码方法对要发送的数据进行编码，并且将编码后的数据提供给同步时钟生成部61。要发送的数据的示例包括用于识别测距设备21的唯一id、从光源信息获取部48提供的唯一id、关于要被激光发射部47发射的照射光的光发射开始时间信息、照射光的发光时间以及包括操作模式的光源信息等。
[0167]
在数据接收期间，信号发送/接收部62对从同步时钟生成部61提供的信号进行解调，获取所发送的数据，并且将解调后的数据提供给操作模式设置部45、光源信息获取部
48、时间同步部50或定时控制部51中的任一者。例如，信号发送/接收部62向操作模式设置部45提供作为从接收到的信号获取的光源信息的一部分的操作模式，并且将整个光源信息提供给光源信息获取部48。
[0168]
在数据发送期间，天线43放大从通信模块42提供的传输信号，并且将被放大的信号作为电磁波来发送。此外，在数据接收期间，天线43接收从单独设备发送的传输信号，并且将该发送信号作为接收信号提供给通信模块42。
[0169]
参考时钟生成部44包括pll(锁相环)电路等。参考时钟生成部44基于从同步时钟生成部61提供的同步时钟信号生成要用作来自激光发射部47的发光参考的参考时钟信号，并且将参考时钟信号提供给操作模式设置部45。
[0170]
使用从参考时钟生成部44提供的参考时钟信号，操作模式设置部45生成与从信号发送/接收部62提供的操作模式相对应的光发射脉冲信号，并且将此光发射脉冲信号提供到激光驱动器46和tof传感器52。
[0171]
例如，在时分模式被设置为操作模式的情况下，操作模式设置部45在由相应的测距设备21本身执行光发射(或光接收的时间段内)，将从参考时钟生成部44提供的参考时钟信号作为光发射脉冲信号提供给激光驱动器46和tof传感器52。
[0172]
或者，在调制频率模式被设置为操作模式的情况下，例如，操作模式设置部45将从参考时钟生成部44提供的参考时钟信号的频率调整为相应测距设备21自身发射或接收的光的调制频率，并且将频率已调整的参考时钟信号作为光发射脉冲信号提供给激光驱动器46和tof传感器52。
[0173]
替代地，在光发射图案模式被设置为操作模式的情况下，例如，操作模式设置部45基于参考时钟生成部44提供的参考时钟信号而生成被相应测距设备21自身发射或接收的光的光发射图案，并且将此光发射图案作为光发射脉冲信号提供到激光驱动器46和tof传感器52。
[0174]
激光驱动器46基于从操作模式设置部45提供的光发射脉冲信号而生成用于驱动作为激光发射部47的光源的vcsel(垂直腔表面发射激光器)的驱动信号，并且将驱动信号提供给激光发射部47。
[0175]
定义开始光发射(或光接收)的定时的开始定时控制信息从定时控制部51提供给激光驱动器46。开始定时控制信息包括表示开始发光或光接收的时钟时间、vcsel的发光时间(像素的曝光时间)、分量和帧的周期等的发光开始时间信息。在基于开始定时控制信息的预定定时，激光驱动器46向激光发射部47提供驱动信号。
[0176]
例如，激光发射部47包括vcsel阵列(光源阵列)，其中用作光源的多个vcsel排列在平面上。根据从激光驱动器46提供的驱动信号，以预定周期重复来自激光发射部47的光发射的开/关。
[0177]
在发光期间，光源信息获取部48从存储器49获取光源信息，并且将光源信息提供给信号发送/接收部62。此外，在光接收期间，光源信息获取部48从信号发送/接收部62获取接收到的光源信息，并且使存储器49存储所获取的光源信息。在需要的情况下，光源信息还被提供给定时控制部51、tof传感器52和信号处理部53。例如，光源校准数据被提供给tof传感器52。
[0178]
存储器49存储光源信息，并且在需要时将光源信息提供给光源信息获取部48。
[0179]
此处，作为光源信息存储在存储器49中的信息的示例如下。
[0180]-唯一id
[0181]-发光时间/曝光时间
[0182]-发光开始时间信息/曝光开始时间信息
[0183]-重复频率(直接tof方法)
[0184]-调制频率(间接tof方法)
[0185]-分量长度(间接tof方法)
[0186]-测距设备的位置和姿态
[0187]-帧长度
[0188]-光源的波长
[0189]-发光模式
[0190]-光源校准数据(间接tof方法)
[0191]-操作模式
[0192]
唯一id是用于识别测距设备21的信息。发光时间指示激光发射部47(光源2)的一次发光的时间长度(上述接通(on)期间)。光接收侧的发光时间对应于tof传感器52的曝光时间。光发射开始时间信息指示用于开始从激光发射部47发射照射光的时钟时间。光接收侧的发光开始时间信息对应于tof传感器52开始曝光的时钟时间。
[0193]
重复频率指示重复多次光照射和接收的直接tof方法中的照射时间间隔，或者从上次照射开始时间到下一次照射开始时间的时间间隔。
[0194]
调制频率指示间接tof方法中的调制频率。分量长度指示间接tof方法中一个分量的时间长度。
[0195]
在测距设备21配备有imu(惯性测量单元)、磁传感器、gnss(全球导航卫星系统)接收器等的情况下，测距设备的位置和姿态指示测距设备21的位置和/或姿态。此信息可以指示位置或姿态中的一者，或者可以指示位置和姿态这两者。
[0196]
帧长度指示间接tof方法中一帧的时间长度。光源的波长指示由激光发射部47发射的照射光的波长。例如，在使用红外线作为照射光的情况下，其波长范围为约850nm到940nm。
[0197]
光发射图案指示用于允许测距设备21识别从光源2发射的脉冲光的光发射图案的信息。
[0198]
光源校准数据被提供用于校正间接tof方法中的循环误差。例如，校准数据包括用于将图5左侧所示的非线性关系校正成图5右侧描绘的线性关系的校正函数、校正系数等。
[0199]
操作模式指示用于采取措施防止照射光干涉的(1)时分模式、(2)调制频率模式和(3)光发射图案模式中的任一种的信息，并且指示所述操作模式中的每一者所需的操作模式详情设置信息。例如，(1)时分模式的操作模式详情设置信息包括指示在被划分的时间帧中由相应测距设备21使用的时间帧的信息，并且(3)光发射图案模式的操作模式详情设置信息包括指示多个光发射图案中由相应测距设备21使用的光发射图案的信息。
[0200]
图11示出多个光发射侧测距设备21和光接收侧测距设备21在设置为时分模式以防止照射光干涉的操作模式下操作的操作示例。
[0201]
例如，作为光发射侧测距设备21的测距设备21a和测距设备21b以时分方式发光。
光接收侧测距设备21e与测距设备21b的发光定时同步地进行光接收操作，从而防止照射光的干涉。因此，测距设备21e可以接收由测距设备21b发射的照射光产生的反射光。测距设备21b发出接收目标光的发光定时可以从指示发光开始时间并且是光源信息的一部分的发光开始时间信息来确认。
[0202]
图12示出多个光发射侧测距设备21和光接收侧测距设备21在设置为调制频率模式以防止照射光干涉的操作模式下操作的操作示例。
[0203]
如图11所示，测距设备21a和测距设备21b是发光侧测距设备21，并且测距设备21e是光接收侧测距设备21。
[0204]
测距设备21a以71mhz的调制频率发射照射光。测距设备21b以100mhz的调制频率发射照射光。光接收侧测距设备21e与测距设备21b的调制频率同步地进行光接收操作，从而防止照射光的干涉。因此，测距设备21e可以接收由测距设备21b发射的照射光产生的反射光。测距设备21b发射的接收目标光的调制频率可以从指示调制频率并且是光源信息的一部分的调制频率信息中确认。
[0205]
图13示出多个光发射侧测距设备21和光接收侧测距设备21在设置为光发射图案模式以防止照射光干涉的操作模式下操作的操作示例。
[0206]
如图11所示，测距设备21a和测距设备21b是发光侧测距设备21，并且测距设备21e是光接收侧测距设备21。
[0207]
测距设备21a以光发射模式a发射照射光。测距设备21b以光发射模式b发射照射光。光接收侧测距设备21e与测距设备21b的光发射模式b同步地执行光接收操作，使得光接收侧测距设备21e可以接收由测距设备21b发射的照射光产生的反射光，同时防止照射光的干涉。来自测距设备21b的待接收光的光发射图案可以从指示光发射图案并且作为光源信息的一部分的光发射图案信息确认。
[0208]
重新参照图10，时间同步部50在发射脉冲光的测距设备21与接收脉冲光的测距设备21之间交换时间戳，并且以高精度实现时间同步。例如，通过使用诸如ptp(精确时间协议)等协议，时间同步部50以不影响位于远程位置的光源和传感器处的光的发射和接收的精度实现时间同步。替代地，时间同步部50可以采用例如利用无线通信实现多个相机的快门定时之间的同步的方法，所述方法披露于“sameer ansari；neal wadhwa；rahul garg；jiawen chen，“wireless software synchronization of multiple distributed cameras”，2019 ieee international conference on computational photography,iccp 2019”中，以实现时间同步。
[0209]
定时控制部51基于从时间同步部50等提供的时间信息生成开始定时控制信息，并且将开始定时控制信息提供给激光驱动器46和tof传感器52。
[0210]
tof传感器52接收从同一测距设备21或单独的测距设备21的激光发射部47发射并且被对象反射的照射光所产生的反射光，生成分量的图像信号，并且向信号处理部53提供此图像信号。在需要的情况下，从光源信息获取部48向tof传感器52提供一部分光源信息。
[0211]
tof传感器52基于与从操作模式设置部45提供的操作模式相对应的光发射脉冲信号、从光源信息获取部48提供的光源信息，以及从定时控制部51提供的开始定时控制信息来控制像素阵列部中的像素的曝光，并且将0度相位、90度相位、180度相位或270度相位的图像帧提供给信号处理部53。在从光源信息获取部48向tof传感器52提供光源校准数据的
情况下，tof传感器52执行校正循环误差的校正处理，并且计算每个相位的图像帧。
[0212]
信号处理部53从tof传感器52获取0度相位、90度相位、180度相位和270度相位的图像帧。此外，信号处理部53从光源信息获取部48获取关于所接收的反射光的调制频率等的信息。
[0213]
之后，对于每个像素，信号处理部53基于所获取的四个相位的图像帧以及关于所获取的调制频率等的信息，使用上述表达式(3)计算从测距单元3到对象24的距离(深度值)d。信号处理部53生成深度图像，其中从测距单元3到对象24的距离d被存储为像素的像素值，距离d是针对相应像素计算的，并且将深度图像输出到后级的单元或块。
[0214]
在测距设备21包括光源2和测距单元3这两者的情况下，即在测距设备21具备发光功能和光接收功能这两者的情况下，测距设备21具有目前所解释的配置。
[0215]
应注意，在测距设备21仅具有光发射功能或光接收功能中的一者的情况下，适当地省略仅对光发射功能或光接收功能而言必要的块。
[0216]
具体地，在测距设备21仅具有发射照射光的功能的情况下，例如，与测距设备21a相似，测距设备21的功能方框图如图14所示。
[0217]
另一方面，在测距设备21仅具有接收反射光的功能的情况下，例如与测距设备21c相似，测距设备21的功能方框图如图15所示。
[0218]
《4.测距设备的处理流程》
[0219]
接下来，将说明用于实现与从具有发光功能的测距设备21，具体而言，测距设备21a、测距设备21b以及测距设备21d的每个光源2输出的脉冲光实现频率同步和相位同步的控制。作为与具有发光功能的测距设备21中的每一者实现频率同步和相位同步的结果，自由选择的测距设备21的测距单元3接收从单独的测距设备21的光源2发射的照射光，从而可以测量距离自由选择的对象24的距离。
[0220]
首先，将参照图16中的流程图说明发射脉冲光的光发射侧测距设备21中的发光控制处理。例如，该处理在光发射侧测距设备21被开启时开始。
[0221]
需要注意的是，关于测距设备21的先前测得位置(相对位置)的信息作为光源信息存储在测距设备21的存储器49中的条件是由发光侧测距装设备21所执行的图16中的发光控制处理以及由光接收侧测距设备21所执行的图17中的光接收控制处理的先决条件。
[0222]
首先，在步骤s1中，通信模块42通过网络23或直接与接收从光发射侧测距设备21发射的脉冲光的光接收侧测距设备21建立无线通信连接。例如，在ieee(电气和电子工程师协会)802.11标准化的无线lan(局域网)中，通过称为csma/ca(载波侦听多路访问/冲突避免)的机制获得传输机会，从而建立与通信伙伴的连接，其中此机制是避免终端之间相互干扰的机制。
[0223]
在无线通信连接期间，通信模块42的同步时钟生成部61基于从时钟源41提供的主时钟而生成传输信号，并且经由天线43发送此传输信号。此外，同步时钟生成部61生成与传输信号的频率(载波频率或调制频率)对应的同步时钟信号，并且将此同步时钟信号提供给参考时钟生成部44。
[0224]
在步骤s2中，时间同步部50与接收脉冲光的光接收侧测距设备21交换时间戳，并且实现高精度的时间同步。关于同步时间的信息被提供给定时控制部51。
[0225]
在步骤s3中，光源信息获取部48从存储器49获取光源信息，并且将光源信息提供
给信号发送/接收部62。
[0226]
在步骤s4中，通信模块42的信号发送/接收部62通过预定编码方法对待发送的数据进行编码，并且将编码后的数据提供给同步时钟生成部61。例如，待发送的数据包括光源信息获取部48提供的光源信息中包括的唯一id、光发射时间、光发射开始时间信息、操作模式等中的至少一者。此外，信号发送/接收部62将操作模式提供给操作模式设置部45。
[0227]
在步骤s5中，参考时钟生成部44基于从同步时钟生成部61提供的同步时钟信号而生成参考时钟信号，并且将参考时钟信号提供给操作模式设置部45。
[0228]
在步骤s6中，操作模式设置部45利用从参考时钟生成部44提供的参考时钟信号，生成与从信号发送/接收部62提供的操作模式相对应的光发射脉冲信号，并且向激光驱动器46提供光发射脉冲信号。
[0229]
在步骤s7中，定时控制部51基于从时间同步部50等提供的时间信息生成开始定时控制信息，并且将开始定时控制信息提供给激光驱动器46。
[0230]
在步骤s8中，激光驱动器46在基于开始定时控制信息的预定定时向激光发射部47提供驱动信号。
[0231]
在步骤s9中，根据从激光驱动器46提供的驱动信号，以预定周期重复激光发射部47的光发射的接通和关断。
[0232]
因此，完成发光控制处理。
[0233]
接下来，参照图17中的流程图来说明接收脉冲光的光接收侧测距设备21的光接收控制处理。例如，该处理在光接收侧测距设备21被开启时开始。
[0234]
首先，在步骤s21中，通信模块42通过网络23或直接与发射脉冲光的光发射侧测距设备21建立无线通信。
[0235]
通信模块42的同步时钟生成部61通过对通过无线通信连接经由天线43接收的传输信号执行同步处理来生成对应于数据传输时间的同步时钟信号的信号，并且将所生成的信号提供到参考时钟生成部44。结果，基于以发光侧的一个时钟源41为参考的同步时钟信号来控制光接收侧的操作，并且在光发射侧和光接收侧之间实现频率同步。
[0236]
在步骤s22中，时间同步部50与发射脉冲光的光发射侧测距设备21交换时间戳，并且实现高精度的时间同步。关于同步时间的信息被提供给定时控制部51。
[0237]
在步骤s23中，信号发送/接收部62解调从同步时钟生成部61提供的信号，并且获取所发送的数据。信号发送/接收部62将例如从所接收的信号获取的操作模式提供给操作模式设置部45，并且将剩余的光源信息提供给光源信息获取部48。
[0238]
在步骤s24中，光源信息获取部48使存储器49存储从信号发送/接收部62获取的光源信息，并且进一步将光源信息的一部分提供给tof传感器52和信号处理部53。
[0239]
在步骤s25中，参考时钟生成部44基于从同步时钟生成部61提供的同步时钟信号而生成参考时钟信号，并且将参考时钟信号提供给操作模式设置部45。
[0240]
在步骤s26中，操作模式设置部45利用从参考时钟生成部44提供的参考时钟信号，生成与从信号发送/接收部62提供的操作模式相对应的光发射脉冲信号，并且向tof传感器52提供光发射脉冲信号。
[0241]
在步骤s27中，tof传感器52基于光发射脉冲信号接收由预定对象24反射的反射光，并且信号处理部53基于光接收结果而检测来自单独的测距设备21的照射光的相位差，
并且进行相位匹配。
[0242]
即使当实现频率同步时，由相应测距设备21施加的光发射脉冲的定时彼此略微偏离。因此，需要补偿相位差。
[0243]
例如，测距设备21b发射来自测距设备21b的光源2的照射光，如图18所示，并且获取对象24上的点f在光源坐标系中的三维位置。
[0244]
接下来，为了防止照射光的干涉，例如，测距设备21b接收从测距设备21a的光源2以时分方式发射并且被对象24上的点f反射的照射光而生成的反射光，并且基于光接收结果获取距离d
afb
。在此，所获取的距离d
afb
由下式表示。
[0245]
[数学计算7]
[0246][0247]
即，距离d
afb
等于从测距设备21a到对象24上的点f的距离|v
af
|、从对象24上的点f到测距设备21b的距离|v
fb
|，以及对应于测距设备21a的光源2与测距设备21b的相位的相位偏差的距离c
ab
的总值。此处，v
af
表示从测距设备21a到对象24的点f的向量，并且v
fb
表示从对象24上的点f到测距设备21b的向量。应注意，在本说明书中将省略指示向量的符号(图18中置于v
af
和v
fb
上方的箭头符号(
→
))。|v|表示向量v的绝对值。
[0248]
信号处理部53利用光速将距离c
ab
变换为相位偏差t
ab
。之后，通过无线通信发出用于使测距设备21a的光源2的相位偏移相位偏差量t
ab
的命令，从而可以补偿测距设备21a与21b之间的相位差。
[0249]
因此，完成光接收控制处理。
[0250]
根据光发射侧测距设备21中的光发射控制处理以及光接收侧测距设备21中的光接收控制处理，光接收侧测距设备21可以通过对光发射侧通过无线通信发送的传输信号执行同步处理，与光发射侧测距设备21所生成的同步时钟信号进行频率同步。随后，实现时间同步，并且生成用作光发射定时和光接收定时的参考时钟的参考时钟信号。
[0251]
即，光发射侧测距设备21的光发射定时以及光接收侧测距设备21的光接收定时均基于光发射侧的一个时钟源41进行控制。
[0252]
因此，即使当光发射侧测距设备21和光接收侧测距设备21分别位于远处位置时，也能够实现激光发射部47(光源)和tof传感器52之间的频率同步。相应地，可以减少距离测量结果的误差。
[0253]
在存在多个发射脉冲光的测距设备21，并且三个或更多个测距设备21同时以(1)时分模式、(2)调制频率模式和(3)光发射图案模式中的任何一种操作模式操作的情况下，如图11到图13所示，测距设备21均与测距设备21中的任一者的时钟源41的主时钟同步地生成同步时钟信号或参考时钟信号。
[0254]
需要注意的是，在操作模式被设置为调制频率模式或光发射图案模式的情况下，频率同步是必要的，而时间同步是不必要的。
[0255]
此外，根据上述光接收控制处理，可以检测出光发射侧测距设备21与光接收侧测距设备21之间的相位差，并且可以补偿相位差。
[0256]
在测距系统11中，构建了实现来自各自均具有发光功能的多个测距设备21的光发射脉冲的频率同步和相位同步的状态。因此，例如，安装在移动运载车辆22上的测距设备
21e的测距单元3可以基于从多个测距设备的光源2发射的照射光来测量距离自由选择的对象24的距离。下文将说明安装在运载车辆22上的测距设备21e的测距单元3测量距离自由选择的对象24的距离的方法。
[0257]
光发射侧测距设备21和光接收侧测距设备21可以通过无线通信发送和接收光源信息。可以作为光源信息发送和接收的信息的示例包括唯一id、光发射时间、光发射开始时间信息、重复频率、调制频率、分量长度、测距设备的位置和姿态、帧长度、光源的波长、光发射模式、光源校准数据、操作模式等，如前所述。但是，并非需要发送和接收所有类型的信息。信息的某些部分可以作为固定数据预先存储在存储器49中。
[0258]
在光发射侧和光接收侧设有单独的测距设备21的情况下，作为单独设备的光接收侧测距设备21可能难以预先保留光源校准数据。在此情况下，光源校准数据作为光源信息的一部分从光发射侧发送到光接收侧，使得光接收侧能够精确地检测相位差。
[0259]
《5.第一实施例的修改》
[0260]
在上述第一实施例中，构成测距系统11的多个测距设备21被配置成实现同步时钟信号和参考时钟信号与任一测距设备21的时钟源41的同步。
[0261]
但是，除了构成测距系统11的多个测距设备21之外的设备的时钟源可以用作测距设备21与其实现同步的时钟源。
[0262]
例如，诸如gps(全球定位系统，global positioning system)、glonass(全球导航卫星系统，global navigation satellite system)、galileo或准天顶卫星系统(qzss)的全球导航卫星系统(gnss)的信号(以下称gnss信号)具备输出高精度时钟信号和高精度时间信息的功能。构成测距系统11的多个测距设备21可以均被配置成接收gnss信号并且实现与从gnss信号获取的相同时钟信号和时间信息的同步。
[0263]
图19是基于gnss信号实现时间同步的测距设备21’的方框图。
[0264]
图19中对应于图10中的相应元件的部分用相同的附图标记表示并且适当省略其说明。
[0265]
图19示出两个测距设备21’，其中每个测距设备均具有光发射功能和光接收功能。之后，作为两个测距设备21’中的一者的测距设备21
’‑
1被设置在光发射侧，并且作为两个测距设备21’中的另一者的测距设备21
’‑
2被设置在光接收侧。具备相同配置的测距设备21’各自根据例如预定设置信息(光源信息)作为光发射测和光接收侧操作。
[0266]
测距设备21’包括gnss接收部81、时间信息设置部82、参考时钟生成部44、操作模式设置部45、激光驱动器46、激光发射部47、光源信息获取部48、存储器49、时间同步部50、定时控制部51、tof传感器52和信号处理部53。
[0267]
换言之，测距设备21’是通过修改图10中的测距设备21以包括gnss接收部81和时间信息设置部82来替代时钟源41、通信模块42和天线43的方式而获得的。
[0268]
gnss接收部81从gnss卫星83接收gnss信号，并且将gnss信号提供给时间信息设置部82和参考时钟生成部44。
[0269]
时间信息设置部82从gnss接收部81提供的gnss信号中获取高精度时间信息，并且根据标准时间进行时间设置。
[0270]
参考时钟生成部44从gnss信号中提取时钟信号，基于此时钟信号生成用作激光发射部47的光发射参考的参考时钟信号，并且将此参考时钟信号提供到操作模式设置部45。
[0271]
存储器49存储光源信息，并且在需要时将光源信息提供给光源信息获取部48。存储在存储器49中的光源信息包括相应测距设备21’作为光发射侧或光接收侧操作所需的信息。例如，关于光发射侧测距设备21’的操作模式、光发射图案、光源校准数据等的数据预先存储在光接收侧测距设备21
’‑
2的存储器49中。
[0272]
由于测距设备21’具有上述配置，因此可以使用与光发射侧测距设备21’、光接收侧测距设备21’分开的另一设备(gnss卫星83)的时钟源实现发光定时和光接收定时同步。即，可以实现光发射侧的激光发射部47与光接收侧的tof传感器52之间的频率同步。相应地，可以减少距离测量结果的误差。
[0273]
在上述修改中，接收gnss信号，基于接收到的gnss信号实现时间与时钟的同步，并且由于该发送和接收是预先设置的，因此不额外执行关于光源信息等的数据发送和接收。但是，可以通过诸如wifi(注册商标)或蓝牙(注册商标)等另一无线通信来发送和接收关于光源信息等的数据。
[0274]
需要说明的是，除上述gnss信号之外，还可以使用uwb(超宽带，ultra wide band)通信的无线信号作为输出高精度时钟信号和高精度时间信息的信号。在这种情况下，测距设备21’的gnss接收部81用作接收uwb(超宽带)通信的无线信号的uwb接收部81。
[0275]
此外，在图19中，光发射侧测距设备21’和光接收侧测距设备21’具有相同的配置，并且每个测距设备21’可以被设置成光发射侧或光接收侧。但是，在测距设备21’限于光发射侧或光接收侧的情况下，可以省略其不必要的部分，如图14和图15所示。
[0276]
《6.测距系统的第二实施例》
[0277]
图20示出根据本公开第二实施例的测距系统的配置示例。
[0278]
根据图20中的第二实施例的测距系统11包括多个无人机101。每个无人机101是配备有多个旋翼的移动飞行体。每个无人机101包括测距设备，该测距设备包括光源2和测距单元3。
[0279]
为了便于说明，假设测距系统11包括两个无人机101a和101b，如图20所示，尽管测距系统11可以包括三个或更多个无人机101。无人机101a和101b具有相同的配置，并且各自具有不同的唯一id以识别各自的无人机机身。例如，无人机101a的唯一id是“0”(id0)，并且无人机101b的唯一id是“1”(id1)。
[0280]
无人机101a以预定的调制频率向无人机101b施加照射光，并且进一步接收从无人机101b施加的照射光。此外，无人机101b以预定的调制频率向无人机101a施加照射光，并且进一步接收从无人机101a施加的照射光。
[0281]
与第一实施例的修改中相似，基于从gnss卫星102提供的gnss信号，控制用于无人机101a和101b的同步时钟信号和参考时钟信号彼此同步。
[0282]
无人机101a和101b相互报告由无人机101a和101b中的每一者测量的光传播时间或距离。因此，可以精确地测量距离对方无人机的距离(以下称为相对距离)。
[0283]
计算相对距离的原理将参考图21和图23进行说明。
[0284]
首先，如图21所示，无人机101a和101b均包括光源2和测距单元3。
[0285]
无人机101a的光源2以预定的调制频率向无人机101b施加照射光。此外，无人机101a的测距单元3接收从无人机101b的光源2施加的照射光。
[0286]
无人机101b的光源2以预定的调制频率向无人机101a施加照射光。此外，无人机
由表达式(10)表示。
[0307]
因此，可以通过表达式(11)获得已经去除了偏移δt
offset
的影响的精确光传播时间δtd。可以通过表达式(12)获得精确的相对距离d。
[0308]
《无人机的方框图》
[0309]
图24是关于整合在无人机101中的测距设备的方框图。
[0310]
图24中与图19中所示测距设备21’相对应的部分也用相同的附图标记表示，并且适当地省略其说明。
[0311]
无人机101(的测距设备)具有通过修改图19中的测距设备21’的配置以进一步包括imu 121、位置/姿态计算部122、通信部123和光源间距离计算部124而获得的配置。
[0312]
在第二实施例中，光源信息获取部48获取存储在存储器49中的光源信息(例如操作模式)，并且在适当情况下将此光源信息提供给操作模式设置部45、定时控制部51和信号处理部53等。
[0313]
imu 121被配置成检测无人机101的三轴方向上的角度(或角速度)和加速度，并且将指示检测结果的信号提供给位置/姿态计算部122。
[0314]
位置/姿态计算部122基于从imu 121提供的检测信号以及从gnss接收部81提供的位置信息来检测无人机101的位置和姿态，并将位置和姿态提供给通信部123和光源间距离计算部124。位置/姿态计算部122可以检测无人机101的位置和姿态中的一者。
[0315]
需要注意的是，imu 121不是必不可少的部分，因此可以省略。在这种情况下，位置/姿态计算部122基于从gnss接收部81提供的位置信息来检测无人机101的位置和姿态。此外，可以设有一不同类型的传感器(例如磁传感器或压力传感器)以替代imu 121，从而基于由传感器获得的检测信号来检测无人机101的位置和姿态。替代地，可以提供imu 121和磁传感器这两者等。
[0316]
信号处理部53包括深度图像生成部141和外部调制光源检测部142。
[0317]
深度图像生成部141生成深度图像，在深度图像中距离对方无人机101的距离d，即，针对每个像素计算的距离d，被存储为像素的像素值。所生成的深度图像被提供给通信部123和光源间距离计算部124。
[0318]
外部调制光源检测部142检测发射光的对方无人机101的光源2(激光发射部47)的位置(光源位置)。
[0319]
在间接tof方法中，外部调制光源检测部142使用置信度图像(在置信度图像中，将指示光强度的置信度值存储为每个像素的像素值)来检测光源的位置。
[0320]
图25示出当无人机101a观察无人机101b时获得的置信度图像的示例，以及当无人机101b观察无人机101a时获得的置信度图像的示例。
[0321]
外部调制光源检测部142检测其像素值(置信度值)等于或大于预先决定的阈值、并且是置信度图像中的最高像素的像素的位置，作为光源位置。
[0322]
相反，在直接tof方法中，外部调制光源检测部142检测具有生成的直方图的峰值的像素的位置作为光源位置，其中所述峰值等于或大于预先决定的阈值并且是最高的。
[0323]
无人机101a和无人机101b可以以时分方式发光，从而分别执行光发射操作和光接收操作。替代地，在无人机101a和无人机101b周围没有对象的环境中，例如在除无人机101以外的背景为天空的情况下，无人机101a和无人机101b可以同时发射光和接收光。
[0324]
之后，信号处理部53将外部调制光源检测部142检测到的光源位置以及在光源位置处检测到的距离d1提供给通信部123和光源间距离计算部124。
[0325]
例如，通信部123通过无线通信(例如wifi(注册商标)、蓝牙(注册商标))或通常称为4g或5g线路的移动体通信，与对方无人机101通信。通信部123将信号处理部53获得的对方无人机101的光源位置以及距离对方无人机101的距离d1以及位置/姿态计算部122检测到的大致自身位置通过无线通信发送到对方无人机101。此外，通信部123接收对方无人机101检测到的光源位置和距离d2，并将光源位置和距离d2提供给光源间距离计算部124。
[0326]
光源间距离计算部124从通信部123获取通过无线通信从对方无人机101接收到的光源位置、距离d2和大致位置。此外，光源间距离计算部124从信号处理部53获取通过自身测量检测到的距离对方无人机101的距离d1以及对方无人机的光源位置。通过利用自身测量获得的距离d1以及对方无人机101测量的距离d2，光源间距离计算部124计算去除了上述偏移δt
offset
的影响的精确相对距离d。此外，光源间距离计算部124利用位置/姿态计算部122检测到的大致自身位置和自身姿态来提高相对距离d的精度。
[0327]
图26是用于说明使用由位置/姿态计算部122检测到的大致自身姿态来提高相对距离d的精度的处理的图解。
[0328]
基于针孔摄像头的原理，从置信度图像中检测到的光源位置获得对方无人机101的方向。另外，使用距离对方无人机的自测距离d1以及从对方无人机101发送的距离d2来获得精确的相对距离d。
[0329]
在这种情况下，由于绕视线方向旋转的任意性，位置和姿态不是唯一确定的，如图26中的a所示。
[0330]
因此，利用由imu 121获得的检测结果，可以识别tof传感器52上的重力方向，如图26中的b所示。相应地，imu 121获得的检测结果用于消除任意性。即，无人机101a的tof传感器52观察到的图像和无人机101b的tof传感器52观察到的图像这两者可以用于基于imu 121获得的检测结果唯一地确定相对位置和姿态。在设置磁传感器代替imu 121的情况下，由于磁传感器还可以检测无人机101a和无人机101b的共同方位角，因此可以确定相对位置和姿态。
[0331]
由于使用由imu 121检测到的无人机101的姿态(倾斜度)替代由无人机101a和无人机101b相互报告各自的距离d获得的高精度距离d，因此提高相对位置和姿态的精度。
[0332]
图27是用于说明利用位置/姿态计算部122检测到的大致自身位置以及对方无人机101发送的对方无人机101的大致位置来提高相对距离d的精度的处理的图解。
[0333]
在间接tof方法中，可测量的距离d受调制频率的限制。例如，在调制频率为20mhz的情况下，1个相位周期对应于15m左右。如图27所示，对于15m的相对距离d检测到的相位差等于对于30m的相对距离检测到的相位差。因此，无法区分15m的距离和30m的距离。
[0334]
作为对此的对策，可以利用位置/姿态计算部122检测到的无人机101的大致自身位置以及从对方无人机101发送的对方无人机101的大致位置来判断相对距离d是15m还是30m。即，通过使用位置/姿态计算部122检测到的粗略自身位置，可以增加相对距离d的精度。
[0335]
需要说明的是，为确定相对距离d是15m还是30m，可以采用设置多个调制频率，并且在相应调制频率下的测量结果得到的公共距离中确定最终距离的方法。
[0336]
《相对距离测量处理的处理流程》
[0337]
接下来，将参照图28中的流程图解释用于测量无人机101之间的相对距离的处理。例如，在无人机101开始飞行之后开始该处理。
[0338]
首先，在步骤s41中，gnss接收部81从gnss卫星83接收gnss信号，并且将gnss信号提供给时间信息设置部82和参考时钟生成部44。时间信息设置部82从gnss接收部81提供的gnss信号中获取高精度时间信息，并且根据标准时间进行时间设置。参考时钟生成部44从gnss信号中提取时钟信号，基于该时钟信号生成参考时钟信号，并且将该参考时钟信号提供给操作模式设置部45。此外，gnss接收部81将从gnss信号获取的位置信息提供给位置/姿态计算部122。
[0339]
在步骤s42中，位置/姿态计算部122基于从imu 121提供的检测信号以及从gnss接收部81提供的位置信息来检测无人机101的位置和姿态，并将位置和姿态提供给通信部123和光源间距离计算部124。在省略了imu 121的情况下，位置/姿态计算部122仅基于从gnss接收部81提供的位置信息来检测无人机101的位置和姿态。
[0340]
在步骤s43中，定时控制部51基于从时间设置部82等提供的高精度时间信息生成开始定时控制信息，并且将开始定时控制信息提供给激光驱动器46和tof传感器52。
[0341]
在步骤s44中，操作模式设置部45利用从参考时钟生成部44提供的参考时钟信号，生成与从光源信息获取部48提供的操作模式相对应的光发射脉冲信号，并且向激光驱动器46和tof传感器52提供光发射脉冲信号。
[0342]
在步骤s45中，激光驱动器46在基于开始定时控制信息的预定定时生成驱动信号并且向激光发射部47提供此驱动信号。
[0343]
在步骤s46中，根据从激光驱动器46提供的驱动信号，以预定周期重复激光发射部47的光发射的接通和关断。
[0344]
在步骤s47中，tof传感器52基于从定时控制部51提供的开始定时控制信息以及从操作模式设置部45提供的参考时钟信号接收从对方无人机101施加的照射光，依次生成0度相位、90度相位、180度相位和270度相位的图像帧，并且将图像帧提供给信号处理部53。
[0345]
在步骤s48中，信号处理部53的深度图像生成部141生成其中在每个像素中计算的距离对方无人机101的距离d1被存储为像素的像素值的深度图像，并且将深度图像提供到通信部123和光源间距离计算部124。
[0346]
在步骤s49中，外部调制光源检测部142检测正在发射光的对方无人机101的光源2(激光发射部47)的位置(光源位置)，并且将检测到的位置提供给通信部123和光源间距离计算部124。
[0347]
在步骤s50中，通信部123将信号处理部53获得的距离对方无人机101的距离d1以及对方无人机101的光源位置以及位置/姿态计算部122检测到的大致自身位置通过无线通信发送到对方无人机101。此外，通信部123接收对方无人机101检测到的光源位置和距离d2以及对方无人机101的大致位置，并且将光源位置、距离d2和大致位置提供到光源间距离计算部124。
[0348]
在步骤s51中，光源间距离计算部124计算相对于对方无人机101的精确相对距离d。具体而言，光源间距离计算部124利用位置/姿态计算部122检测到的粗略自身姿态来识别重力方向，并且获得相对位置和姿态。此外，光源间距离计算部124从通信部123获取通过
无线通信从对方无人机101接收的光源位置、距离d2和大致位置。进一步地，利用自检测得到的距离对方无人机101的距离d1以及从对方无人机101发送的距离d2，光源间距离计算部124计算去除了偏移δt
offset
的影响的精确相对距离d。此外，光源间距离计算部124利用通过自身检测获得的粗略位置以及由对方无人机101检测到的粗略位置来提高相对距离d的精度。
[0349]
至此，相对距离测量处理完成。无人机101a和101b并行地执行上述相对距离测量处理。
[0350]
根据上述相对距离测量处理，将自测得到的距离d1(或d2)相互报告，从而计算出精确的距离d。
[0351]
在第二实施例中，通过基于接收到的无线信号实现同步，从而实现无人机101a和101b之间的频率同步，与第一实施例相同。但是，可以采用如ptl 1中公开的利用主无人机101的反射光(主照射光)实现频率同步的方法。
[0352]
《7.测距系统的第三实施例》
[0353]
图29示出根据本公开第三实施例的测距系统的配置示例。
[0354]
根据图29中的示例中的第三实施例的测距系统11包括多个测距设备201。在图29中，测距系统11包括作为测距设备201a到201e的五个测距设备201。但是，测距设备201的数量不限于五个，并且可以提供任意数量的测距设备201。
[0355]
在第三实施例中，四个测距设备201a到201d均包括光源2和测距单元3，并且固定到上侧(例如天花板)。另一方面，测距设备201e仅包括测距单元3，并且设置在例如地面上的位置，在该位置处，测距设备201e可以接收从四个测距设备201a到201d施加的照射光或其反射光。
[0356]
均包括光源2和测距单元3的测距设备201a到201d的配置与图10所示的第一实施例的配置类似。仅包括测距单元3的测距设备201e的配置与图15所示的第一实施例的配置类似。因此，省略对这些配置的解释。
[0357]
在第三实施例中，仅包括测距单元3的测距设备201e通过接收从固定在天花板等上的多个(四个)测距设备201a到201d施加的照射光来计算距离对象202的距离的处理进行说明。
[0358]
图30是用于说明根据第三实施例的测距系统11中的距离计算处理的流程图。
[0359]
首先，在步骤s61中，测距设备201a到201e均建立用于无线通信的连接。然后，测距设备201a到201e彼此交换时间戳以实现高精度的时间同步。
[0360]
在步骤s62中，测距设备201a到201e各自从对应测距设备201的存储器49中读出光源信息，并且通过无线通信将光源信息发送到其他测距设备201。因此，关于测距设备201a到201e的光源信息是共享的。
[0361]
在步骤s63中，测距设备201a到201e各自根据通过检测来自主测距设备201(例如，测距设备201a)的传输信号所生成的同步时钟信号而生成参考时钟信号，并且生成对应于操作模式的光发射脉冲信号。
[0362]
在步骤s64中，固定到天花板的测距装设备201a到201d均基于相应的光发射脉冲信号而发射光和接收光。具体而言，测距设备201a到201d的光源2(激光发射部47)根据光发射脉冲信号而发射光，并且测距单元3(tof传感器52)根据光发射脉冲信号接收反射光，并
且依次生成0度相位、90度相位、180度相位、270度相位的图像帧。
[0363]
在步骤s65中，固定在天花板上的测距设备201a到201d分别计算测距设备201a到201d自身的位置和姿态。换言之，测距设备201a到201d各自计算相对于其他测距设备201的相对位置和姿态。
[0364]
将说明步骤s65中的处理。测距设备201a到201d中的每一者是测量距离对象的距离d的深度相机。因此，利用测距设备201a到201d，可以在相机坐标系中获得对象的三维位置。
[0365]
通过相机观察三维点来获得已知三维点与相机的相对位置和姿态的方法被公共地称为pnp(perspective-n-point)。通过使用pnp，测距设备201a到201d中的每一者计算测距设备201自身相对于其他测距设备201的相对位置和姿态。
[0366]
例如，通过接收从已知对象202返回的反射光，测距设备201a获取对象202上特征点的坐标值。类似地，通过接收从已知对象202返回的反射光，测距设备201b还获取对象202上的特征点的坐标值。利用测距设备201a和201b获得的特征点的坐标值以及已知三维点的坐标值，解决pnp问题。因此，计算测距设备201a和201b的相对位置和姿态。
[0367]
替代地，解决优化问题，使得测距设备201a和201b的周围环境形状之间的差异变得最小，从而可以获得测距设备201a和201b的相对姿态。这种方法被称为icp(迭代临界点，iterative clisest point)。例如，icp在“digital image processing[修订版]，computer graphic arts society”和szymon.r和marc.l，“efficient variants of the icp algorithm”，proceedings third international conference on 3-d digital imaging and modeling，2001，第145-152页中有所描述。
[0368]
以上述方式，测距设备201a到201d各自计算相对位置和姿态。结果，获得了所有测距设备201a到201d的位置和姿态中的相对关系。
[0369]
在步骤s66中，固定在天花板上的测距设备201a到201d分别检测照射光的相位差，进行相位匹配。
[0370]
正如先前在图22中描绘的第二实施例中所解释的，即使在实现频率同步时，从测距设备201施加的光发射脉冲的定时也彼此略微偏离。因此，需要校准相位差。
[0371]
具体地，测距设备201a和201b各自将照射光施加到物理上位于相同位置的对象202，并接收反射光，如图31所示。
[0372]
当从测距设备201a和201b施加的光发射脉冲的偏差(相位差)定义为δt
offset_12
时，由以下表达式(13)获得测距设备201a发射的光被测距设备201b接收所花费的时间。
[0373]
δt1→2＝δtd δt
offset_12
...(13)
[0374]
另一方面，通过以下表达式(14)获得测距设备201b发射光被测距设备201a接收到所花费的时间。
[0375]
δt2→1＝δt
d-δt
offset_12
...(14)
[0376]
因此，从测距设备201a和201b施加的光发射脉冲的偏差(相位差)δt
offset_12
可以通过以下表达式(15)获得。
[0377]
δt
offset_12
＝(δt1→
2-δt2→1)/2...(15)
[0378]
以上述方式，检测测距设备201a到201d的每个光源2中的相位差，并且调节测距设备201a到201d的照射光相位，以便不产生相位差。应注意，考虑相位差的计算可以在稍后阶
段信号处理中进行，而不是调整照射光相位。
[0379]
在步骤s67中，仅包括测距单元3的测距设备201e的tof传感器52接收由每个测距设备201a至201d发射的照射光产生并且被对象202反射的反射光，其中测距设备固定到天花板。由于步骤s66，由测距设备201a到201d发射的照射光的频率和相位同步。另外，由于可以共享光源信息，因此可以识别出在测距设备201a到201d中，从其发射所接收的反射光的测距设备。
[0380]
在步骤s68中，测距设备201e的信号处理部53基于从每个测距设备201a到201d接收的反射光的相位差计算距离对象202的距离。稍后将说明用于计算到对象202的距离的方法。
[0381]
在上述距离计算处理中，当关于从固定到天花板的测距设备201a到201d施加的照射光的光源信息已经已知并且当实现相位同步和频率同步时，检测从测距设备201a到201d施加的照射光的相位差，进而能够计算测距设备201e的位置和姿态。这类似于基于gnss信号中的差异计算自身位置的情况，例如，测距设备201a到201d被视作gnss卫星。
[0382]
在第三实施例中，通过基于接收到的无线信号实现同步，从而实现无人机101a和101b之间的频率同步，与第一实施例相同。但是，可以采用如ptl 1中公开的利用主测距设备201的反射光(主照射光)实现频率同步的方法。
[0383]
《8.涉及从多个光源接收反射光的距离计算方法》
[0384]
在上述第一实施例中，例如，测距设备21e的测距单元3接收由从测距设备21a的光源2发射并且被对象24反射的照射光所产生的反射光，以及由从测距设备21b的光源2发射并且被对象24反射的照射光所产生的反射光，从而可以测量到对象202的距离。
[0385]
在上述第三实施例中，例如，测距设备201e的测距单元3接收由从测距设备201b的光源2发射并且被对象202反射的照射光产生的反射光，以及由从测距设备201d的光源2发射的照射光并且被对象202反射所产生的反射光，从而可以测量到对象202的距离。
[0386]
在下文中，将说明通过接收从多个光源2施加并且被预定对象反射的照射光的反射光来计算到预定对象的距离的方法。
[0387]
出于说明目的，假设包括三个光源a到c、对象301和测距单元302的系统装置，如图32所示。点d是对象301上针对从光源a到c施加的脉冲光的反射位置。点o是作为测距单元302的坐标系的摄像机坐标系的原点。
[0388]
例如，光源a到c对应于第一实施例中的测距设备21a、21b和21d的光源2，以及例如，对应于第三实施例中的测距设备201a、201b和201d的光源2。对象301对应于第一实施例中的对象24，以及对应于第三实施例中的对象202。测距单元302对应于第一实施例中的测距设备21e的测距单元3，以及对应于第三实施例中的测距设备201e的测距单元3。
[0389]
如图32所示，三个光源a到c分别位于位置e1、e2、e3中。光源a到c在光源坐标系中的相对位置已经已知，但是三个光源a到c所处的位置是未知的。测距单元302相对于光源a到c的相对位置是未知的。测距单元302可以基于从光源a到c发送的无线信号建立频率同步，但相位偏差仍然存在。
[0390]
测距单元302利用基于由从光源a到c发出的并且被对象301反射的照射光所产生的反射光来计算距离(从光源a至c到测距单元302)。来自光源a至c到测距单元302的距离由以下表达式(16)表示。
[0391]
[数学计算10]
[0392][0393][0394][0395]
在表达式(16)中，ud＝(ud,vd)表示对象301上的点d投射到的像素位置，obs(ud,e1)表示当位置e1处的光源a发射光时在测距单元302的像素阵列的像素位置ud处观察到的距离，obs(ud,e2)表示当位置e2处的光源b发射光时在测距单元302的像素阵列的像素位置ud处观察到的距离，obs(ud,e3)表示当位置e3处的光源c发射光时在像素位置ud处观察到的距离，|od|表示将测距单元302连接到对象301的向量的幅度(距离)，|dek|表示将位置ek(k＝1,2或3)处的每个光源连接到对象301上的反射位置的向量的幅度(距离)，并且c表示对应于由光源a到c与测距单元302之间的时钟相位偏差引起的距离测量误差的偏移项。
[0396]
应注意，上述表达式(16)中的向量符号(箭头符号(
→
))表示从某个坐标系(例如光源坐标系)的原点开始的向量。在本说明书中表达式的说明中，省略了向量符号。应注意，在下文中的本说明书中的说明中省略了向量符号。
[0397]
因此，测距单元302计算从三个光源a至c到测距单元302的三个计算表达式。表达式包括
[0398]
(a)测距单元302与对象301之间的距离数据|od|
[0399]
(b)对象301与每个光源a到c之间的距离数据|dek|，以及
[0400]
(c)偏移量，其对应于基于测距单元302的时钟(传感器时钟)与光源a到c的时钟(光源时钟)之间的相位差产生的距离测量误差。
[0401]
接下来，利用上述距离obs(ud,e1)、距离(ud,e2)和距离obs(ud,e3)，测距单元302在包括针对距离差的计算表达式的表达式(17)中产生联立方程，如图33所示。
[0402]
[数学计算11]
[0403][0404][0405][0406]
通过求解表达式(17)的联立方程式，测距单元302在光源坐标系中获得多个被摄物位置l
dk
(k＝1、2、3或4)，以及相应的像素位置ud。由于从摄像机坐标系观察的光源a到c的位置未知，因此在相机坐标系方面不能直接求解表达式(17)。然而，由于光源坐标系中的光源a到c的位置已经已知，因此可以根据光源坐标系来求解表达式(17)。
[0407]
当在光源坐标系方面求解表达式(17)的联立方程式时，可以获得光源坐标系中的多个被摄物位置l
dk
和相应的像素位置ud。应注意，多个被摄物位置l
dk
包括例如光源a到c的相应位置e1、e2和e3以及对象301上的表面位置。
[0408]
应注意，通常，如果在某个坐标系中的多个点之间的对应关系以及通过相机投射
点到的像素位置是已知的，则可以获得坐标系和相机坐标系之间的相对位置和姿态。也就是说，当求解一般称为pnp问题时，可以导出光源坐标系和相机坐标系之间的相对关系，并且光源坐标系中的被摄物位置可以转换为相机中的被摄物位置。
[0409]
作为该处理的结果，可以获得相机坐标系中的被摄物位置l
dk
以及相应像素位置ud。根据光源a到c的拍摄像素位置，可以在相机坐标系方面获得光源a到c的相应位置e1、e2和e3以及对象301上的表面位置。由于在相机坐标系方面获得在对象301上的表面位置，因此可以计算与对象301的距离。也就是说，可以计算测距单元302到对象301的距离。
[0410]
《9.tof传感器的配置》
[0411]
将说明tof传感器52的配置。
[0412]
图34示出tof传感器52的光接收部的配置示例。
[0413]
tof传感器52包括像素阵列部232，在该像素阵列部中，根据光接收量产生电荷并且输出与电荷对应的信号的像素231在矩阵形式的线方向以及行方向上是二维布置的。tof传感器52还包括设置在像素阵列部232的外围区域中的驱动控制电路233。
[0414]
驱动控制电路233基于光发射脉冲信号等输出用于控制像素231的驱动的控制信号(例如，稍后将描述的分配信号dimix、选择信号address decode、复位信号rst等)。
[0415]
每个像素231包括光电二极管251和检测在光电二极管251处具有经过光电转换的电荷的第一抽头252a和第二抽头252b。在每个像素231中，由一个光电二极管251产生的电荷被分配给第一抽头252a或第二抽头252b。之后，在由光电二极管251产生的电荷中，从信号线253a输出分配给第一抽头252a的电荷作为检测信号a，而分配给第二抽头252b的电荷作为检测信号b从信号线253b输出。
[0416]
第一抽头52a包括传输晶体管241a、fd(浮动扩散)部242a、选择晶体管243a和复位晶体管244a。以类似的方式，第二抽头252b包括传输晶体管241b、fd部242b、选择晶体管243b和复位晶体管244b。
[0417]
将说明每个像素231的操作。
[0418]
如图2所示，已经过调制以使得照射的接通和关断以1/f的频率重复的照射光从光源2输出，并且其反射光以与距对象的距离对应的延迟时间δt被光电二极管251接收。另外，利用分配信号dimix_a，控制传输晶体管241a的接通和关断，并且利用分配信号dimix_b，控制传输晶体管241b的接通/关断。在0度相位的执行定时，分配信号dimix_a是相位与照射光的相位(即，0度相位)相同的信号，并且分配信号dimix_b是作为分配信号dimix_a的逆的相位(即，180度相位)的信号。在90度相位的执行定时，分配信号dimix_a具有从照射光的相位移位90度的相位，并且分配信号dimix_b具有作为分配信号dimix_a的逆的相位(即，270度相位)。
[0419]
因此，在图34中，当传输晶体管241a被接通时，通过光电二极管251处的反射光反射产生的电荷根据分配信号dimix_a被传递到fd部242a，并且当传输晶体管241b被接通时，电荷根据分配信号dimix_b被传送到fd部242b。结果，在以1/f的频率循环地执行照射光的施加的预定时段期间，经由传输晶体管241a传送的电荷在fd部242a中依序累积，并且经由传输晶体管241b传送的电荷是在fd部242b中依次累积。
[0420]
之后，当在累积电荷的累积时段之后根据选择信号address decode_a接通选择晶体管243a时，通过信号线253a读出fd部242a中累积的电荷，并且从像素阵列部232输出对应
于读取电荷的量的检测信号a。以类似的方式，当根据选择信号address decode_b接通选择晶体管243b时，通过信号线253b读出fd部242b中累积的电荷，并且从像素阵列部232输出对应于读取电荷量的检测信号b。此外，当根据复位信号rst_a接通复位晶体管244a时，在fd部242a中累积的电荷被放电，并且当根据复位信号rst_b接通复位晶体管244b时，在fd部242b中累积的电荷被放电。
[0421]
以上述方式，在每个像素231中，通过光电二极管251接收的反射光产生的电荷根据延迟时间δt分配给第一抽头252a或第二抽头252b，并且输出检测信号a和检测信号b。处于0度相位的执行定时的检测信号a和检测信号b分别对应于图3中所示的0度相位的电荷q0以及180相位的电荷q
180
。处于90度相位的执行定时的检测信号a和检测信号b分别对应于图3中的90度相位的电荷q
90
以及270度相位的电荷q
270
。
[0422]
《10.应用于移动体》
[0423]
根据本公开(现有技术)的技术可以应用于各种产品。例如，根据本公开的技术可以实施为安装在任何类型的移动体上的装置，例如汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动性、飞机、无人机、船和机器人。
[0424]
图35是描绘作为可以应用根据本公开一个实施例的技术的移动体控制系统的示例的车辆控制系统的示意性配置的示例的方框图。
[0425]
车辆控制系统12000包括经由通信网络12001彼此连接的多个电子控制单元。在图35所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车体系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。此外，微型计算机12051、声音/图像输出部12052和车载网络接口(i/f)12053被示为集成控制单元12050的功能配置。
[0426]
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统相关的设备的操作。例如，驱动系统控制单元12010用作用于产生车辆驱动力的驱动力控制设备，例如内燃机、驱动电动机等，用于将驱动力传递到车轮的驱动力传递机构、用于调节车辆的转向角的转向机构、用于产生车辆制动力的制动设备等。
[0427]
车体系统控制单元12020根据各种程序来控制提供给车体的各种设备的操作。例如，车体系统控制单元12020用作无钥匙进入系统的控制设备、智能钥匙系统、电源窗口设备或各种灯，例如前照灯、备用灯、制动灯、转向信号、雾灯等。在这种情况下，可以向车体系统控制单元12020输入从移动设备发送的无线电波作为各种开关的钥匙或信号的替代。车体系统控制单元12020接收这些输入无线电波或信号，并且控制车辆的门锁设备、动力窗口设备、灯等。
[0428]
车外信息检测单元12030检测关于包括车辆控制系统12000的车辆外部的信息。例如，车外信息检测单元12030与成像部12031连接。车外信息检测单元12030使成像部12031对车辆外部的图像成像，并且接收成像图像。在接收图像的基础上，车外信息检测单元12030可以执行检测对象(例如人、车辆、障碍物、标志、道路表面标志等)的处理，或者检测与其之间的距离的处理。
[0429]
成像部12031是接收光的光学传感器，并且输出与接收的光的光量对应的电信号。成像部12031可以作为图像输出电信号，或者可以将电信号作为关于测得距离的信息输出。另外，由成像部12031接收的光可以是可见光，或者可以是非可见光(例如红外线等)。
[0430]
车内信息检测单元12040检测关于车辆内部的信息。车内信息检测单元12040例如与检测驾驶员的状态的驾驶员状态检测部12041连接。例如，驾驶员状态检测部12041包括对驾驶员进行成像的相机。在从驾驶员状态检测部12041输入的检测信息的基础上，车内信息检测单元12040可以计算驾驶员的疲劳程度或驾驶员的注意力程度，或者可以确定驾驶员是否困倦。
[0431]
微型计算机12051基于由车外信息检测单元12030或车内信息检测单元12040获得、关于车辆的内部或外部的信息来计算驱动力生成设备、转向机构或制动设备的控制目标值，并且将控制命令输出到驱动系统控制单元12010。例如，微型计算机12051可以执行用于实现高级驾驶员辅助系统(adas)的功能的协作控制，所述功能包括车辆的碰撞避免或减震、基于跟随距离的跟随驾驶、车速保持驾驶、车辆碰撞警告、车辆从车道偏离的警告等。
[0432]
此外，微型计算机12051可以执行用于自动驾驶的协作控制，进而使得车辆通过基于关于车外信息检测单元12030或车内信息检测单元12040获得、关于车辆外或车辆内的信息而控制驱动力生成设备、转向机构、制动设备等而自动行进而不依赖于驾驶员的操作。
[0433]
另外，微型计算机12051可以基于关于车辆外部的信息将控制命令输出到车体系统控制单元12020，该信息由车外信息检测单元12030获得。例如，微型计算机12051可以执行协作控制以通过控制前照灯来防止眩光，以便例如根据由车外信息检测单元12030检测到的前车辆或后方来车的位置来从高光束改变到低光束。
[0434]
声音/图像输出部12052将声音和图像中的至少一者的输出信号发送到能够在视觉上或听觉上将信息通知给车辆的乘员或车辆外部的输出设备。在图35中的示例中，音频扬声器12061、显示部12062和仪表板12063被示为输出设备。显示部12062可以例如包括车载显示器和平视显示器中的至少一者。
[0435]
图36是描绘成像部12031的安装位置的示例的图解。
[0436]
在图36中，成像部12031包括成像部12101、12102、12103、12104和12105。
[0437]
成像部12101、12102、12103、12104和12105例如设置在车辆12100的前鼻部、侧视镜、后部保险杠和后门以及车辆内挡风玻璃处的位置。设置到前鼻处的成像部12101和设置到车辆内挡风玻璃上部的成像部12105主要获得车辆12100的前部的图像。设置到侧视镜的成像部12102和12103主要获得车辆12100的侧面的图像。设置到后部保险杠或后门的成像部12104主要获得车辆12100的后部的图像。设置到车辆内部挡风玻璃上部的成像部12105主要用于检测前车辆，行人、障碍物、信号、交通标志、车道等。
[0438]
附带地，图36描绘了成像部12101到12104的拍摄范围的示例。成像范围12111表示设置到前鼻处的成像部12101的成像范围。成像范围12112和12113分别表示设置到侧视镜的成像部12102和12103的成像范围。成像范围12114表示设置到后部保险杠或后门的成像部12104的成像范围。例如，通过例如叠加由成像部12101到12104成像的图像数据来获得车辆12100的鸟瞰图。
[0439]
成像部12101到12104中的至少一者可以具有获取距离信息的功能。例如，至少一个成像部12101到12104可以是由多个成像元件构成的立体声相机，或者可以是具有用于相位差检测的像素的成像元件。
[0440]
例如，微型计算机12051可以基于从成像部12101到12104获得距离信息而确定到成像范围12111到12114内的每个三维对象的距离以及该距离中的时间变化(相对于车辆
12100的相对速度)，从而提取存在于车辆12100的行进路径上最接近的、并且以与预定速度的车辆12100大体相同的速度(例如，等于或大于0km/小时)行驶的三维对象作为前车。此外，微型计算机12051可以预先设置相对于前车的跟车距离，并且执行自动制动控制(包括在跟车停止控制)、自动加速度控制(包括跟车开始控制)等。因此，可以执行用于自动驾驶的协作控制，以使得车辆自动行进，而不依赖于驾驶员等的操作。
[0441]
例如，微型计算机12051可以基于从成像部12101到12104获得的距离信息将关于三维对象的三维对象数据分类为两轮车辆、标准尺寸车辆、大型车辆、行人、公用电杆以及其他三维对象的三维对象数据，提取已分类的三维对象数据，并且使用所提取的三维对象数据来自动地规避障碍物。例如，微型计算机12051将车辆12100周围的障碍物识别为车辆12100的驾驶员可以目视地识别的障碍物以及车辆12100的驾驶员难以目视地识别的障碍物。然后，微型计算机12051确定碰撞风险，其指示与每个障碍物碰撞的风险。在碰撞风险等于或高于设定值并且因此可能碰撞的情况下，微型计算机12051经由音频扬声器12061或显示部12062将警告输出到驾驶员，并且通过驱动系统控制单元12010执行强制减速或者规避转向。因此，微型计算机12051可以帮助驾驶以避免碰撞。
[0442]
成像部12101到12104中的至少一者可以是检测红外线的红外相机。例如，微型计算机12051可以通过确定成像部12101到12104的已成像图像中是否存在行人来识别行人。例如，这种行人的识别是例如通过以下处理执行的：提取作为红外相机的成像部12101到12104的成像图像中特征点，以及通过在表示对象轮廓的一系列特征点上执行模式匹配处理来确定是否是行人。当微型计算机12051确定成像部12101到12104的成像图像中存在行人并且因此而识别行人时，声音/图像输出部12052控制显示部12062，以便显示用于强调的正方形轮廓线以便叠加在所识别出的行人上。声音/图像输出部12052还可以控制显示部12062，使得表示行人的图标等显示在预期位置处。
[0443]
目前解释了根据本公开技术的车辆控制系统的一个示例。根据本公开的技术适用于上述配置的成像部12031。具体地，上述测距设备21可以用作成像部12031。当根据本公开的技术应用于成像部12031时，可以获取距离信息。另外，所获取的距离信息可用于增强驾驶员和车辆的安全性。
[0444]
本技术的实施例不限于上述型。可以在本技术的主旨内进行各种变化。
[0445]
在本说明书中解释的本技术的多个方面可以独立地实现，只要没有不一致处即可。不言而喻，本技术的自由所选择的方面可以组合实施。例如，在任何一个实施例中说明的本技术的一部分或整体可以与另一个实施例中说明的本技术而组合地实现。另外，自由所选择的本技术的一部分或整体可以与先前尚未解释的另一种技术相结合地实现。
[0446]
另外，例如，作为一个设备(或一个处理部分)解释的配置可以被划分为多个设备(或多个处理部分)。相反，可以将上文作为多个设备(或多个处理部分)解释的配置集成到一个设备(或一个处理部分)中。此外，不言而喻，可以将除上述配置之外的配置添加到每个设备(或每个处理部分)的配置中。此外，只要整个系统的配置或操作不改变，包括某个设备(或特定处理部分)的部分配置就可以被包括在另一设备(或其他处理部分)的配置中。
[0447]
此外，本说明书中的术语“系统”是指一组多个组成部分(器件、模块(组件)等)，无论包括在同一壳体中的所有组成部分是否均无关紧要。因此，一组容纳在单独的壳体中并且通过网络连接的多个设备是系统，并且具有容纳在单个壳体中的多个模块的单个设备也
是系统。
[0448]
应注意，本说明书中描述的效果仅仅是示例，因此是非限制性的。可以提供除本说明书中描述的效果。
[0449]
应注意，本技术可以具有以下配置。
[0450]
(1)一种测距设备，包括：
[0451]
生成部，所述生成部通过对通过无线通信从单独设备发送的传输信号执行同步处理而生成与所述单独设备的同步时钟信号同步的信号；
[0452]
参考时钟生成部，所述参考时钟生成部基于所述同步时钟信号生成待用作来自光源的光发射的参考的参考时钟信号；以及
[0453]
tof传感器，所述tof传感器基于所述参考时钟信号接收从所述光源施加并且被对象反射的照射光所产生的反射光。
[0454]
(2)根据(1)所述的测距设备，其中
[0455]
所述接收部通过所述无线通信接收关于从所述光源施加的所述照射光的光源信息。
[0456]
(3)根据(2)所述的测距设备，其中
[0457]
所述光源信息包括关于所述光源的校准数据。
[0458]
(4)根据(2)或(3)所述的测距设备，其中
[0459]
所述光源信息包括操作模式。
[0460]
(5)根据(4)所述的测距设备，其中
[0461]
所述操作模式包括指示时分模式、调制频率模式或光发射图案模式中的任一者的信息。
[0462]
(6)根据(2)到(5)中的任一者所述的测距设备，其中
[0463]
所述光源信息包括光发射时间、光发射开始时间信息、调制频率、光源波长或光发射图案中的任一者。
[0464]
(7)根据(1)到(6)中的任一者所述的测距设备，其中
[0465]
所述接收部接收从所述单独设备通过无线通信经由网络发送的传输信号。
[0466]
(8)根据(1)到(6)中的任一者所述的测距设备，其中
[0467]
所述接收部接收作为所述传输信号的gnss信号。
[0468]
(9)根据(1)到(8)中的任一者所述的测距设备，进一步包括：
[0469]
信号处理部，所述信号处理部基于所述tof传感器获得的检测结果而计算距离所述单独设备的距离。
[0470]
(10)根据(9)所述的测距设备，进一步包括：
[0471]
通信部，所述通信部限定作为第一距离的距离所述单独设备的距离你并且将所述第一距离发送到所述单独设备，并且进一步地，接收作为第二距离的由所述单独设备计算出的距离。
[0472]
(11)根据(10)所述的测距设备，进一步包括：
[0473]
距离计算部，所述距离计算部基于所述第一距离和所述第二距离计算相对于所述单独设备的相对距离。
[0474]
(12)根据(1)到(11)中的任一者所述的测距设备，其中
[0475]
所述tof传感器，所述tof传感器接收从多个所述光源施加并且被所述对象反射的照射光所产生的反射光。
[0476]
(13)根据(12)所述的测距设备，进一步包括：
[0477]
信号处理部，所述信号处理部基于从多个所述光源施加的照射光的相位差而计算距离所述对象的距离。
[0478]
(14)一种测距设备，包括：
[0479]
通信部，所述通信部通过无线通信而发送传输信号；
[0480]
参考时钟生成部，所述参考时钟生成部基于与所述传输信号同步的同步时钟信号而生成待用作从光源的光发射的参考的参考时钟信号；以及
[0481]
光源，所述光源基于所述参考时钟信号而施加照射光。
[0482]
(15)一种测距设备，包括：
[0483]
通信部，所述通信部通过无线通信而发送和接收传输信号；
[0484]
参考时钟生成部，所述参考时钟生成部基于与所述传输信号同步的同步时钟信号而生成待用作从光源的光发射的参考的参考时钟信号；
[0485]
光源，所述光源基于所述参考时钟信号而施加照射；以及
[0486]
tof传感器，所述tof传感器基于所述参考时钟信号接收从单独设备施加并且被对象反射的照射光所产生的反射光。
[0487]
(16)一种用于测距设备的光接收方法，所述方法包括：
[0488]
通过所述测距设备，
[0489]
通过对通过无线通信从单独设备发送的传输信号执行同步，生成与所述单独的同步时钟信号同步的信号；
[0490]
基于所述同步时钟信号，生成待用作从光源的光发射的参考的参考时钟信号；以及
[0491]
基于所述参考时钟信号，接收从所述光源施加并且被对象反射的照射光所产生的反射光。
[0492]
[参考符号列表]
[0493]
1：测距系统
[0494]
2：光源
[0495]
3：测距单元
[0496]
11：测距系统
[0497]
21(21’、21a到21e)：测距设备
[0498]
23：网络
[0499]
41：时钟源
[0500]
42：通信模块
[0501]
44：参考时钟生成部
[0502]
45：操作模式设置部
[0503]
47：激光发射部
[0504]
48：光源信息获取部
[0505]
49：存储器
[0506]
50：时间同步部
[0507]
51：定时控制部
[0508]
52：tof传感器
[0509]
53：信号处理部
[0510]
61：同步时钟生成部
[0511]
62：信号发送/接收部
[0512]
81：gnss接收部
[0513]
82：时间信息设置部
[0514]
101(101a,101b)：无人机
[0515]
122：位置/姿态计算部
[0516]
123：通信部
[0517]
124：光源间距离计算部
[0518]
141：深度图像生成部
[0519]
142：外部调制光源检测部。