距离测量装置以及图像生成方法与流程

1.本公开涉及距离测量装置以及图像生成方法。


背景技术：

2.在专利文献1中，在光飞行型测距装置中，具备可靠性判定部件，该可靠性判定部件对tof(飞行时间(time of flight))距离运算部件的运算结果的可靠性进行判定，基于判定结果来选择将tof距离运算部件的运算结果以及图像距离运算部件的运算结果之中的哪个设为装置输出。该可靠性判定部件以像素单位将在多个帧间的tof距离运算部件的运算结果的偏差度与预先被规定的一定电平(level)进行比较，从而对tof距离运算部件的运算结果的可靠性进行判定，在判定为该偏差度小于一定电平，判定为tof距离运算部件的运算结果的可靠性相对高的情况下，将tof距离运算部件的运算结果选择为装置输出，在判定为该偏差度为一定电平以上，判定为tof距离运算部件的运算结果的可靠性相对低的情况下，将图像距离运算部件的运算结果选择为装置输出。由此，专利文献1实现在干扰光的强度大的环境下，应对于像素的容量饱和或反射光的相对强度降低而测距精度降低这样的课题。
3.现有技术文献
4.专利文献
5.专利文献1：日本特许第6427998号公报


技术实现要素：

6.发明要解决的课题
7.但是，根据上述的背景技术，有因背景光的影响而测距的精度降低这样的问题。
8.本公开的目的在于，提供抑制背景导致的测距精度的降低的距离测量装置以及图像生成方法。
9.用于解决课题的手段
10.为了达成上述目的，本公开所涉及的距离测量装置的一方式具备：摄像部，对n个区分图像进行摄像，该n个区分图像与对测距范围进行分割的n(n为3以上的整数)个区分距离对应；以及距离图像生成部，根据所述n个区分图像生成距离图像，所述距离图像生成部从构成所述n个区分图像的区分像素之中处于相同的像素位置的n个区分像素判定具有最大的信号值的区分像素，在所述最大的信号值为阈值以上时，将表示所述最大的信号值的区分像素的区分距离的值决定为所述距离图像中的该像素位置的距离值，在所述最大的信号值比所述阈值小时，设为所述测距范围外。
11.此外，本公开所涉及的图像生成方法的一方式是生成距离图像的图像生成方法，对n个区分图像进行摄像，该n个区分图像与对测距范围进行分割的n个区分距离对应，从构成所述n个区分图像的区分像素之中处于相同的像素位置的n个区分像素判定具有最大的信号值的区分像素，在所述最大的信号值为阈值以上时，将表示所述最大的信号值的区分
像素的区分距离的值决定为所述距离图像中的该像素位置的距离值，在所述最大的信号值比所述阈值小时，设为所述测距范围外。
12.发明效果
13.根据本公开所涉及的距离测量装置以及图像生成方法，能够抑制背景光导致的测距精度的降低。
附图说明
14.图1是表示实施方式所涉及的距离测量装置的结构例的框图。
15.图2是表示实施方式所涉及的摄像部所进行的1帧的摄像处理的一例的时序图。
16.图3是表示实施方式所涉及的每个区分图像的像素的信号电平例的图。
17.图4是实施方式所涉及的距离图像生成部的结构例的框图。
18.图5a是表示实施方式所涉及的亮度图像生成部的第一结构例的框图。
19.图5b是表示实施方式所涉及的亮度图像生成部的第二结构例的框图。
20.图5c是表示实施方式所涉及的亮度图像生成部的第三结构例的框图。
21.图6是表示实施方式所涉及的距离测量装置中的整体的处理例的流程图。
22.图7是表示图6的步骤s1中的区分图像的摄像的处理例的流程图。
23.图8是表示图4以及图6的步骤s2中的距离图像生成的处理例的流程图。
24.图9是表示算出图8的步骤s23中的阈值的一例的流程图。
25.图10是表示图5a以及图6的步骤s3中的亮度图像生成的第一处理例的流程图。
26.图11是表示图10的步骤s33以及s34的具体例的流程图。
27.图12是表示图5b以及图6的步骤s3中的亮度图像生成的第二处理例的流程图。
28.图13是表示图5c以及图6的步骤s3中的亮度图像生成的第三处理例的流程图。
29.图14是表示实施方式所涉及的亮度图像的一例的图。
30.图15a是表示实施方式所涉及的距离图像的一例的图。
31.图15b是表示比较例所涉及的距离图像的一例的图。
具体实施方式
32.(成为本公开的基础的知识和见识)
33.本发明的发明人关于在“背景技术”的栏中记载的以往的测距装置，发现了有以下的问题。
34.专利文献1的测距装置基于式(1)～式(3)算出距离值d、亮度值a。
[0035][0036][0037]
a＝(c1 c2 c3 c4)/4
…………
··
式(3)
[0038]
在此，表示由于光到对象物为止往返的飞行时间而产生的相位差(延迟时间)，通过式(1)定义。c1～c4表示以相对于脉冲发光的发光周期将相位错开了0
°
、45
°
、90
°
、135
°
的周期分别曝光而得到的电荷量。c为高速，f为发光以及曝光的频率(上述发光周期的倒数)。在专利文献1中，有“在上述的式(1)中，背景光导致的电荷的电荷量被抵销，因此能够
不受到背景光的影响地运算相位差。”的记载。
[0039]
但是，若发光和曝光的定时、或所测距的环境不同，则有时受到背景光的影响而测距精度劣化。
[0040]
例如，电荷量c1如式(4)那样由反射光分量s1和背景光分量b1构成。电荷量c2～c4也通过式(5)～式(7)表示。
[0041]
c1＝s1 b1
……
式(4)
[0042]
c2＝s2 b2
……
式(5)
[0043]
c3＝s3 b3
……
式(6)
[0044]
c4＝s4 b4
……
式(7)
[0045]
那样的话，式(1)以及式(3)由下面的式(8)以及式(9)表示。
[0046][0047]
a＝(s1 b1 s2 b2 s3 b3 s4 b4)/4
……
式(9)
[0048]
如式(8)、式(9)所示，对于距离值d以及亮度值a，会产生下面的(i)～(iii)的课题。
[0049]
(i)距离值d的精度降低。例如，式(8)中的背景光分量“b1
‑
b3”作为噪声而混入，因此使sn比劣化。也就是说，会产生距离图像的精度降低这样的问题。
[0050]
(ii)使亮度值a的对比度降低。例如，在式(9)中，背景光分量(b1～b4)被重叠到反射光分量(s1～s4)。亮度值a成为包含背景光分量(b1～b4的平均)的值。其结果是，会产生亮度图像的对比度降低这样的问题。
[0051]
(iii)距离值d会对测距范围外的距离值进行误测距。在此，测距范围外的距离值是指在可测距的范围内不存在被摄体的情况(或者不存在反射光的情况)的距离值。测距范围外的距离值本来应成为表示无穷远的值。但是，根据式(1)、式(2)，由于背景光分量，有时测距范围外的距离值表示错误的距离。
[0052]
因此，本公开的第一目的在于，对于(i)的课题，提供抑制背景导致的测距精度的降低的距离测量装置以及图像生成方法。
[0053]
此外，本公开的第二目的在于，对于(ii)的课题，提供抑制亮度图像的对比度降低的距离测量装置以及图像生成方法。
[0054]
此外，本公开的第三目的在于，对于(iii)的课题，提供抑制测距范围外的误测距的距离测量装置以及图像生成方法。
[0055]
为了解决这样的课题，本公开的一方式所涉及的距离测量装置具备：摄像部，与对测距范围进行分割的n(n为3以上的整数)个区分距离对应的n个区分图像进行摄像；以及距离图像生成部，从所述n个区分图像生成距离图像，所述距离图像生成部从构成所述n个区分图像的区分像素之中处于相同的像素位置的n个区分像素判定具有最大的信号值的区分像素，在所述最大的信号值为阈值以上时，将表示所述最大的信号值的区分像素的区分距离的值决定为所述距离图像中的该像素位置的距离值，在所述最大的信号值比所述阈值小时，设为测距范围外。
[0056]
根据该结构，距离测量装置能够抑制背景光导致的测距精度的降低。这是因为，作为距离图像的距离值的像素值并非基于式(1)、式(2)的(包含背景光分量的)电荷量而被算出，而表示n个区分距离的其中一个的距离范围，因此难以受到背景光的影响。进而，上述的
距离测量装置能够抑制测距范围外的误测距。
[0057]
以下，针对实施方式，使用附图详细地进行说明。另外，在以下说明的实施方式都表示本公开的优选的一具体例。以下的实施方式所示的数值、形状、材料、结构元素、结构元素的配置位置以及连接方式、步骤以及步骤的顺序等是一例，并非限定本公开的主旨。此外，针对以下的实施方式中的结构元素之中、表示本公开的最高位概念的独立权利要求中未记载的结构元素，作为构成更优选的方式的任意的结构元素来说明。此外，各图是示意图，不一定表示严格的尺寸。
[0058]
(实施方式)
[0059]
[1.1距离测量装置1的结构]
[0060]
首先，针对实施方式所涉及的距离测量装置1的结构进行说明。
[0061]
图1是表示实施方式所涉及的距离测量装置的结构例的框图。如同图所示，距离测量装置1具备摄像部2以及信号处理部3。摄像部2具备发光部4、受光部5以及控制部6。信号处理部3具备存储器7、距离图像生成部8以及亮度图像生成部9。
[0062]
摄像部2通过将脉冲状的发光以及曝光的组反复进行n(n为3以上的整数)次，对n个区分图像进行摄像，n个区分图像与对测距范围进行分割的n个区分距离对应。在此，测距范围是指从距离测量装置1至被摄体的可测量的全部距离范围。例如，测距范围设为0～dmax(m)。n个区分距离例如是指对测距范围进行n等分而得到的部分的距离范围。另外，n个区分距离不限于n等分，也可以将距离范围设为进行了不均等地分割的部分的距离范围。例如，根据距离测量装置1的测量对象以及测量环境，也可以决定为n个区分距离包含较小的距离范围的区分距离和较大的距离范围的区分距离。
[0063]
发光部4按照对脉冲发光进行指示的发光控制信号而发出脉冲状的照射光。设为发光部4的照射光包含红外线。
[0064]
受光部5例如是具有二维状地被排列的多个像素的图像传感器，按照对曝光进行指示的曝光控制信号来进行曝光。
[0065]
控制部6控制部6，将发光控制信号供应给发光部4，将曝光控制信号供应给受光部5，从而控制发光部4以及受光部5以使对n个区分图像进行摄像。具体而言控制部6对每1帧的距离图像，以生成n组发光脉冲以及曝光脉冲的组的方式，生成发光控制信号以及曝光控制信号，从而控制所述发光部以及所述受光部。
[0066]
在此，针对由摄像部2摄像的n个区分图像，使用图2以及图3详细地进行说明。
[0067]
图2是表示实施方式所涉及的摄像部2所进行的1帧的摄像处理的一例的时序图。
[0068]
图2的横轴表示时间轴。1帧f1的摄像期间包含第一测量期间tm1～第n测量期间tmn这n个测量期间。第一测量期间tm1～第n测量期间tmn的各测量期间由被n等分的n个时隙ts1～tsn构成。
[0069]
纵轴的“发光脉冲”表示从控制部6被供应给发光部4的发光控制信号中包含的、对发光进行指示的脉冲。设为发光部4通过在发光脉冲的高电平区间进行发光而发出脉冲光，在低电平区间熄灭。控制部6在第一测量期间tm1～第n测量期间tmn的全部测量期间中生成在开头的时隙ts1的区间对发光进行指示的发光脉冲。
[0070]“反射光”示意性地示出来自被照射了来自发光部4的脉冲光的被摄体的反射光的一例。出现反射光的定时与距离测量装置1和被摄体的距离成比例。在同图中，表示在时隙
ts2的后半和ts3的前半出现了反射光的例。
[0071]“曝光脉冲”表示从控制部6被供应给受光部5的曝光控制信号中包含的、对曝光进行指示的脉冲。设为受光部5在曝光脉冲的高电平区间进行曝光，在低电平区间不进行曝光。
[0072]
控制部6在第一测量期间tm1～第n测量期间tmn中，以发光定时和曝光定时的时间差逐渐变大的方式，生成曝光脉冲。发光定时和曝光定时的时间差对应于在该测量期间中使通过受光部5被受光的反射波产生的被摄体的距离(距离范围)。也就是说，在该测量期间被受光了反射光的情况下，从距离测量装置1至被摄体为止的距离对应于该时间差。
[0073]
即，控制部6在测量期间tmk中生成指示在时隙tsk的区间进行曝光的曝光脉冲。在此，k为1～n的任一整数。
[0074]
例如，控制部6在第一测量期间tm1中生成指示在时隙ts1的区间进行曝光的曝光脉冲。受光部5生成基于在时隙ts1的曝光的图像作为区分图像#1。例如，在假设为各时隙的期间为10ns的情况下，受光部5在时隙ts1中能够对从脉冲发光的开始起在10ns以内出现的反射光进行受光，但不对在这以后出现的反射光进行受光。也就是说，根据式(11)，在时隙ts1中，受光部5能够对来自处于区分距离#1＝0～1.5m的距离范围的被摄体的反射光进行受光，不能对来自处于区分距离#1以外的被摄体的反射光进行受光。
[0075]2×
l1＜10ns
×
c
……
式(11)
[0076]
在此，c为光速(3
×
108m/s)。l1表示区分距离#1的距离范围。2
×
l1为照射光的往返距离。
[0077]
这样，在第一测量期间tm1中受光了来自被摄体的反射波的情况下，意味着被摄体处于区分距离#1(例如0～1.5m)的范围内的距离。
[0078]
同样，控制部6在第k测量期间tmk中生成指示在时隙tsk的区间进行曝光的曝光脉冲。受光部5生成基于在时隙tsk中的曝光的图像作为区分图像#k。例如，在各时隙的期间为10ns的情况下，在第k测量期间tmk中，受光部5能够对在时隙tsk的区间出现的反射光进行受光，但不能对在这区间外出现的反射光进行受光。也就是说，根据式(12)，在第k测量期间tmk中，受光部5能够对来自处于距离范围lk＝(从(k
‑
1)
×
1.5m至k
×
1.5m为止的距离范围)的被摄体的反射光进行受光，不能对来自处于这以外的距离的被摄体的反射光进行受光。
[0079]
(k
‑
1)
×
10ns
×
c＜2
×
lk＜k
×
10ns
×
c
……
式(12)
[0080]
在此，2
×
lk为照射光的往返距离。
[0081]
这样，在第k测量期间tmk中受光了来自被摄体的反射波的情况下，意味着被摄体处于区分距离#k(例如从(k
‑
1)
×
1.5m至k
×
1.5m为止的距离范围)内的距离。
[0082]
接着，针对n个区分图像中的反射波的出现方式进行说明。
[0083]
图3是表示实施方式所涉及的在构成n个区分图像的区分像素之中处于相同的像素位置的n个区分像素的像素信号电平的一例的图。同图的横轴表示在构成区分图像#1～#n的区分像素之中处于相同的像素位置的n个区分像素#1～#n，对应于区分距离#1～#n。纵轴表示区分像素#1～#n的像素信号电平。
[0084]
在图2中，发光脉冲宽度和曝光脉冲宽度相同，因此脉冲状的反射波在大部分情形中以跨越两个相邻的时隙的边界的方式出现。极少在一个时隙中出现。在图3中，具有最大值max1的像素信号电平的区分像素以及具有第2大的值max2的区分像素这两个区分像素为
相邻的两个区分像素#2以及#3，示出来自被摄体的反射波。在该情况下的被摄体意味着存在于两个区分距离#2以及#3的平均所示的距离。例如，在各时隙为10ns的情况下，被摄体的距离被判定为两个区分距离#2以及#3的平均、即约(3.0 4.5)/2＝3.75m。
[0085]
存储器7临时地存储被摄像部2生成的n个区分图像#1～#n。
[0086]
距离图像生成部8根据在存储器7中存储的n个区分图像#1～#n，生成距离图像。构成距离图像的像素值示出距离。
[0087]
亮度图像生成部9根据在存储器7中存储的n个区分图像#1～#n，生成第一亮度图像以及第二亮度图像。在此，第一亮度图像是不依赖于对于脉冲状的发光的反射光的亮度图像，且是依赖于背景光的亮度图像，在以下也称为bg)图像。bg为背景(background)的略称。第二亮度图像是依赖于对于脉冲状的发光的反射光的亮度图像，在以下也称为ir图像。ir为红外(infrared)的略称。
[0088]
另外，在图2中各测量期间时隙也可以不是等分，而是被不均匀地分割。
[0089]
[1.2距离图像生成部8的结构]
[0090]
接着，针对距离图像生成部8的结构，更详细地进行说明。
[0091]
图4是表示实施方式所涉及的距离图像生成部8的结构例的框图。同图的距离图像生成部8具备最大值判定部81、阈值计算部82、比较部83、第一距离决定部84、第二距离决定部85以及合成部86。
[0092]
最大值判定部81从在构成由发光部4生成的n个区分图像#1～#n的区分像素之中处于相同的像素位置的n个区分像素#1～#n之中，判定具有最大值max1的区分像素，输出最大值max1和该区分像素的序号#。以下，有时将区分图像#1～#n、区分像素#1～#n、或者区分距离#1～#n的其中一个序号简称为#。
[0093]
阈值计算部82按每个像素位置，根据n个区分像素#1～#n的像素值而动态地算出阈值th1。具体而言，阈值计算部82按每个像素位置，将包含具有最大值max1的区分像素的至少一个区分像素从n个区分像素#1～#n排除，算出排除后的区分像素的平均值bga，基于平均值bga而算出阈值。例如，阈值计算部82通过对平均值bga加上偏移σ而算出阈值th1。此时，阈值计算部82按每个像素位置，根据平均值bga而动态地决定偏移σ。偏移σ例如既可以是平均值bga的平方根，也可以是表示背景光的偏差的标准差，也可以是相当于背景光的最大值和平均值bga之间的差分的值。
[0094]
平均值bga是从n个区分距离#1～#n去除了受光了反射光的区分像素后的区分像素的平均，表示背景光的平均电平。上述的“至少一个区分像素”是在n个区分像素#1～#n之中具有最大值max1的区分像素以及具有第2大的值max2的区分像素这两个区分像素、并且是属于相邻的两个区分距离的两个区分像素。此外，上述的“至少一个区分像素”在具有最大值max1的区分像素以及具有第2大的值max2的区分像素这两个区分像素不属于相邻的两个区分距离的情况下，是具有最大值max1的一个区分像素。
[0095]
比较部83对最大值max1和阈值th1进行比较，判定最大值max1是否在阈值th1以上。
[0096]
第一距离决定部84在被判定为最大值max1为阈值th1以上时，将表示最大值max1的区分像素的区分距离的值决定为距离图像中的该像素位置的像素值。
[0097]
第二距离决定部85在被判定为最大值max1并非阈值th1以上时，将表示被摄体不
存在于测距范围内的值决定为距离图像中的该像素位置的像素值。表示被摄体不存在于测距范围内的值意味着表示被摄体处于测距范围外的值、或者表示作为背景的无穷远的值，也可以是表示测距范围内的距离的值以外的特定的值。
[0098]
合成部86对由第一距离决定部84以及第二距离决定部85决定的像素值进行合成，生成距离图像。
[0099]
根据图4的距离图像生成部8，能够抑制背景光导致的测距精度的降低。具体而言，由第一距离决定部84决定的像素值并非基于式(1)、式(2)的(包含背景光分量的)电荷量而被算出，而表示n个区分距离#1～#n的其中一个的距离范围，因此难以受到背景光的影响，能够抑制测距精度的降低。
[0100]
此外，由第二距离决定部85决定的像素值为表示被摄体不存在于测距范围内的特殊的值，因此能够抑制测距范围外的距离值的误测距。而且，由于基于背景光的平均值而按每个像素位置动态地算出阈值th1，因此即使在依赖于距离测量装置1的环境而背景光较大地变动的情况下，即使在背景光中有散粒噪声(shot noise)而其波动的情况下，也能够抑制背景光导致的测距精度的降低。
[0101]
接着，针对亮度图像生成部9的第一结构例至第三结构例进行说明。
[0102]
[1.3亮度图像生成部9的第一结构例]
[0103]
首先，针对亮度图像生成部9的第一结构例，详细地进行说明。
[0104]
图5a是表示实施方式所涉及的亮度图像生成部9的第一结构例的框图。同图的亮度图像生成部9具备第一亮度决定部91、合成部92、第二亮度决定部93、校正部94以及合成部95。另外，同图的最大值判定部81、阈值计算部82并非亮度图像生成部9的结构元素，但为了方便理解而图示。
[0105]
第一亮度决定部91按每个像素位置，将与平均值bga对应的值决定为不依赖于反射光的第一亮度图像的像素值px。例如，亮度图像的像素值px被决定为平均值bga的值。
[0106]
合成部92对由第一亮度决定部91决定的像素值px以二维状的方式进行合成，生成1帧的第一亮度图像(bg图像)。
[0107]
第二亮度决定部93按每个像素位置，将与从最大值减去平均值bga后的值对应的值决定为所述亮度图像的像素值。更具体而言，第二亮度决定部93按每个像素位置，按照式(13)或者式(14)而将从最大值减去平均值bga后的值设为像素值px。更详细而言，在具有最大值max1的区分像素以及具有第2大的值max2的区分像素为属于相邻的两个区分距离的两个区分像素的情况下，像素值px通过式(13)算出。此外，在具有最大值max1的区分像素以及具有第2大的值max2的区分像素这两个区分像素不属于相邻的两个区分距离的情况下，像素值px通过式(14)算出。
[0108]
px＝(max1 max2)/2
‑
bga
……
式(13)
[0109]
px＝max1
‑
bga
……
式(14)
[0110]
通过按照式(13)或者式(14)而从最大值减去平均值bga，能够抑制反射光和背景光分量重叠到第二亮度图像而对比度降低。例如，在来自被摄体的反射波如图2的例那样在时隙ts2以及ts3中被受光的情况下，如图3那样区分像素#2以及#3的像素信号电平变大。在图3中，区分像素#3具有最大值max1的像素信号电平。区分像素#2具有第2大的值max2。认为区分像素#2的像素信号电平s2(max2)包含背景光分量bg2。认为区分像素#3的像素信号电
平s2(max1)包含背景光分量bg3。另一方面，去除区分像素#2以及#3的区分像素的像素信号电平(s1、s4～sn)分别不包含反射光分量而表示背景光分量(bg1、bg4～bgn)本身。即使对背景光分量bg2以及bg3的信号电平进行直接测量是困难或者不可能的，也能够根据其他区分像素的背景光分量的信号电平来估计，例如，能够估计为与背景光的平均值bga同等。式(13)以及式(14)从背景光分量被重叠到反射光的信号电平去除背景光分量。
[0111]
由此，能够抑制第二亮度图像的背景导致的对比度的降低。
[0112]
校正部94将来自第二亮度决定部93的像素值px，使用与该最大值对应的区分距离的平方来校正。具体而言，校正部94在像素值px通过式(13)算出的情况下，将与max1以及max2对应的两个区分距离的平均的平方乘以像素值px来校正。或者，校正部94在像素值px通过式(14)算出的情况下，将与max1对应的区分距离的平方乘以像素值px来校正。
[0113]
由此，将与从距离测量装置1至被摄体为止的距离的平方成反比的反射光的信号电平校正为不依赖于距离的信号电平。能够通过校正来抑制第二亮度图像的对比度降低。
[0114]
合成部95将校正部94所进行的校正后的像素值px二维状地合成，生成1帧的第二亮度图像(ir图像)。
[0115]
[1.4亮度图像生成部9的第二结构例]
[0116]
接着，针对亮度图像生成部9的第二结构例，进行说明。
[0117]
图5b是表示实施方式所涉及的亮度图像生成部9的第二结构例的框图。同图的亮度图像生成部9与图5a相比，在第二亮度决定部93、校正部94以及合成部95被删除的点、和校正部96、比较部97、亮度加法部98、亮度决定部99以及合成部100被追加的点上不同。以下，就相同的点而言避免反复说明，以不同的点为中心进行说明。
[0118]
校正部96、比较部97、亮度加法部98、亮度决定部99以及合成部100生成第二亮度图像(ir图像)。
[0119]
校正部96将n个区分像素的像素值，使用与该区分像素对应的区分距离的平方来校正。具体而言，校正部96通过对n个区分像素的像素值乘以与该区分像素对应的区分距离的平方来校正。
[0120]
比较部97对阈值th1和规定值th2进行比较，判定阈值th1是否比规定值th2大。规定值th2是用于判定被动态地算出的阈值th1(也就是说背景光的平均值bga 偏移σ)是否是对第二亮度图像(ir图像)的画质(例如对比度)带来影响的程度的大小的阈值，并非静态常数。
[0121]
亮度加法部98按每个像素位置，在被判定为阈值th1比规定值th2大的情况下，将与校正后的n个区分像素的像素信号电平的和对应的值决定为第二亮度图像的像素值px。
[0122]
亮度决定部99按每个像素位置，在被判定为阈值th1没有比所述规定值th2大的情况下，将与最大值对应的值决定为第二亮度图像的像素值。
[0123]
合成部100对由亮度加法部98以及亮度决定部99决定的像素值进行合成，生成第二亮度图像(ir图像)。
[0124]
另外，校正部96也可以在被判定为阈值th1比规定值th2大的情况下，将n个区分像素的像素值使用与该区分像素对应的区分距离的平方来校正，在被判定为阈值th1没有比所述规定值th2大的情况下，将最大值使用与该区分像素对应的区分距离的平方来校正。
[0125]
根据亮度图像生成部9的第二结构例，将与从距离测量装置1至被摄体为止的距离
的平方成反比的反射光以及背景光的信号电平校正为不依赖于距离的信号电平，能够抑制第二亮度图像的对比度的降低。
[0126]
[1.5亮度图像生成部9的第三结构例]
[0127]
接着，针对亮度图像生成部9的第三结构例，进行说明。
[0128]
图5c是表示实施方式所涉及的亮度图像生成部9的第三结构例的框图。同图的亮度图像生成部9与图5a相比，在第二亮度决定部93、校正部94以及合成部95被删除的点、和亮度加法部101以及合成部102被追加的点上不同。以下，就相同的点而言避免反复说明，以不同的点为中心进行说明。
[0129]
亮度加法部101以及合成部102生成第二亮度图像(ir图像)。
[0130]
亮度加法部101按每个像素位置，将与n个区分像素的像素信号电平的和对应的值决定为第二亮度图像的像素值px。
[0131]
合成部102对由亮度加法部101决定的像素值进行合成，生成第二亮度图像(ir图像)。
[0132]
根据亮度图像生成部9的第三结构例，能够减少用于生成第二亮度图像的处理负荷。
[0133]
[2.0距离测量装置1的动作]
[0134]
针对如以上那样构成的距离测量装置1，说明作为该动作例的图像生成方法。
[0135]
首先，针对距离测量装置1中的图像生成方法的整体的动作例进行说明。
[0136]
图6是表示实施方式所涉及的距离测量装置1中的整体的处理例的流程图。
[0137]
同图表示距离测量装置1中的图像生成方法。首先，摄像部2对n个区分图像进行摄像(s1)，该n个区分图像与对测距范围进行分割的n个区分距离对应。进而，距离图像生成部8根据n个区分图像生成距离图像(s2)，亮度图像生成部9根据n个区分图像生成距离图像(s3)。
[0138]
接着，针对n个区分图像的摄像的处理例进行说明。
[0139]
图7是表示图6的步骤s1中的区分图像的摄像的处理例的流程图。图7的循环1(s11～s14)表示摄像部2用于生成n个区分图像的n次反复。在n次反复之中的第k次反复中，摄像部2在图2所示的时隙ts1中发光，且在时隙tsk中曝光(s12)，将通过该曝光而得到的区分图像#k保存至存储器7(s13)。
[0140]
这样，摄像部2生成区分图像#1～#n。
[0141]
接着，针对距离图像生成部8所进行的距离图像生成的处理例进行说明。
[0142]
图8是表示图4以及图6的步骤s2中的距离图像生成的处理例的流程图。图8的循环1(s21～s29)表示反复进行与亮度图像的像素数m相同的次数的处理。1次反复以相同的像素位置pa(或者像素地址pa)的区分像素#1～#n作为对象。在1次反复中，距离图像生成部8首先提取在构成n个区分图像#1～#n的区分像素之中处于相同的像素位置pa的n个区分像素#1～#n(s22)，根据n个区分像素#1～#n而算出阈值th1(s23)，从n个区分像素#1～#n判定具有最大值max1的区分像素(s24)。进而，距离图像生成部8判定最大值max1是否比阈值th1大(s25)，在判定为最大值max1比阈值th1大的情况下，将表示最大值max1的区分像素的区分距离的值决定为距离图像中的该像素位置的像素值(s26)。此外，距离图像生成部8在判定为最大值max1没有比阈值th1大的情况下，将表示被摄体没有处于测距范围内的值决定
为距离图像中的该像素位置的像素值(s27)。进而，合成部86对在步骤s26以及s27中决定的像素值进行合成，生成距离图像(s28)。
[0143]
另外，距离图像生成部8在步骤s24中判定具有最大值max1的区分像素、和具有第2大的值max2的区分像素，在具有最大值max1的区分像素和具有第2大的值max2的区分像素处于相邻的两个区分距离的情况下，在步骤s26中将该相邻的两个区分距离的平均值决定为距离图像中的该像素位置的像素值。
[0144]
接着，针对阈值计算部82所进行的阈值th1的算出例进行说明。
[0145]
图9是表示算出图8的步骤s23中的阈值的一例的流程图。图9中，阈值计算部82从n个区分像素，判定具有最大值max1的区分像素、和具有第2大的值max2的区分像素(s231)，判定具有最大值max1的区分像素的区分距离和具有第2大的值max2的区分像素的区分距离是否相邻(s232)。进而阈值计算部82在该两个区分距离相邻的情况下，通过式(15)算出平均值bga(s233)。
[0146]
bga＝(sum
‑
max1
‑
max2)/(n
‑
2)
……
式(15)
[0147]
在此，sum为区分像素#1～#n的像素信号电平的合计。bga表示去除反射光后的背景光的平均电平。
[0148]
此外，阈值计算部82在该两个区分距离不相邻的情况下，通过式(16)算出平均值bga(s234)。
[0149]
bga＝(sum
‑
max1)/(n
‑
1)
……
式(16)
[0150]
进而，阈值计算部82通过对平均值bga加上偏移σ从而算出阈值th1。偏移σ例如也可以是平均值bga的平方根。
[0151]
这样，阈值th1按每个像素位置被动态地算出，因此即使在背景光有变动情况、或背景光成为散粒噪声的情况下，也能够设为恰当的值。
[0152]
接下来，针对亮度图像生成部9所进行的生成第一亮度图像(bg图像)和第二亮度图像(ir图像)的第一处理例进行说明。
[0153]
图10是表示图5a以及图6的步骤s3中的亮度图像生成的第一处理例的流程图。遵照图10的亮度图像生成部9是图5a所示的第一结构例。图10的循环1(s31～s36)表示按每个像素位置的反复处理。在1次反复中，首先，亮度图像生成部9将与该像素位置中的平均值bga对应的值决定以及保存为第一亮度图像(bg图像)的像素值(s32)。进而，亮度图像生成部9算出从最大值max1减去平均值bga后的亮度值(s33)，将该亮度值根据最大值的max1的区分距离来校正(s34)，将校正后的值决定以及保存为第二亮度图像(ir)的像素值(s35)。
[0154]
针对步骤s32以及s33，使用图11更详细地进行说明。
[0155]
图11是表示图10的步骤s33以及s34的具体例的流程图。在图11中亮度图像生成部9从n个区分像素，判定具有最大值max1的区分像素、和具有第2大的值max2的区分像素(s331)，判定具有最大值max1的区分像素的区分距离和具有第2大的值max2的区分像素的区分距离是否相邻(s332)。进而亮度图像生成部9在该两个区分距离相邻的情况下，通过式(17)算出亮度值px(s333)，通过式(18)校正亮度值px(s334)。
[0156]
px＝(max1 max2)/2
‑
bga
……
式(17)
[0157]
px＝px
×
((#max1 #max2)/2)2
……
式(18)
[0158]
在此，#max1表示max1的区分距离的距离值。#max2表示max2的区分距离的距离值。
[0159]
此外，亮度图像生成部9在该两个区分距离不相邻的情况下，通过式(19)算出亮度值px(s335)，通过式(20)校正亮度值px(s336)。
[0160]
px＝max1
‑
bga
……
式(19)
[0161]
px＝px
×
#max12
……
式(20)
[0162]
步骤s334以及s336的校正后的像素值px作为第二亮度图像(ir图像)的像素而被保存。
[0163]
在式(17)以及式(19)中从像素信号电平去除背景光分量，因此能够抑制第二亮度图像的背景导致的对比度的降低。此外，在式(18)以及式(20)的校正中，将与从距离测量装置1至被摄体为止的距离的平方成反比的反射光的信号电平校正为不依赖于距离的信号电平。通过该校正也能够抑制第二亮度图像的对比度降低。
[0164]
接着，针对亮度图像生成部9所进行的生成第一亮度图像(bg图像)和第二亮度图像(ir图像)的第二处理例进行说明。
[0165]
图12是表示图5b以及图6的步骤s3中的亮度图像生成的第一处理例的流程图。遵照图12的亮度图像生成部9是图5b所示的第二结构例。在图12中生成第一亮度图像(bg图像)的步骤s32与图10的步骤s32相同。以下，以第二亮度图像(ir图像)的生成为中心进行说明。亮度图像生成部9将n个区分像素的像素值，使用与该区分像素对应的区分距离的平方来校正(s42)。图中的#表示与该区分像素对应的区分距离，也可以是区分距离的范围内的距离值，并且是例如中心值、最大值、最小值的其中一个。
[0166]
进而，亮度图像生成部9判定阈值th1是否比规定值th2大(s43)。亮度图像生成部9在被判定为阈值th1比规定值th2大的情况下，算出n个区分像素的相加值(s44)，将相加值决定以及保存为第二亮度图像的像素值(s45)。此外，亮度图像生成部9在判定为阈值th1没有比规定值th2大的情况下，从n个区分像素检测最大值(s46)，将该最大值决定以及保存为第二亮度图像的像素值(s47)。
[0167]
另外，亮度图像生成部9在步骤s46中检测max1以及max2作为最大值，在步骤s47中，在max1和max2属于相邻的距离区分的情况下将max1和max2的平均设为最大值，在max1和max2不属于相邻的距离区分的情况下将max1设为最大值。
[0168]
根据图12的第二处理例，将背景光的信号电平校正为不依赖于距离的信号电平，能够抑制第二亮度图像的对比度的降低。
[0169]
接着，针对亮度图像生成部9所进行的生成第一亮度图像(bg图像)和第二亮度图像(ir图像)的第三处理例进行说明。
[0170]
图13是表示图5c以及图6的步骤s3中的亮度图像生成的第一处理例的流程图。遵照图13的亮度图像生成部9是图5c所示的第三结构例。遵照图13的亮度图像生成部9是图5c所示的第三结构例。在图13中生成第一亮度图像(bg图像)的步骤s32与图10的步骤s32相同。以下，以第二亮度图像(ir图像)的生成为中心进行说明。亮度图像生成部9算出n个区分像素相加的相加值(s52)，将该相加值决定以及保存为第二亮度图像的像素值(s53)。
[0171]
如以上说明那样根据实施方式所涉及的距离测量装置1，有(i)抑制距离图像的精度降低，(ii)抑制第一亮度图像(bg)以及第二亮度图像(ir)的对比度降低，(iii)通过在可测距的范围内不存在被摄体的情况下的背景光而抑制误测距这样的效果。
[0172]
接着，针对距离图像以及亮度图像的例进行说明。
[0173]
图14是表示实施方式所涉及的亮度图像的一例的图。同图表示由图5c的亮度图像生成部9生成的第二亮度图像(ir图像)。图15a是表示实施方式所涉及的距离图像的一例的图。同图表示由图4的距离图像生成部8生成的距离图像的一例。此外，图15b是表示比较例所涉及的距离图像的一例的图。同图表示在图4的距离图像生成部8中在将每个像素位置的阈值th1强制地固定为0的情况下得到的距离图像的一例。
[0174]
在图15a中对于四个被摄体(人)得到从左起25m、50m、55m、40m的距离值。此外，记为“范围外”的区域包含在被摄体(人)以外的区域中以黑来显示的区域，明确地表示在测距范围内不存在被摄体。
[0175]
在图15b中也对于四个被摄体(人)得到从左起25m、50m、55m、40m的距离值。然而，在图15b的区域之中，与图15a的“范围外”的区域对应的区域由于表示某些距离值而较多地发生噪声或者误测距。该点上，可知在图15a中，这些噪声或者误测距被抑制。
[0176]
如以上那样实施方式所涉及的距离测量装置1具备：摄像部2，对n个区分图像进行摄像，该n个区分图像与对测距范围进行分割的n(n为2以上的整数)个区分距离对应；以及距离图像生成部8，根据n个区分图像生成距离图像，距离图像生成部8从在构成n个区分图像的区分像素之中处于相同的像素位置的n个区分像素判定具有最大的信号值的区分像素，在最大的信号值为阈值以上时，将表示最大的信号值的区分像素的区分距离的值决定为距离图像中的该像素位置的距离值，在最大的信号值比阈值小时，设为测距范围外。
[0177]
据此，能够抑制距离图像的精度降低，通过在可测距的范围内不存在被摄体的情况下的背景光来抑制误测距。
[0178]
在此，距离图像生成部8也可以在最大的信号值比阈值小时，将表示测距范围外的值决定为距离图像中的该像素位置的距离值。
[0179]
在此，距离图像生成部8也可以根据n个区分像素的信号值而动态地算出阈值。
[0180]
据此，将阈值按每个像素位置动态地算出，因此即使在依赖于距离测量装置的环境而背景光较大地变动的情况下，即使在背景光中有散粒噪声而波动的情况下，也能够抑制背景光导致的测距精度的降低。
[0181]
在此，距离图像生成部8也可以按每个像素位置，将包含具有最大的信号值的区分像素的至少一个区分像素从n个区分像素排除，算出排除后的区分像素的平均值，基于平均值来算出阈值。
[0182]
据此，上述的平均值表示不包含反射波分量的背景光的平均，能够通过基于该平均值而被算出的阈值，进一步抑制测距精度的降低。
[0183]
在此，至少一个区分像素也可以是在n个区分像素之中具有最大的信号值的区分像素以及具有第2大的值的区分像素这两个区分像素、并且是属于相邻的两个区分距离的两个区分像素。
[0184]
在此，至少一个区分像素在具有最大的信号值的区分像素以及具有第2大的值的区分像素这两个区分像素不属于相邻的两个区分距离的情况下，也可以是具有最大的信号值的一个区分像素。
[0185]
据此，在平均值的算出中，最大的信号值和第2大的信号值属于相邻的区分距离的情况、和不属于的情况都能够恰当地排除反射光的分量。
[0186]
在此，摄像部通过将脉冲状的发光以及曝光的组反复进行n次从而对n个区分图像
进行摄像，曝光的脉冲宽度也可以相当于发光的脉冲宽度。
[0187]
在此，也可以是距离测量装置具备根据n个区分图像生成亮度图像的亮度图像生成部9，亮度图像生成部9按每个像素位置，将与平均值对应的值决定为亮度图像的像素值。
[0188]
据此，能够生成基于不依赖于反射光的背景光得到的亮度图像(bg图像)。
[0189]
在此，也可以是距离测量装置具备根据n个区分图像生成亮度图像的亮度图像生成部9，亮度图像生成部9按每个像素位置，将与从最大的信号值减去平均值后的值对应的值决定为亮度图像的像素值。
[0190]
据此，从最大的信号值减去表示背景光的平均电平的平均值，因此能够抑制亮度图像中的背景光导致的对比度降低。
[0191]
在此，也可以是距离测量装置具备根据n个区分图像生成亮度图像的亮度图像生成部9，亮度图像生成部9按每个像素位置，在阈值比规定值大的情况下，将与n个区分像素的和对应的值决定为亮度图像的像素值，在阈值没有比规定值大的情况下，将与最大的信号值对应的值决定为亮度图像的像素值。
[0192]
据此，能够抑制亮度图像中的背景光导致的对比度降低。
[0193]
在此，也可以是距离测量装置具备根据n个区分图像生成亮度图像的亮度图像生成部9，亮度图像生成部9按每个像素位置，将与n个区分像素的和对应的值决定为亮度图像的像素值。
[0194]
据此，能够抑制亮度图像中的背景光导致的对比度降低。
[0195]
在此，也可以是摄像部通过将脉冲状的发光以及曝光的组反复进行n次从而对n个区分图像进行摄像，距离测量装置具备亮度图像生成部9，其从n个区分图像，生成不依赖于反射光的第一亮度图像、和依赖于反射光的第二亮度图像，所述反射光是针对于脉冲状的发光的反射光。
[0196]
据此，除了距离图像外，还生成不依赖于反射光的第一亮度图像和依赖于反射光的第二亮度图像，因此能够抑制在第一亮度图像以及第二亮度图像的至少一方中背景导致的对比度降低。
[0197]
在此，也可以是距离测量装置具备根据n个区分图像生成第一亮度图像以及第二亮度图像的亮度图像生成部9，亮度图像生成部9按每个像素位置，将与平均值对应的值决定为第一亮度图像的像素值，按每个像素位置，将与从最大的信号值减去平均值后的值对应的值决定为第二亮度图像的像素值。
[0198]
据此，从最大的信号值减去表示背景光的平均电平的平均值，因此能够抑制亮度图像中的背景光导致的对比度降低。
[0199]
在此，也可以是距离测量装置具备根据n个区分图像生成第一亮度图像以及第二亮度图像的亮度图像生成部9，亮度图像生成部9按每个像素位置，将与平均值对应的值决定为第一亮度图像的像素值，按每个像素位置，在阈值比规定值大的情况下，将与n个区分像素的和对应的值决定为第二亮度图像的像素值，按每个像素位置，在阈值没有比规定值大的情况下，将与最大的信号值对应的值决定为第二亮度图像的像素值。
[0200]
据此，能够抑制亮度图像中的背景光导致的对比度降低。
[0201]
在此，也可以是距离测量装置具备根据n个区分图像生成第一亮度图像以及第二亮度图像的亮度图像生成部9，亮度图像生成部9按每个像素位置，将与平均值对应的值决
定为第一亮度图像的像素值，按每个像素位置，将与n个区分像素的和对应的值决定为第二亮度图像的像素值。
[0202]
据此，能够抑制亮度图像中的背景光导致的对比度降低。
[0203]
在此，亮度图像生成部9也可以将从最大的信号值减去平均值后的值，使用与最大的信号值对应的区分距离的平方来校正。
[0204]
据此，能够将与从距离测量装置至被摄体位置的距离的平方成反比的反射光的信号电平校正为不依赖于距离的信号电平，能够进一步抑制第二亮度图像的画质(例如对比度)降低。
[0205]
在此，也可以是亮度图像生成部9在阈值比规定值大的情况下，将n个区分像素的像素值，使用与该区分像素对应的区分距离的平方来校正，将与校正后的n个区分像素的和对应的值决定为亮度图像的像素值。
[0206]
据此，将区分像素的信号电平校正为不依赖于距离的信号电平，能够抑制第二亮度图像的对比度的降低。
[0207]
在此，也可以是摄像部2具备按照发光脉冲而发出照射光的发光部4、按照曝光脉冲进行曝光从而对n个区分图像进行摄像的受光部5、和对每一个距离图像生成n组发光脉冲以及曝光脉冲的组从而对发光部以及受光部进行控制的控制部6，n组的发光脉冲和曝光脉冲之间的时间差也可以对应于n个区分距离。
[0208]
据此，能够容易地生成n个区分图像。
[0209]
此外，图像生成方法是生成距离图像的图像生成方法，对n个区分图像进行摄像，该n个区分图像与对测距范围进行分割的n个区分距离对应，从在构成n个区分图像的区分像素之中处于相同的像素位置的n个区分像素判定具有最大的信号值的区分像素，在最大的信号值为阈值以上时，将表示最大的信号值的区分像素的区分距离的值决定为距离图像中的该像素位置的距离值，在最大的信号值比阈值小时，决定为测距范围外。
[0210]
据此，能够抑制距离图像的精度降低，通过在可测距的范围内不存在被摄体的情况下的背景光来抑制误测距。
[0211]
以上，针对本公开所涉及的距离测量装置1以及图像生成方法，基于实施方式而进行了说明，但本公开并非被限定于实施方式。只要不脱离本公开的主旨，将本领域技术人员所想到的各种变形施加于本实施方式、或对实施方式以及变形例中的一部分的结构元素进行任意组合而构筑的别的方式也被包含于本公开的范围内。
[0212]
工业上的可利用性
[0213]
本公开适于距离测量装置以及图像生成方法，例如适于tof相机系统。
[0214]
标号说明
[0215]
1 距离测量装置
[0216]
2 摄像部
[0217]
3 信号处理部
[0218]
4 发光部
[0219]
5 受光部
[0220]
6 控制部
[0221]
7 存储器
[0222]
8 距离图像生成部
[0223]
9 亮度图像生成部
[0224]
81 最大值判定部
[0225]
82 阈值计算部
[0226]
83，97 比较部
[0227]
84 第一距离决定部
[0228]
85 第二距离决定部
[0229]
86，92，95，100，102 合成部
[0230]
91 第一亮度决定部
[0231]
93 第二亮度决定部
[0232]
94，96 校正部
[0233]
98，101 亮度加法部
[0234]
99 亮度决定部