成像装置以及车辆用灯具、车辆的制作方法

1.本公开涉及成像装置。


背景技术：

2.为了进行自动驾驶或前照灯的配光的自动控制，使用对存在于车辆的周围的物体的位置及种类进行感测的物体识别系统。物体识别系统包括传感器和对传感器的输出进行解析的运算处理装置。考虑用途、要求精度、成本地，从照相机、lidar(light detection and ranging：光检测和测距、laser imaging detection and ranging：激光成像检测和测距)、毫米波雷达、超声波声纳等中选择传感器。
3.作为成像装置(传感器)之一，已知使用鬼成像(ghost imaging)的原理的装置。鬼成像一边随机切换参照光的强度分布(图案)一边向物体照射，针对每个图案测定反射光的光检测强度。光检测强度是在某一平面内的能量或者强度的积分值，并非强度分布。并且，通过取得对应的图案与光检测强度的相关性来重构(reconstruct)物体的复原图像。
4.[在先技术文献]
[0005]
[专利文献]
[0006]
专利文献1：日本特许6412673号公报
[0007]
[非专利文献]
[0008]
非专利文献1：f.ferri，d.magatti，l.a.lugiato，and a.gatti，“differential gohst imaging(差分鬼成像)”，phys.rev.lett(物理评论快报).104，253603(2010)


技术实现要素：

[0009]
[发明要解决的课题]
[0010]
作为比较技术，本发明人等对以下说明的区域分割方式进行了研究。此外，不应将该比较技术认定为公知技术。
[0011]
图1的(a)、图1的(b)是说明区域分割方式的图。如图1的(a)所示，照明装置包括能够独立地接通、断开的多个发光像素。并且，多个发光像素被分割成多个分区(区域)a1～a4。
[0012]
在比较技术中，如图1的(b)所示，对于分区a1～a4，一边使强度分布随机地变化一边照射参照光。并且，对于多个分区a1～a4，通过取得光检测器的输出与参照光的强度分布的相关性来重构物体的该分区所包含的部分的复原图像。
[0013]
与不划分分区地利用全部像素随机照射的非分割方式相比，通过该比较技术能够减少总的运算量。
[0014]
本发明人等对非分割方式和区域分割方式进行了验证实验。在该验证中，将照射区域分割成4个分区。图2的(a)是在验证中使用的目标的照片，拍摄了象的摆设。图2的(b)是表示在非分割方式中得到的复原图像的图，图2的(c)是表示在区域分割方式中得到的复原图像的图。验证中使用鬼成像gi的算法和差分鬼成像dgi的算法。像素数为64
×
64像素，
各区域由32
×
32像素构成。
[0015]
在区域分割方式中，如图2的(c)所示，与左上的分区a1的复原图像相比，剩余的分区a2～a4的像素值变小，分区的边界清晰地显现，在画质方面比非分割方式差。
[0016]
本公开在这样的状况下完成，其一个方案的例示性的目的之一在于提供一种在减少运算量的同时抑制画质的劣化的成像装置。
[0017]
[用于解决技术课题的技术方案]
[0018]
本公开的一个方案涉及成像装置。成像装置包括：照明装置，其包括能够独立地控制接通、断开的多个发光像素，照射强度分布随机的参照光；光检测器，其测定来自物体的反射光；以及运算处理装置，其通过基于光检测器的输出的检测强度和参照光的强度分布的相关计算，重构物体的图像。多个发光像素被划分成分别包含相邻的n个(n≧2)发光像素的m个(m≧2)区域，通过从m个区域分别不重复地选择1个发光像素，从而确定n个发光像素组。并且，针对每个发光像素组，切换其中包含的发光像素的接通、断开而使参照光的强度分布变化。物体的复原图像按照每个发光像素组被复原。
[0019]
[发明效果]
[0020]
根据本公开，能够既减少运算量又抑制画质的劣化。
附图说明
[0021]
图1的(a)、图1的(b)是说明区域分割方式的图。
[0022]
图2的(a)是在验证中使用的目标的照片，图2的(b)是表示在非分割方式中得到的复原图像的图，图2的(c)是表示在区域分割方式中得到的复原图像的图。
[0023]
图3是表示实施方式的成像装置的图。
[0024]
图4的(a)、图4的(b)是说明实施方式的参照光s1的生成的图。
[0025]
图5是说明实施方式的参照光的图案控制的图。
[0026]
图6的(a)是表示通过光栅扫描方式得到的图像的图，图6的(b)是表示通过区域分割方式得到的图像的图。
[0027]
图7是说明变形例1的发光像素组的图。
[0028]
图8是物体识别系统的框图。
[0029]
图9是表示包括物体识别系统的汽车的图。
[0030]
图10是表示包括物体检测系统的车辆用灯具的框图。
具体实施方式
[0031]
(实施方式的概要)
[0032]
说明本公开的几个例示性的实施方式的概要。本概要作为后述的详细说明的前置，以实施方式的基本理解为目的，对1个或多个实施方式的几个概念进行简化说明，并非限定发明或者公开的广度。另外，本概要并非考虑的所有实施方式的总括的概要,并非限定实施方式的不可欠缺的构成要素。为了方便，“一实施方式”有时作为指示本说明书中公开的一个实施方式(实施例、变形例)或多个实施方式(实施例、变形例)而使用。
[0033]
本概要并非考虑的所有实施方式的广泛的概要，并非意图确定所有实施方式的重要的要素，也并非划定一部分或所有的方案的范围。其唯一的目的在于，作为后面展示的更
详细的说明的前置，以简化的形式展示1个或多个实施方式的几个概念。
[0034]
一实施方式的成像装置包括：照明装置，其包括能够独立地控制接通、断开的多个发光像素，照射强度分布随机的参照光；光检测器，其测定来自物体的反射光；以及运算处理装置，其通过基于光检测器的输出的检测强度和参照光的强度分布的相关计算，重构物体的图像。多个发光像素被划分成分别包含相邻的n个(n≧2)发光像素的m个(m≧2)区域。通过从m个区域分别不重复地选择1个发光像素，从而确定n个发光像素组。成像装置按照每个发光像素组进行检测。
[0035]
根据本实施方式，由于按照每一个发光像素组进行用于重构图像的相关计算，因此与利用全部像素进行感测并统一进行相关计算的情况相比，能够减少运算处理量。另外，由于各发光像素组中包含的发光像素遍及感测范围整体地分布，因此按照n个发光像素组得到的多个光检测强度被均匀化。因此，能够使按照每个发光像素组得到的复原图像的亮度一致，能够抑制复原图像的画质的劣化。
[0036]
在一实施方式中，各发光像素组也可以包含m个区域的相同位置(坐标)的发光像素。在这种情况下，能够简化发光像素组的切换处理。另外，在将针对n个发光像素组得到的n张图像进行合成而生成1张图像时，能够简化其运算处理。
[0037]
在一实施方式中，各发光像素组也可以包含m个区域的不同位置的发光像素。由此，能够使针对n个发光像素组得到的多个光检测强度均匀化，有时能够改善画质。
[0038]
在一实施方式中，运算处理装置也可以将针对n个发光像素组得到的n张图像进行合成，生成1张图像。由此，能够得到与同时使用全部像素进行感测的情况同等的分辨率的复原图像。
[0039]
(实施方式)
[0040]
以下，基于优选的实施方式并参照附图对本发明进行说明。对各附图所示的相同或同等的构成要素、构件、处理标注相同的附图标记，适当省略重复的说明。另外，实施方式不限定发明而是例示，并非实施方式所述的所有特征及其组合都是发明的本质性内容。
[0041]
本说明书中的“强度分布随机”并不意味完全随机，而是在鬼成像中能够重构图像的程度地随机即可。因此，本说明书中的“随机”可以在其中内含某种程度的规则性。另外，“随机”并非要求完全不可预测，也可以是可预测、可再现的。
[0042]
图3是表示实施方式的成像装置100的图。成像装置100是使用鬼成像的原理的相关函数图像传感器，包括照明装置110、光检测器120、运算处理装置130。成像装置100也称为量子雷达照相机。
[0043]
照明装置110是伪热光源，生成具有实质上可视为随机的强度分布i的参照光s1，并向物体obj照射。
[0044]
图4的(a)、图4的(b)是说明实施方式的参照光s1的生成的图。如图4的(a)所示，照明装置110包括多个(k个)发光像素pix。发光像素是接通/断开(点亮、熄灭)的控制单位。1个发光像素pix也可以包括接通、断开被统一设定的多个子像素。照明装置110根据发光像素pix的接通、断开的组合而生成空间上被图案化(调制)的参照光s1。
[0045]
多个发光像素pix被划分成分别包含相邻的n个(n≧2)发光像素的m个(m≧2)区域。
[0046]
在本示例中，照明装置110包括k＝8
×
8＝64个发光像素pix，相邻的纵横2个即n＝
4个发光像素pix形成一个分区。区域的个数m为k/n。
[0047]
多个发光像素pix被分类为n个发光像素组pg1～pgn(pg1～pg4)。各发光像素组pg1～pg4从m个区域分别不重复地选择1个发光像素pix而形成。1个发光像素组包含m个发光像素pix。
[0048]
在本示例中，各发光像素组pgi(i＝1～n)包含m个区域的相同位置的发光像素。此处的位置是各区域内的相对的位置(坐标)。即，发光像素组pg1包含m个区域各自的左上的发光像素pix，发光像素组pg2包含m个区域各自的右上的发光像素pix，发光像素组pg3包含m个区域各自的左下的发光像素pix，发光像素组pg4包含m个区域各自的右下的发光像素pix。
[0049]
在本实施方式中，成像装置100按照每个发光像素组pg1～pgn进行感测。
[0050]
图5是说明实施方式的参照光的图案控制的图。对于各发光像素组pgi(i＝1～n)，分别一边使强度分布变化，一边进行max次的照射。将第i个发光像素组pgi的第j次强度分布记述为i
i，j
。
[0051]
关于发光像素组pgi，照射i
i，1
～i
i，max
的强度分布的参照光。i
i，j
在构成第i个发光像素组pgi的m个发光像素中，若干为接通(点亮)，若干为断开(熄灭)，接通像素的分布实质上随机变化。总的照射次数、即图案数量为n
×
max。此外，将在图5中说明的照射方式称为光栅扫描方式。
[0052]
返回图3。光检测器120测定来自物体obj的反射光并输出检测信号d。检测信号d
i，j
是在向物体obj照射具有强度分布i
i，j
的参照光s1时，入射到光检测器120的光能(或者强度)的空间积分值。因此，光检测器120可以使用单像素的光检测器(光电检测器)。
[0053]
若照射具有n
×
max种强度分布i
1，1
～i
1，max
、i
2，1
～i
2，max
、
……in，1
～i
n，max
的参照光s1
i，j
(i∈1～n，j∈1～max)，则从光检测器120输出n
×
max个检测信号d
i，j
(i∈1～n，j∈1～max)。
[0054]
参照光s1的照射的顺序没有特别限定，例如，可以按i
1，1
～i
1，max
、i
2，1
～i
2，max
、i
3，1
～i
3，max
、i
n，1
～i
n，max
的顺序照射。或者，也可以按i
1，1
～i
n，1
、i
1，2
～i
n，2
、
……i1，max
～i
n，max
的顺序照射。
[0055]
照明装置110例如可包括生成具有均匀的强度分布的光s0的光源112以及能够对该光s0的强度部分进行空间调制的图案化设备114。光源112也可以使用激光器、发光二极管等。参照光s1的波长、光谱没有特别限定，可以是具有多个或者连续光谱的白色光，也可以是包含规定的波长(例如近红外或者红外)的单色光。
[0056]
作为图案化设备114，可以使用dmd(digital micromirror device：数字微镜器件)、液晶设备。在本实施方式种，图案化设备114覆盖测定范围600整体，具有能够同时照射测定范围600整体的能力。
[0057]
从运算处理装置130向图案化设备114提供指定强度分布i
i，j
的图案信号ptn
i，j
(图像数据)。因此，运算处理装置130了解当前的照射分区的位置和参照光s1的强度分布i
i，j
。
[0058]
运算处理装置130包括图案发生器132和重构处理部134。
[0059]
图案发生器132也可以每次随机地生成参照光s1的强度分布i
i，j
。在这种情况下，图案发生器132可以包括伪随机信号发生器。
[0060]
或者，关于多个发光像素组pg1～pgn，也可以利用共通的图案的强度分布的集合
i1～i
max
。例如，也可以是，对于一个发光像素组pg1的图案的集合i
1，1
～i
1，max
，直接使用i1～i
max
，对于其他发光像素组pg2～pgn的强度分布，通过将i1～i
max
在水平方向和/或垂直方向上位移几个像素而生成。
[0061]
运算处理装置130能够通过cpu(central processing unit：中央处理单元)或mpu(micro processing unit：微处理单元)、微型计算机等处理器(硬件)，以及处理器(硬件)所执行的软件程序的组合来实现。运算处理装置130也可以是多个处理器的组合。或者，运算处理装置130也可以仅由硬件构成。
[0062]
重构处理部134对于多个发光像素组pg1～pgn中的一个pgi，通过取得多个检测强度b
i，1
～bi
，max
与参照光s1
i，1
～s1
i，max
的强度分布i
i，1
～i
i，max
的相关性，来重构物体obj的图像gi。该图像gi的分辨率为照明装置110的分辨率的1/n倍。
[0063]
检测强度b
i，1
～b
i，max
基于检测信号d
i，1
～d
i，max
。检测强度b
i，j
与检测信号d
i，j
的关系，只要考虑光检测器120的种类、方式等确定即可。
[0064]
在某一照射期间内照射某一强度分布i
i，j
的参照光s1。另外，检测信号d
i，j
表示某一时刻(或者微小时间)的受光量，即瞬时值。在这种情况下，也可以在照射期间中对检测信号d
i，j
进行多次采样，将检测强度b
i，j
作为检测信号d
i，j
的全部采样值的积分值、平均值或者最大值。或者，也可以筛选全部采样值中的几个，使用筛选出的采样值的积分值或平均值、最大值。多个采样值的筛选，例如可以从最大值开始数起、提取第x个至第y个的序列，也可以将低于任意的阈值的采样值除外，也可以提取信号变动的大小为较小的范围的采样值。
[0065]
作为光检测器120，在使用如照相机那样曝光时间可设定的设备的情况下，可以将光检测器120的输出d
i，j
直接作为检测强度b
i，j
。
[0066]
从检测信号d
i，j
向检测强度b
i，j
的转换可以由运算处理装置130执行，也可以在运算处理装置130的外部进行。
[0067]
在与第i(1≦i≦n)个发光像素组pgi相关的图像gi的复原中使用式(1)的相关函数。i
i，j
是第j个(1≦j≦m)强度分布，b
i，j
是第j个检测强度的值。
[0068]
[式1]
[0069][0070][0071]
运算处理装置130也可以通过将针对多个发光像素组pg1～pgn得到的多个图像g1～gn结合从而生成1张图像。1张图像具有与照明装置110的分辨率相同的高分辨率。
[0072]
以上是成像装置100的构成。接着说明其优点。
[0073]
该成像装置100中的运算次数如下。
[0074]
将测定范围整体的像素数设为x
×
y，将各发光像素组的水平和垂直方向的像素数设为x，y。其中，x
×
y＝(x
×
y)
×
n。
[0075]
在假设为1像素的复原需要1次图案照射时，x
×
y像素的复原所需要的照射次数max’为
[0076]
max’＝(x
×
y)。
[0077]
此外，实际的照射次数存在比max’多或者少的情况，但请注意大致与(x
×
y)成比例。因此，每1个分区的计算次数为(x
×
y)2。相对于n个所有发光像素组pg1～pgn的总的运算次数o’为
[0078]
o’＝n
×
(x
×
y)2。
[0079]
以往的照射测定范围整体的方法的计算次数o为
[0080]
o＝(x
×
y)2。
[0081]
由于x
×
y＝(x
×
y)
×
n的关系成立，因此根据本实施方式，与以往相比，能够将计算次数减少至o’/o＝1/n倍。
[0082]
例如，考虑x＝y＝1024的情况。在该情况下，若设为n＝16，发光像素组pg的像素数为x＝y＝256，则能够将计算次数减少至1/16倍。
[0083]
在使用相同速度的运算处理装置的情况下，计算次数的减少意味着能够缩短运算时间。或者，为了在相同的时间结束处理，能够采用更慢的(因此廉价的)运算处理装置。
[0084]
接着，说明成像装置100的进一步的优点。图6的(a)是表示通过光栅扫描方式得到的图像的图，图6的(b)是表示通过区域分割方式得到的图像的图。验证在与图2的(a)、图2的(b)相同的条件下进行，在区域分割方式中，各区域包含32
×
32像素。在光栅扫描方式中，设为n＝4，各发光像素组pg1～pg4包含32
×
32像素。每个区域或者每个发光像素组的照射次数max为10000次。
[0085]
如图6的(b)所示，在区域分割方式中，若不重构全部区域的图像，则无法了解物体的整体的状况。相对于此，如图6的(b)所示，在光栅扫描方式中，每一次发光像素组的感测，能够以粗糙的分辨率检测物体整体的状况。
[0086]
进而，在区域分割方式中，按照每个区域得到的图像的亮度不同，因此在合成后的图像中，区域的边界显现，画质劣化。这是图像的亮度受到式(1)中的《bi》的影响而引起的。具体而言，在左上的区域中，仅在32
×
32像素中的与象的头部对应的下方的部分存在物体，因此物体在像素数中所占的比例较低，《bi》变小。相对于此，在左下或者右下的区域中，32
×
32像素中的与象的身体和脚对应的部分所占的比例变多，像素数所示的物体的比例升高，《bi》变大。这是每个区域亮度不同的原因。
[0087]
相对于此，在光栅扫描方式中，对于发光像素组pg1～pg4，像素数所示的物体所占的比例均匀化。由此，对于发光像素组pg1～pg4，能够使《bi》接近。结果，能够使g1～g4的亮度均匀化，在合成后的图像中，不会产生区域的边界那样的图像，能够改善画质。
[0088]
如图4所示，在各发光像素组pgi包含相同位置的发光像素的情况下，还具有能够简化将n张图像g1～gn合成1张图像时的运算处理的优点。
[0089]
本领域技术人员应该理解，实施方式是例示，它们的各构成要素及各处理流程的组合可以有各种变形例，并且这样的变形例也在本发明的范围内。以下，对这样的变形例进行说明。
[0090]
(变形例1)
[0091]
在图4中，多个发光像素组pg1～pg4包含m个区域的相同位置的发光像素，但不限
于此。图7是说明变形例1的发光像素组的图。在变形例1中，n个发光像素组pg1～pgn被构成为包含m个区域的不同位置的发光像素。此时，可以选择各发光像素组pgi所包含的发光像素的分布尽可能随机。由此，能够进一步削除物体相对于发光像素组pg1～pgn的存在偏差。
[0092]
(变形例2)
[0093]
可适用本发明的图像重构的算法并不被限定于gi，也可适用于dgi等其他算法的感测装置。
[0094]
(变形例3)
[0095]
在实施方式中，将照明装置110由光源112和图案化设备114的组合构成，但不限于此。照明装置110也可以由配置成矩阵状的多个半导体光源(led(发光二极管)、ld(激光二极管))的阵列构成，能够控制各个半导体光源的接通、断开(或者亮度)地构成。
[0096]
(用途)
[0097]
接着，说明成像装置100的用途。
[0098]
图8是物体识别系统10的框图。该物体识别系统10被搭载于汽车、摩托车等车辆，对存在于车辆的周围的物体obj的种类(类别)进行判定。
[0099]
物体识别系统10包括成像装置100和运算处理装置40。如上所述，成像装置100通过向物体obj照射参照光s1，测定反射光s2，从而生成物体obj的复原图像g。
[0100]
运算处理装置40处理成像装置100的输出图像g，判定物体obj的位置及种类(类别)。
[0101]
运算处理装置40的分类器42接受图像g作为输入，判定其中包含的物体obj的位置及种类。分类器42基于通过机器学习生成的模型而实现。分类器42的算法没有特别限定，可以采用yolo(you only look once：仅查看一次)、ssd(single shot multibox detector：单时多箱检测器)、r-cnn(region-based convolutional neural network：基于区域的卷积神经网络)、sppnet(spatial pyramid pooling：空间金字塔池化)、faster r-cnn、dssd(deconvolution
–
ssd：去卷积
–
ssd)、mask r-cnn等，或者可以采用将来开发的算法。
[0102]
以上是物体识别系统10的构成。通过使用成像装置100作为物体识别系统10的传感器，能够得到以下优点。
[0103]
第一，通过使用成像装置100即量子雷达照相机，噪声耐性显著提高。例如，在降雨时、降雪时或者在雾中行驶的情况下，肉眼难以识别物体obj，但通过使用成像装置100，能够不受雨、雪、雾的影响地得到物体obj的复原图像g。
[0104]
第二，通过按照每个发光像素组pg进行感测，能够减少运算量。由此，能够提高帧率或者作为运算处理装置选择廉价的处理器。
[0105]
此外，在成像装置100中，也可以使发光像素组pg的个数n根据行驶环境而自适应性地变化。
[0106]
图9是表示包括物体识别系统10的汽车的图。汽车300包括前照灯302l、302r。成像装置100内置于前照灯302l、302r的至少一者。前照灯302位于车身的最前端，在对周围的物体进行检测的方面，作为成像装置100的设置部位最有利。
[0107]
图10是表示包括物体检测系统210的车辆用灯具200的框图。车辆用灯具200与车辆侧ecu304一起构成灯具系统310。车辆用灯具200包括光源202、点亮电路204、光学系统206。进而，在车辆用灯具200中设有物体检测系统210。物体检测系统210与上述物体识别系
统10对应，包括成像装置100和运算处理装置40。
[0108]
与运算处理装置40检测到的物体obj相关的信息，也可以用于车辆用灯具200的配光控制。具体而言，灯具侧ecu208基于运算处理装置40生成的与物体obj的种类及其位置相关的信息，生成适当的配光图案。点亮电路204及光学系统206以得到灯具侧ecu208生成的配光图案的方式动作。
[0109]
另外，与运算处理装置40检测到的物体obj相关的信息也可以发送到车辆侧ecu304。车辆侧ecu也可以基于该信息来进行自动驾驶。
[0110]
实施方式仅表示本发明的原理、应用的一个侧面，在实施方式中，在不脱离权利要求书所规定的本发明的思想的范围内，能够确认到较多的变形例及配置的变更。
[0111]
[工业可利用性]
[0112]
本公开涉及成像装置。
[0113]
[附图标记说明]
[0114]
obj 物体
[0115]
10 物体识别系统
[0116]
40 运算处理装置
[0117]
42 分类器
[0118]
100 成像装置
[0119]
110 照明装置
[0120]
112 光源
[0121]
114 图案化设备
[0122]
120 光检测器
[0123]
130 运算处理装置
[0124]
132 图案发生器
[0125]
134 重构处理部
[0126]
200 车辆用灯具
[0127]
202 光源
[0128]
204 点亮电路
[0129]
206 光学系统
[0130]
300 汽车
[0131]
302 前照灯
[0132]
310 灯具系统
[0133]
304 车辆侧ecu
[0134]
600 测定范围
[0135]
602 分区