摄像系统的制作方法

1.本发明涉及摄像系统。


背景技术：

2.以往，提出了一种照明控制装置，能够设定照明区域，使得照明光被适当地投射在本车照明对视觉辨认性造成的影响较大的区域(参照专利文献1)。这种照明控制装置被设为，能够基于照明光点亮时拍摄到的点亮图像与熄灭时拍摄到的熄灭图像的差分图像来设定照明区域，使得照明光被适当地投射在本车照明对驾驶员的视觉辨认性造成的影响较大的区域。
3.[在先技术文献]
[0004]
[专利文献]
[0005]
专利文献1：日本特开2010-235045号公报


技术实现要素：

[0006]
[发明要解决的课题]
[0007]
然而，在基于照明光点亮时拍摄到的点亮图像与熄灭时拍摄到的熄灭图像的差分图像来判断车辆前方区域的状况的情况下，差分图像的数量为摄影图像的数量的一半。另外，与在一个差分图像的熄灭图像与下一个差分图像的点亮图像之间的期间产生的车辆前方区域的状况变化相关的信息，不被反映在任何差分图像中。
[0008]
另外，超过照相机的动态范围的界限而拍摄到的图像会发白或产生黑斑。例如，存在若拍摄点亮图像时的照明光过亮则识别对象发白，若熄灭时的环境光过暗则识别对象产生黑斑的情况。因此，对车辆前方进行拍摄时需要以适当的亮度照明。
[0009]
本发明鉴于这样的状况而完成，其例示性的目的之一在于提供一种用于更高精度地判别车辆周围的状况的新技术。
[0010]
本发明的其他例示性的目的之一在于提供一种用于更高精度地判别车辆周围的状况的新技术。
[0011]
[用于解决技术课题的技术方案]
[0012]
为了解决上述课题，本发明的一个方案的摄像系统包括：向车辆的周围发出光的发光部；对包含发光部发出的光所照射的区域的范围进行拍摄的摄像部；以及根据由摄像部拍摄到的n(n是3以上的整数)张摄像图像生成n-1张差分图像的差分图像生成部。差分图像生成部基于n张摄像图像中包含的在发光部的点亮时拍摄到的图像和在发光部的减光时拍摄到的图像，生成差分图像。
[0013]
根据本方案，由于根据n张拍摄图像得到仅少1张的n-1张差分图像，因此不那么提高帧率就得到所期望的数量的差分图像。由此，能够在规定的时间内使用更多的差分图像而更高精度地判别车辆周围的状况。
[0014]
摄像部也可以从连续的n个帧取得n张摄像图像。由此，与从不连续的n个帧取得n
张摄像图像的情况相比，不易漏掉在差分图像与差分图像之间产生的车辆周围的状况的变化的信息。
[0015]
也可以是，差分图像生成部根据从第1帧取得的在发光部的点亮时拍摄到的第1摄像图像和从与第1帧连续的第2帧取得的在发光部的减光时拍摄到的第2摄像图像，生成第1差分图像，根据从与第2帧连续的第3帧取得的在发光部的点亮时拍摄到的第3摄像图像和所述第2摄像图像生成第2差分图像。由此，根据连续的3张摄像图像生成2张差分图像。另外，由于各差分图像是分别在发光部的点亮时和减光时(也包括熄灭时)拍摄到的摄像图像的差分，因此来自周围环境的光的影响被抑制。即，由于主要拍摄发光部发出的光所照射的区域，因此来自周围环境的光及与其相伴的阴影的影响被降低，使用根据摄像图像生成的差分图像的图像识别的精度增加。
[0016]
发光部也可以被构成为能够以车辆用灯具所具备的光源的通常的光度的10倍以上的光度发光。由此，来自周围环境的光的影响进一步被抑制。
[0017]
也可以是，若将1帧的期间设为t，则摄像部在1帧的期间内曝光t/x(x＞1)的时间，发光部被构成为能够在t/x的时间内发出光，并且能够以光源的光度的x倍以上的光度发光。像这样，能够通过在短时间内进行大输出的发光而减短曝光时间，结果能够减小环境光(例如太阳光)对摄像图像的影响的比例。
[0018]
发光部发出的光的峰值波长也可以为940
±
20nm。这样的近红外的波长的光在环境光中几乎不含有。因此，通过利用摄像部来区分环境光和近红外的波长的光，能够高精度地判别被近红外的波长的光照射的车辆周围的状况。
[0019]
本发明的其他方案的摄像系统包括：向车辆的周围发出光的发光部；对包含发光部发出的光所照射的区域的范围进行拍摄的摄像部；以及根据由摄像部拍摄到的n张摄像图像生成n-1张差分图像的差分图像生成部。差分图像生成部基于n张摄像图像中包含的、在发光部以第1光度c1发光时拍摄到的第1摄像图像和在发光部以第2光度c2(0《c2《c1)发光时拍摄到的第2摄像图像，生成差分图像。
[0020]
根据本方案，基于在发光部的光度不同的照射条件下拍摄到的至少2张摄像图像而生成差分图像。因此，在降低环境光的影响的同时，容易得到包含可判别的亮度的对象物的差分图像。
[0021]
差分图像生成部也可以基于第1摄像图像和在发光部以第3光度c3(c2《c3《c1)发光时拍摄到的第3摄像图像，生成差分图像。由此，生成拍摄2张摄像图像时的发光部的光度的差(c1-c2、c1-c3)不同的2张差分图像。因此，在至少一张差分图像中，包含可判别的亮度的对象物的可能性变高。
[0022]
摄像部也可以从连续的n个帧取得n张摄像图像。由此，与从不连续的n个帧取得n张摄像图像的情况相比，不易漏掉在差分图像与差分图像之间产生的车辆周围的状况的变化的信息。
[0023]
差分图像生成部也可以根据第1摄像图像和第2摄像图像生成第1差分图像，根据第1摄像图像和第3摄像图像生成第2差分图像。
[0024]
也可以还包括对处于车辆的周围的多个标识进行判别的判别部。判别部也可以根据第1差分图像判别多个标识中包含的第1标识，根据第2差分图像判别多个标识中包含的第2标识。由此，可判别的标识增加。
[0025]
判别部也可以根据第1差分图像判别处于比第2标识更靠近车辆的位置的第1标识，根据第2差分图像判别处于比第1标识更远离车辆的位置的第2标识。由此，即使存在距离不同的多个标识，也能够判别双方的标识。
[0026]
发光部也可以被构成为能够以车辆用灯具所具备的光源的通常的光度的10倍以上的光度发光。由此，来自周围环境的光的影响被抑制。
[0027]
也可以是，若将1帧的期间设为t，则摄像部在1帧的期间内曝光t/x(x＞1)的时间，发光部被构成为能够在t/x的时间内发出光，并且能够以光源的光度的x倍以上的光度发光。像这样，能够通过在短时间内进行大输出的发光而减短曝光时间，结果能够减小环境光(例如太阳光)对摄像图像的影响的比例。
[0028]
发光部发出的光的峰值波长也可以为940
±
20nm。这样的近红外的波长的光在环境光中几乎不含有。因此，通过利用摄像部来区分环境光和近红外的波长的光，能够高精度地判别被近红外的波长的光照射的车辆周围的状况。
[0029]
此外，以上构成要素的任意组合、以及将本发明的表现在方法、装置、系统等之间进行转换的方式作为本发明的方案也是有效的。
[0030]
[发明效果]
[0031]
根据本发明，能够更高精度地判别车辆周围的状况。
附图说明
[0032]
图1是用于说明车辆具备的照相机所取得的多种光的示意图。
[0033]
图2是本实施方式的摄像系统的功能块图。
[0034]
图3是表示本实施方式的摄像系统的图像处理的一个示例的示意图。
[0035]
图4是表示摄像系统的图像处理的参考例的示意图。
[0036]
图5是表示本实施方式的摄像系统的图像处理的其他示例的示意图。
[0037]
图6是表示通过车辆具备的发光部照射距离不同的多个交通标识的情况的示意图。
[0038]
图7是表示本实施方式的摄像系统的图像处理的变形例的示意图。
[0039]
图8是表示本实施方式的摄像部中的检测对象的亮度值与检测后的灰度值的关系的示意图。
[0040]
图9的(a)是表示摄像图像1的图，图9的(b)是表示摄像图像2的图。
[0041]
图10是表示本实施方式的其他状况下的摄像部中的检测对象的亮度值与检测后的灰度值的关系的示意图。
[0042]
图11是表示本实施方式的摄像系统的图像处理的其他变形例的示意图。
[0043]
图12的(a)是表示在灯以光度c1照射的定时照相机所取得的摄像图像1的图，图12的(b)是表示在灯以光度c2照射的定时照相机所取得的摄像图像2的图，图12的(c)是表示在灯以光度c3照射的定时照相机所取得的摄像图像3的图。
[0044]
图13的(a)是表示差分图像1的图，图13的(b)是表示差分图像2的图。
具体实施方式
[0045]
以下，参照附图对用于实施本发明的方式进行详细说明。此外，在附图的说明中对
相同的要素标注相同的附图标记，适当省略重复的说明。另外，以下所述的构成是例示，并不对本发明的范围进行任何限定。
[0046]
(第1实施方式)
[0047]
图1是用于说明车辆具备的照相机所取得的多种光的示意图。近年来，在adas(advanced driver-assistance systems：先进驾驶辅助系统)、自动驾驶中使用的图像识别，基于由车辆10具备的照相机12取得的图像而进行基于ai或机械学习的识别。但是，在取得图像时，周围的光及由其产生的阴影的影响成为问题。例如，入射到照相机12的光，可举出来自被太阳或月亮的光这样的自然环境光l1照射到的交通参与者的反射光l1’。在此，交通参与者14是指车辆为了adas或自动驾驶所需要的识别对象，是指汽车、自行车、机动二轮车、行人、交通标识、信号灯等。
[0048]
在这些交通参与者14中，来自汽车16或机动二轮车18所具备的灯具、信号灯等照明器具的照射光l2也入射到照相机12。除此之外，从车辆10具备的作为发光部的灯20向车辆周围发出的照射光l3照射交通参与者14，其反射光l3’也入射到照相机12。像这样，入射到照相机的光是多样的，判别1张图像中的亮部、阴影是由哪种光产生的并不简单。
[0049]
具体而言，在夜间，可举出由周围的光l2、车辆10的近光截止线形成的光l3产生的对比度。在白天，因太阳的自然环境光l1和建筑物产生的阴影，会使识别的精度降低。另外，在黄昏时，周围变得昏暗而难以看清，即使由车辆10的前照灯照射光，效果也较弱，为难以进行识别的状况。另外，即使是相同场所，根据光的照射方式，阴影的形成方式也不同，因此认为ai、机械学习的学习也必须设想到这些场景而进行。
[0050]
因此，鉴于上述课题，本技术的发明人等想到了如下可能性：通过仅检测从本车侧照射的光l3的反射光l3’，从而不受周围的环境光的影响，另外，取得没有阴影的稳定的图像。具体而言，作为不受外部的光的影响而仅高效地取入本车侧的光的反射的方法，考虑以下方法。
[0051]
(方法1)选择照射的光的波长。例如，在环境光中也使用比较少的波段的光(940nm
±
20nm的近红外线)。
[0052]
(方法2)减短照相机的曝光时间，通过与曝光时间同步地脉冲性地照射大输出的光，从而抑制外部的光取入，并且高效地取入本车的光。
[0053]
(方法3)为了进一步排除周围的光的影响，在第1定时与本车的光的照射同步地曝光而取得图像1。接下来在第2定时不照射本车的光而使照相机曝光从而取得图像2。之后，通过生成图像1与图像2的差分图像，从而使本车的照射光之外的光抵消。
[0054]
通过组合上述的方法1～3，能够进一步减少周围的光的影响。另外，在方法1中使用峰值波长为940nm左右的近红外线，但例如也可以使用可见光并与方法2和方法3组合。另外，在使用可见光的情况下，例如也可以使光源与drl(daytime running lamps：日间行车灯)的功能共通。
[0055]
关于光的影响，白天的太阳光为100万cd/m2，本车的照射光为平均1万cd/m2(例如输出为平均10w)。在此，若将本车的照射光以duty(占空比)1％输出平均10w，则能够瞬间输出1000w，亮度成为100万cd/m2。
[0056]
并且，如果将照相机的曝光时间以duty(占空比)1％进行同步，则能够照射与白天的亮度同等的亮度。进而，通过像方法3那样取得2个图像的差分，从而在白天也能够取得仅
受本车的照射光的影响的影像。此时，作为由相机接收的反射光，通过将峰值波长缩小为940nm左右的近红外线，能够进一步取得鲜明的图像。
[0057]
图2是本实施方式的摄像系统100的功能块图。如图2所示，摄像系统100具有：向车辆的周围发出光的发光部102；对包含发光部102发出的光所照射的区域的范围进行拍摄的摄像部(104)；以及对发光部102发出的光的强度及发光定时、摄像部的灵敏度及摄像定时进行控制的控制部106。控制部106具有根据由摄像部104拍摄到的多个摄像图像生成差分图像的差分图像生成部108。
[0058]
图3是表示本实施方式的摄像系统的图像处理的一个示例的示意图。如图3所示，照相机以规定的帧率连续地拍摄车辆周围。具体而言，在帧f1的定时t1，开始照相机的曝光(时间t1)，并开始灯的照射(时间t1’≦时间t1)。结果，得到第1张摄像图像1。接着，在帧f2的定时t2，开始照相机的曝光(时间t2＝时间t1)，但灯不进行照射(或进行减光)。结果，得到第2张摄像图像2。
[0059]
摄像图像1包含由图1所示的自然环境光l1引起的反射光l1’、来自交通参与者14的照射光l2、灯20照射的光的反射光l3’的信息。另一方面，拍摄图像2由于在灯20非点亮的状态下拍摄，因此不包含反射光l3’的信息，仅包含反射光l1’和照射光l2的信息。因此，在控制部16的差分图像生成部108中，根据拍摄图像1和拍摄图像2生成差分图像1。
[0060]
由此，得到仅包含反射光l3’的信息的差分图像1，由自然环境光l1引起的反射光l1’、来自交通参与者14的照射光l2的影响被抑制。结果，在adas(advanced driver-assistance systems：先进驾驶辅助系统)、自动驾驶中，使用了摄像图像、差分图像的状况识别的精度提高。
[0061]
接着，对不那么提高帧率而较多地取得差分图像的方法进行说明。首先，对根据特定的2张摄像图像来生成1张差分图像的情况进行说明。图4是表示基于摄像系统的图像处理的参考例的示意图。如图4所示，在各帧f1～f4中，得到4张摄像图像1～4。摄像图像1和摄像图像3是在有灯的照射的状态下拍摄到的图像，摄像图像2和摄像图像4是在没有灯的照射的状态下拍摄到的图像。
[0062]
在参考例的摄像系统中，根据摄像图像1和摄像图像2得到仅包含反射光l3’的信息的差分图像1，根据摄像图像3和摄像图像4得到仅包含反射光l3’的信息的差分图像2。但是，所得到的差分图像的数量相对于4帧的摄像图像为2张，假如想要以相同时间取得4张差分图像，则需要将帧率提高至2倍。
[0063]
除此之外，在差分图像1和差分图像2所包含的信息中，不包含从帧f2中照相机的曝光以及灯的照射结束起(t2 t1)到帧f3中拍摄开始的定时t3为止，在车辆周围产生的状况的变化。即，在一部分期间中有可能产生信息的缺失。
[0064]
图5是表示本实施方式的摄像系统的图像处理的其他示例的示意图。本实施方式的摄像系统100所具备的差分图像生成部108根据拍摄到的n(n是3以上的整数)张摄像图像生成n-1张差分图像。差分图像生成部108基于n张摄像图像中包含的在发光部点亮时拍摄到的图像和在发光部减光时拍摄到的图像，生成差分图像。以下，对根据4张摄像图像来生成3张差分图像的情况进行说明。
[0065]
如图5所示，在各帧f1～f4中，得到4张摄像图像1～4。摄像图像1和摄像图像3是在具有灯的照射的状态下拍摄到的图像，摄像图像2和摄像图像4是在没有灯的照射的状态
(或者减光时的状态)下拍摄到的图像。
[0066]
在本实施方式的摄像系统100中，根据摄像图像1和摄像图像2得到仅包含反射光l3’的信息的差分图像1，根据摄像图像2和摄像图像3得到仅包含反射光l3’的信息的差分图像2，根据摄像图像3和摄像图像4得到仅包含反射光l3’的信息的差分图像3。
[0067]
根据本方案，由于根据4张摄像图像得到仅少1张的3张差分图像，因此不那么提高帧率就得到所期望的数量的差分图像。同样，由于根据60张摄像图像得到59张差分图像，因此几乎不改变帧率就得到与摄像图像的张数几乎不变的张数的差分图像。由此，能够在规定的时间内使用更多的差分图像而更高精度地判别车辆周围的状况。
[0068]
另外，在图5所示的示例中，摄像部104从连续的4个帧取得4张摄像图像1～4。由此，与从不连续的4个帧取得4张摄像图像的情况相比，不易漏掉在差分图像与差分图像之间产生的车辆周围的状况的变化的信息。
[0069]
另外，本实施方式的差分图像生成部108根据从帧f1取得的在发光部102点亮时拍摄到的摄像图像1和从与帧f1连续的帧f2取得的在发光部102减光时拍摄到的摄像图像2，生成差分图像1，根据从与帧f2连续的帧f3取得的在发光部102点亮时拍摄到的摄像图像3和上述摄像图像2生成差分图像2。由此，根据连续的3张摄像图像1～3生成2张差分图像1、2。另外，由于差分图像1、差分图像2是分别在发光部102点亮时和减光时(减光时也包括熄灭时)拍摄到的摄像图像的差分，因此来自周围环境的光的影响被抑制。即，由于主要拍摄发光部102发出的光所照射的区域，因此来自周围环境的光及与其相伴的阴影的影响被降低，使用根据摄像图像生成的差分图像的图像识别的精度增加。
[0070]
(第2实施方式)
[0071]
接着，对判别距本车的距离不同的多个交通标识(交通参与者14的一个示例)的方法进行说明。图6是表示通过车辆具备的发光部照射距离不同的多个交通标识的情况的示意图。图7是表示本实施方式的摄像系统的图像处理的变形例的示意图。图8是表示本实施方式的摄像部中的检测对象的亮度值与检测后的灰度值的关系的示意图。图9的(a)是表示摄像图像1的图，图9的(b)是表示摄像图像2的图。
[0072]
图6所示的交通标识22a、22b距车辆10的距离不同，在其反射光l3’入射到照相机12的情况下，由控制部106检测出的亮度值各自不同。例如，如图7所示，照相机以规定的帧率连续地拍摄车辆周围。具体而言，在帧f1的定时t1，开始照相机的曝光(时间t1)，并以光度c1开始灯的照射(时间t1’≦时间t1)。结果，得到第1张摄像图像1。接着，在帧f2的定时t2，开始照相机的曝光(时间t2＝时间t1)，并以光度c2(0《c2《c1)开始灯的照射(时间t1’＝时间t2’《时间t2)。结果，得到第2张摄像图像2。
[0073]
所得到的2张图像各自包含亮度值不同的2个交通标识22a、22b。并且，根据图8所示的亮度与灰度的关系，在灯以光度c1照射的定时由照相机12取得的亮度值la的交通标识22a，在摄像图像1中作为灰度ga的交通标识22a而被识别。同样，在灯以光度c1照射的定时由照相机12取得的亮度值lb的交通标识22b，在摄像图像1中作为灰度gb的交通标识22b而被识别。同样，在灯以光度c2照射的定时由照相机12取得的亮度值la’的交通标识22a，在摄像图像2中作为灰度ga’的交通标识22a而被识别。同样，在灯以光度c2照射的定时由照相机12取得的亮度值lb’的交通标识22b，在摄像图像2中作为灰度gb’的交通标识22b而被识别。
[0074]
在摄像图像1、2中的交通标识22a、22b的亮度值la、lb、la’、lb’被包含在照相机的
检测范围(动态范围r1)内的情况下，如图9的(a)、图9的(b)所示，在任意一个摄像图像中均能够判别交通标识22a、22b的内容。另外，在控制部106的差分图像生成部108中，通过根据摄像图像1和摄像图像2生成差分图像1，从而得到仅包含反射光l3’的信息的差分图像1，由自然环境光l1引起的反射光l1’、来自其他交通参与者14的照射光l2的影响被抑制。结果，在adas(advanced driver-assistance systems：先进驾驶辅助系统)、自动驾驶中，使用了摄像图像、差分图像的状况识别的精度提高。
[0075]
另一方面，并非能够通过规定的灯的光度c1、c2来进行所有交通参与者14的判别。其理由是因为，交通参与者各自的反射率不同，另外，根据与交通参与者的距离而到达照相机的反射光l3’的亮度不同。因此，本发明人等提出了能够得到扩大可判别的亮度的对象物的范围的差分图像的技术。
[0076]
图10是表示本实施方式的其他状况下的摄像部中的检测对象的亮度值与检测后的灰度值的关系的示意图。图11是表示本实施方式的摄像系统的图像处理的其他变形例的示意图。图12的(a)是表示在灯以光度c1照射的定时照相机12所取得的摄像图像1的图，图12的(b)是表示在灯以光度c2照射的定时照相机12所取得的摄像图像2的图，图12的(c)是表示在灯以光度c3照射的定时照相机12所取得的摄像图像3的图。
[0077]
例如，根据本车与交通标识的距离，存在发光部的光度过高的情况。在该情况下，摄像部中的检测对象的亮度值与检测后的灰度值的关系为被包含在图10所示的发白的范围r2内。因此，在灯以光度c1照射的定时照相机12所取得的亮度值la的交通标识22a，在摄像图像1中成为灰度ga(灰度值255)而被识别为全白。同样，在灯以光度c1照射的定时照相机12所取得的亮度值lb的交通标识22b，在摄像图像1中成为灰度gb(灰度值255)而被识别为全白(参照图12的(a))。
[0078]
另一方面，若发光部的光度过低，则存在无法有充分的光到达距本车较远的交通标识的情况。在该情况下，摄像部中的检测对象的亮度值与检测后的灰度值的关系为被包含在图10所示的黑斑的范围r3内。因此，在灯以光度c2照射的定时照相机12所取得的亮度值la’的交通标识22a，在摄像图像2中成为灰度ga’，标识的内容被识别。相对于此，在灯以光度c2照射的定时照相机12所取得的亮度值lb’的交通标识22b，在摄像图像2中成为灰度gb’(灰度值0)而被识别为全黑(参照图12的(b))。
[0079]
因此，在根据图12的(a)所示的摄像图像1和图12的(b)所示的摄像图像2而生成的差分图像1中，交通标识22a的内容能够判别，但交通标识22b不能判别。在此，在本实施方式的其他变形例中，如图11所示，在帧f1与帧f2之间的帧f3的定时t3，开始照相机的曝光(时间t3)，并以光度c3(c2《c3《c1)开始灯的照射(时间t3’≦时间t3)。结果，得到第3张摄像图像3。
[0080]
接着，在帧f2的定时t2，开始照相机的曝光(时间t2＝时间t1)，并以光度c2(0《c2《c1)开始灯的照射(时间t1’＝时间t2’≦时间t2)。结果，得到第2张摄像图像2。在灯以光度c3照射的定时照相机12所取得的亮度值la”的交通标识22a，在摄像图像3中成为灰度ga”(灰度值255)而被识别为全白。另一方面，在灯以光度c3照射的定时照相机12所取得的亮度值lb”的交通标识22b，在摄像图像3中被识别为灰度gb”(灰度值≠255)(参照图12的(c))。
[0081]
图13的(a)是表示差分图像1的图，图13的(b)是表示差分图像2的图。如上所述，在控制部106的差分图像生成部108中，通过根据摄像图像1和摄像图像2生成差分图像1，并根
据摄像图像1和摄像图像2生成差分图像2，从而得到仅包含反射光l3’的信息的差分图像1、2，由自然环境光l1引起的反射光l1’、来自其他交通参与者14的照射光l2的影响被抑制。另外，仅通过摄像图像1和摄像图像2不能判别的交通标识22b，通过使用摄像图像3而能够判别。结果，在adas(advanced driver-assistance systems：先进驾驶辅助系统)、自动驾驶中，使用了摄像图像、差分图像的状况识别的精度提高。此外，在生成差分图像时使用的2张摄像图像的组合，未必被限于上述组合。例如，也可以根据摄像图像2和摄像图像3来生成差分图像2。
[0082]
如以上所述，本实施方式的摄像系统100包括根据由摄像部104拍摄到的n张摄像图像生成n-1张差分图像的差分图像生成部108。差分图像生成部108基于n张摄像图像中包含的、在发光部102以光度c1发光时拍摄到的摄像图像1和在发光部102以光度c2(0《c2《c1)发光时拍摄到的摄像图像2，生成差分图像1。
[0083]
由此，基于在发光部102的光度不同的照射条件下拍摄到的至少2张摄像图像而生成差分图像。因此，在降低环境光的影响的同时，容易得到包含可判别的亮度的对象物的差分图像。
[0084]
另外，差分图像生成部108基于摄像图像1和在发光部102以光度c3(c2《c3《c1)发光时拍摄到的摄像图像3，生成差分图像2。由此，生成拍摄2张摄像图像时的发光部的光度的差(c1-c2、c1-c3)不同的2张差分图像。因此，在至少一张差分图像中，包含可判别的亮度的对象物的可能性变高。
[0085]
另外，摄像系统100还包括对处于车辆周围的多个交通标识进行判别的判别部110。如图13的(a)所示，判别部110能够根据差分图像1判别多个交通标识中包含的交通标识22a，并根据差分图像2判别多个标识中包含的交通标识22b。由此，可判别的标识增加。
[0086]
换言之，判别部110能够根据差分图像1判别处于比交通标识22b更靠近车辆10的位置的交通标识22a，并根据差分图像2判别处于比交通标识22a更远离车辆10的位置的交通标识22b。由此，即使存在距离不同的多个标识，也能够判别双方的标识。
[0087]
接着，对不那么提高帧率而较多地取得差分图像的方法进行说明。如图7所示，本实施方式的摄像系统100所具备的差分图像生成部108根据拍摄到的n(n是3以上的整数)张摄像图像生成n-1张差分图像。差分图像生成部108基于n张摄像图像中包含的在发光部点亮时拍摄到的图像和在发光部减光时拍摄到的图像，生成差分图像。以下，对根据4张摄像图像来生成3张差分图像的情况进行说明。
[0088]
如图7所示，在各帧f1～f4中，得到4张摄像图像1～4。摄像图像1和摄像图像3是在有灯的照射的状态下拍摄到的图像，摄像图像2和摄像图像4是在没有灯的照射的状态(或者减光时的状态)下拍摄到的图像。
[0089]
在本实施方式的摄像系统100中，根据摄像图像1和摄像图像2得到仅包含反射光l3’的信息的差分图像1，根据摄像图像2和摄像图像3得到仅包含反射光l3’的信息的差分图像2，根据摄像图像3和摄像图像4得到仅包含反射光l3’的信息的差分图像3。
[0090]
根据本方案，由于根据4张摄像图像得到仅少1张的3张差分图像，因此不那么提高帧率就得到所期望的数量的差分图像。同样，由于根据60张摄像图像得到59张差分图像，因此几乎不改变帧率就得到与摄像图像的张数几乎不变的张数的差分图像。由此，能够在规定的时间内使用更多的差分图像而更高精度地判别车辆周围的状况。
[0091]
另外，在图7所示的示例中，摄像部104从连续的4个帧取得4张摄像图像1～4。由此，与从不连续的4个帧取得4张摄像图像的情况相比，不易漏掉在差分图像与差分图像之间产生的车辆周围的状况的变化的信息。
[0092]
另外，本实施方式的差分图像生成部108根据从帧f1取得的在发光部102点亮时拍摄到的摄像图像1和从与帧f1连续的帧f2取得的在发光部102减光时拍摄到的摄像图像2，生成差分图像1，根据从与帧f2连续的帧f3取得的在发光部102点亮时拍摄到的摄像图像3和上述摄像图像2生成差分图像2。由此，根据连续的3张摄像图像1～3生成2张差分图像1、2。另外，由于差分图像1、差分图像2是分别在发光部102点亮时和减光时(减光时也包括熄灭时)拍摄到的摄像图像的差分，因此来自周围环境的光的影响被抑制。即，由于主要拍摄发光部102发出的光所照射的区域，因此来自周围环境的光及与其相伴的阴影的影响被降低，使用根据摄像图像生成的差分图像的图像识别的精度增加。
[0093]
此外，发光部102可以被构成为能够以车辆10的车辆用灯具所具备的光源的通常的光度的10倍以上的光度发光。所谓车辆用灯具所具备的光源，例如是前照灯、日间行车灯所具有的led光源、激光光源。另外，光源的通常的光度是指，例如是由车辆10所具备的车辆用前照灯形成的配光图案的平均光度，是数千～数万(1000～90000)[cd]的范围。并且，发光部102被构成为在拍摄的定时点亮时，瞬间的峰值光度成为数万～100万[cd]以上。由此，来自周围环境的光的影响被进一步抑制。
[0094]
如图5所示，若将1帧的期间设为t，则摄像部104在1帧的期间内曝光t/x(＝t1：x＞1)的时间。发光部102被构成为能够在t/x的时间内(时间t1’≦时间t1)发出光，并且能够以车辆用灯具所具备的光源的通常的光度的x倍以上的光度发光。像这样，能够通过在短时间内进行大输出的发光而减短曝光时间，结果能够减小自然环境光l1(例如太阳光)对摄像图像1～4的影响的比例。
[0095]
发光部102如上述那样发出的光的峰值波长也可以为940
±
20nm。这样的近红外的波长的光在环境光中几乎不含有。因此，通过利用摄像部来区分环境光和近红外的波长的光，能够高精度地判别被近红外的波长的光照射的车辆周围的状况。
[0096]
另外，发光部或摄像部可以设于车辆用灯具，也可以设于车辆用灯具之外的场所。
[0097]
以上，参照上述的实施方式说明了本发明，但本发明并不被限定于上述的实施方式，对各实施方式的构成进行适当组合及置换的方式也包含于本发明。另外，也可以基于本领域技术人员的知识，适当地重新排列各实施方式中的组合及处理的顺序、对实施方式施加各种设计变更等变形，被施加了这样的变形的实施方式也可以包含在本发明的范围内。
[0098]
[工业可利用性]
[0099]
本发明能够用于车辆的摄像系统。
[0100]
[附图标记说明]
[0101]
10车辆，12照相机，14交通参与者，16汽车，18机动二轮车，20灯，100摄像系统，102发光部，104摄像部，106控制部，108差分图像生成部。