成像装置、图像捕获光学系统和可移动设备的制作方法

1.本公开涉及成像装置、图像捕获光学系统和可移动设备。


背景技术：

2.使用采用一对照相机的立体照相机的立体监视设备，比如车载摄像头，已经应用到各种领域，使用三维测量技术计算到物体的距离。所述三维测量技术可以使用立体成像方法执行，其中，识别在由一个照相机捕获的物体的图像中的像素块和由另一个照相机捕获的物体的图像中的相应像素块，然后，基于捕获的两个图像的差异、即捕获的两个图像的相对位移量，使用三角测量原理计算物体的距离数据。可以利用所计算的距离数据来测量与物体的距离，然后，所测量的距离可以用于辅助车辆驾驶，例如控制车辆到车辆的距离。此外，除了一个车辆的前侧的信息之外，对于检测来自一个车辆侧的其它车辆和检测道路交叉口的行人的更宽视野(视觉)的需求也在增加。
3.在jp
‑
2012
‑
198077
‑
a中，公开了一种产生视差图像的立体照相机装置。该立体照相机装置包括两个图像捕获单元、两个光学系统、第一图像生成单元、第二图像生成单元、第一视差图像生成单元、第二视差图像生成单元、以及图像合成单元。对于两个图像捕获单元，两个图像捕获单元的光轴平行排列。两个光学系统将两个图像捕获单元捕获的图像数据投影为等距离投影图像。
4.第一图像生成单元从两个等距离投影图像生成核线成为直线的第一变形图像数据和第二变形图像数据。
5.第二图像生成单元从两个等距投影图像的给定区域生成核线成为直线的第三变形图像数据和第四变形图像数据，其中，第三变形图像数据和第四变形图像数据的图像放大率大于第一变形图像数据和第二变形图像数据的图像放大率。
6.第一视差图像生成单元与第一变形图像数据和第二变形图像数据相比，生成在各像素配置视差信息的第一视差图像。
7.第二视差图像生成单元与第三变形图像数据和第四变形图像数据相比，生成在各像素配置视差信息的第二视差图像。
8.图像合成单元用第二视差图像的像素的像素值替换由第一变形图像数据或第二变形图像数据的图像放大率和第三变形图像数据或第四变形图像数据的图像放大率确定的第一视差图像的像素的像素值。
9.引文列表
10.专利文献
11.【专利文献1】jp
‑
2012
‑
198077
‑
a


技术实现要素：

12.技术问题
13.在使用立体成像方法的以往监视设备中，如果视野(视觉)设为广角，则难以确保
远方分辨率精度，如果在测量条件下以确保远方分辨率精度为优先，则需要处理的数据量(即与图像传感器的分辨率相对应的数据量)增加得太大。如果在测量条件下以确保远方分辨率精度为优先，则系统成本增加，并且，立体成像系统的两个照相机单元之间的距离变得更长，由此立体成像系统的尺寸增加。
14.例如，对于在jp
‑
2012
‑
198077
‑
a中公开的立体照相机装置，由于等距离投影图像用作要处理的原始图像数据，处理数据量增加，并且由于图像校正量的增加而可能发生处理延迟，而且，在校正拟合期间可能发生误差增加。此外，与中心投影图像相比，原始图像数据的角分辨率变低。
15.通常，立体照相机装置或立体监视装置具有相对较高的水平分辨率(即，在x
‑
y方向或水平方向上的分辨率)和相对较低的距离分辨率(即，在z方向或深度方向上的分辨率)。此外，如果光学系统包括广角透镜，那么诸如远端分辨率精度的距离分辨率趋于恶化。
16.该立体成像方法执行块匹配以获得差异，然后从该差异获得距离信息。由于远距离区域的整数差异变得更小(即z方向的距离变得更长)，所以难以确保远距离区域的距离分辨率。因此，在远距离区域中，差异获取的偏差增加，从而测距值的偏差增加。
17.上述问题不仅对于立体照相机装置或立体监视装置是特有的，而且对于除了立体照相机装置或立体监视装置之外的任何成像装置和图像捕获光学系统也同样。
18.本发明公开了一种考虑到上述问题而完成的实施例，其中，公开了一种成像装置、一种图像捕获光学系统和一种可移动装置，其能够确保广角区域中的视野和远侧分辨率精度，并实现尺寸紧凑和成本降低。
19.解决问题的方案
20.在本发明的一个方面中，成像装置包括:成像元件；以及图像捕获光学系统，配置成在所述成像元件上生成物体的图像。该图像捕获光学系统具有倾斜度减小区域以及倾斜度增大区域，在倾斜度减小区域，相对于所述成像元件上生成的图像的视角的图像放大率的倾斜度变化随着所关心位置远离图像捕获光学系统的光轴而减小，在倾斜度增大区域，相对于所述成像元件上生成的图像的视角的图像放大率的倾斜度变化随着所关心位置远离图像捕获光学系统的光轴而增大。
21.在本发明的另一方面，一种用于在成像元件上生成物体的图像的图像捕获光学系统包括:倾斜度减小区域，相对于在成像元件上生成的图像的视角的图像放大率的倾斜度变化随着所关心位置远离图像捕获光学系统的光轴而减小；以及倾斜度增加区域，相对于在成像元件上生成的图像的视角的图像放大率的倾斜度变化随着所关心位置远离图像捕获光学系统的光轴而增加。
22.在本发明的另一方面，一种可移动设备包括:本发明所述的成像装置及图像捕获光学系统的任一个。
23.本发明的效果
24.在本发明的实施例中，提供了一种成像装置、一种图像捕获光学系统和一种可移动装置，其能够确保广角区域中的视野和远侧分辨率精度，并实现尺寸紧凑和成本降低。
附图说明
25.附图旨在描绘本公开的示例实施例，并且不应被解释为限制其范围。除非明确指
46.对于第一照相机c0，位于距离第一照相机c0的光学中心00d处的物体a的图像聚焦在点p0上，该点是a
‑00
的直线和图像捕获平面s0的交点。此外，对于第二照相机c1，相同物体a的图像聚焦在点p1上，该点是图像捕获平面s1上的位置。
47.在这种结构中，通过第二照相机c1的光学中心01并平行于直线a
‑00
的直线与图像捕获平面s1的交点设为p0′
，点p0′
和点p1之间的距离定义为p。
48.第二照相机c1中的点p0'对应于第一照相机c0中点p0的相同位置，距离p表示由两个照相机(第一照相机c0和第二照相机c1)捕获的相同物体a的两个图像上的位置的偏移量，这称为视差。因为a
‑00
‑01
的三角形和01‑
p0'
‑
p1的三角形是相似三角形，因此，获得关系d＝bf/p。如果知道第一照相机c0和第二照相机c1的距离b(基线长度)和焦距f，就可以从视差p计算距离d。
49.在此，这样的立体照相机的成像光学系统将位于立体照相机外部的物体的图像投影到图像捕捉面上。立体照相机的成像光学系统将位于一个位置(方向)上的物体如何投影到图像捕捉面的位置上，采用各种方法。下面，说明通常使用的中心投影和等距离投影。
50.图2a是表示中心投影的图的一个例子。所谓中心投影是将从照相机光轴偏离角度θ方向存在的物体投影到从图像捕获平面中心(与光轴的交点)偏离f
×
tanθ的位置。在此，f表示光学系统的焦距。
51.中心投影具有将三维空间内的直线映射为图像捕获面上直线的特征。通常的照相机透镜设计成具有这种中心投影特性。特别地，对于立体照相机，由于核线变成直线，因此，可以容易地进行相应点的搜索，这是一个优点。然而，由于tanθ的值在θ＝90度时发散，因此，不能投影90度以上的视野，并且，当投影具有接近90度视野的广角视野时，需要非常大尺寸的图像捕获面。
52.图2b是图示等距离投影的一个例子。所谓等距离投影是将从照相机光轴偏离角度θ方向存在的物体投影到从图像捕获平面中心偏离f
×
θ的位置。
53.与中心投影不同，等距离投影在90度不发散，可以表现出更宽的视野。因此，许多鱼眼透镜具有这种等距离投影特性。然而，对于使用等距离投影的立体照相机，由于核线成为曲线，因此，相应点的搜索需要复杂的处理。
54.在常规的立体照相机系统中，通常采用中心投影(图2a)。这是因为核线定义为直线，可以使用下式(1)容易地计算从视差到距离转换：
55.d＝bf/p
ꢀꢀꢀ
(1)
56.其中，d表示距离，b表示基线长度，即两个照相机之间的距离，f表示焦距，p表示视差。
57.随着对更宽视角的需求的增加，立体照相机系统的总视角要求为100度或更大。关于中心投影，图像高度和视角之间的关系由下式(2)定义，视角越宽，所需图像高度越大。
58.y＝f
×
tanθ
ꢀꢀꢀ
(2)
59.其中，y表示图像高度，f表示焦距，θ表示视角。
60.如式(2)所示，可以通过减小焦距f来减小图像高度y。然而，如果焦距f减小，则由式(1)定义的视差p的值变得更小，从而变得难以确保远侧分辨率精度。此外，图像中心处的角分辨率减小，并且图像中心处的物体的尺寸变得更小，从而变得难以检测存在于远侧的物体，例如障碍物。
61.jp
‑
2012
‑
198077
‑
a中公开的立体照相机装置，提出了对中心投影图像校正等距离投影图像的方法，但是校正量可能变得过大。例如，考虑将2mm焦距的等距离投影图像的图像高度校正为5mm焦距的中心投影图像的情况。如果传感器间距为0.00375mm，校正垂直方向视角为10度的图像的图像高度，则需要大约142像素的图像校正量。如果图像校正量增加，要缓冲的数据量增加，电路资源变得更大，处理装置变得昂贵，因此处理延迟可能由于处理负荷增加而发生。另外，由于图像校正量增加，校正拟合期间可能发生的误差可能增加。
62.考虑到上述问题，根据该实施例的立体照相机装置包括例如两个照相机，例如右侧照相机和左侧照相机，其中，为两个照相机中的每一个设置两个区域，例如远摄区域(telephoto region)和广角区域。远摄区域用于中心投影，并设置低失真的光学特性，以减少校正量，广角区域可以具有失真特性以覆盖目标视角。分别为远摄区域和广角区域中的每一个执行图像校正，以在远摄区域和广角区域中的每一个产生图像。通过对使用右侧照相机和左侧照相机生成的远摄区域的一对两个图像进行立体匹配，可以获得远摄区域的三维数据。进而，通过对使用右侧照相机和左侧照相机生成的广角区域的一对两个图像进行立体匹配，可以获得广角区域的三维数据。根据该结构，通过在远摄区域使用中心投影光学系统执行图像捕获操作，可以获得具有较高的角分辨率和较低失真的原始数据，由此可以减少图像校正量和在图像校正期间可能出现的误差，并且可以使用具有较小资源的电路来实现处理。
63.对于能够再现上述失真特性的透镜单元(图像捕获光学系统)，要求上述式(1)和(2)中规定的焦距f在远摄区域和广角区域之间明显不同，并且与远摄区域的焦距相比，要求广角区域的焦距短。此外，使得位于最靠近物体侧的第一透镜以凸面朝着物体侧，具有负的功率(放大率)，能相对于光轴以大角度入射的光线向着图像捕获平面方向。进而，即使第二透镜也使其具有负的放大率设为回射聚焦型的功率配置，即使焦距变短也可以提供能够充分捕获图像的透镜单元，从而可以确保照相机系统的生产率。本发明实施例的透镜单元(图像捕获光学系统)将在后面详细描述。
64.图3是根据实施例的立体照相机装置100的概略结构。该立体照相机装置100可以安装在例如车辆和汽车等移动装置上。具体地说，该立体照相机装置100可以安装在设置在车辆内部的室内反射镜(后视镜)的背面上，或者安装在车辆的前格栅内。该立体照相机装置100可以确保车辆驾驶员的前方可视性。该立体照相机装置100包括照相机单元110，该照相机单元包括并排设置的左侧照相机c0(第一照相机)和右侧照相机c1(第二照相机)。左侧照相机c0和右侧照相机c1中的每一个使用具有相同特性的透镜和互补金属氧化物半导体(cmos)图像传感器，左侧照相机c0和右侧照相机c1配置成使它们各自的光轴互相平行，并且两个图像捕获平面在同一平面上对准。左侧照相机c0包括透镜单元21(第一图像捕获光学系统)、孔径光阑22和cmos图像传感器23(第一成像元件)，右侧照相机c1包括透镜单元21(第二图像捕获光学系统)、孔径光阑22和cmos图像传感器23(第二成像元件)。
65.当输入由照相机控制单元13输出的控制信号时，cmos图像传感器23可以是例如具有1000像素
×
1000像素的单色图像传感器。例如，透镜单元21在上侧、下侧、左侧和右侧的各处具有80度的视角，这意味着上下方向的160度视角，以及左右方向的160度视角，并且具有在cmos图像传感器23的图像捕获区域内以160度视角形成图像的特性。
66.从cmos图像传感器23输出的图像信号输出到相关双采样cds24，以通过执行相关双采样去除噪声信号，然后由自动增益控制agc25根据信号强度控制增益，然后，由模拟
‑
数字(a/d)转换器26执行模拟
‑
数字(a/d)转换，然后，将图像信号存储在能够存储从cmos图像传感器23接收的所有图像信号的帧存储器27中。
67.存储在帧存储器27中的图像信号由数字信号处理单元28计算距离等，根据规格不同，对图像信号执行格式转换，由诸如液晶显示器lcd的设备上显示。数字信号处理单元28是大规模集成lsi，包括数字信号处理单元dsp、中央处理单元cpu、只读存储器rom、随机存取存储器ram等。例如，下文描述的立体照相机装置100的功能单元可以由数字信号处理单元28实现为硬件、软件或硬件和软件的组合。此外，图3所示的结构只是一个例子，并不局限于此，例如，照相机控制单元13可以设置在数字信号处理单元28中。
68.数字信号处理单元28向照相机控制单元13输出水平同步信号hd、垂直同步信号vd和时钟信号的脉冲。或者照相机控制单元13可配置成产生水平同步信号hd和垂直同步信号vd，照相机控制单元13包括定时发生器和时钟驱动器，从水平同步信号hd、垂直同步信号vd和时钟信号产生用于驱动cmos图像传感器23的控制信号。
69.如上所述，立体照相机装置100包括cmos图像传感器23(第一成像元件)和投影由左侧照相机c0的cmos图像传感器23(第一成像元件)捕获的图像数据的透镜单元21(第一图像捕获光学系统)，以及cmos图像传感器23(第二成像元件)和投影由右侧照相机c1的cmos图像传感器23(第二成像元件)捕获的图像数据的透镜单元21(第二图像捕获光学系统)。
70.透镜单元21(第一图像捕获光学系统、第二图像捕获光学系统)将cmos图像传感器23(第一成像元件、第二成像元件)的图像数据划分为远摄区域和广角区域进行投影，在远摄区域中具有失真相对较小的失真特性，而在广角区域中具有失真相对较大的失真特性。
71.图4是表示透镜单元21(第一图像捕获光学系统、第二图像捕获光学系统)划分的远摄区域和广角区域的实例的示意图。由cmos图像传感器23(第一成像元件、第二成像元件)捕获的图像数据具有矩形的图像捕获区域，其中，图像捕获区域划分为用于远摄区域的中心部分和用于广角区域的周边部分。
72.在图4的实例中，中央部分的远摄区域描绘包括从车辆观察的道路和道路标志的场景，外围部分的广角区域用简略化的灰度图案绘制。图像捕获区域中所占的远摄区域和广角区域的比率和排列图案可以根据需要改变，可以进行各种设计改变。
73.如上所述，立体照相机装置100的左侧照相机c0和右侧照相机c1中的每一个都包括cmos图像传感器23(第一成像元件、第二成像元件)和透镜单元21(第一图像捕获光学系统、第二图像捕获光学系统)。所述透镜单元21在cmos图像传感器23上形成物体的图像。下面描述用于实现透镜单元21(第一图像捕获光学系统、第二图像捕获光学系统)的光学特性的配置。
74.图5表示根据实施例的成像装置和图像捕获光学系统中的半视角和图像高度之间的关系。
75.图6表示图5中根据实施例的成像装置及图像捕获光学系统中的半视角和关于视角中心正规化的图像放大率之间的关系。
76.图7表示根据实施例的成像装置及图像捕获光学系统中的半视角和图像放大率的倾斜度之间的关系。
77.图6所示曲线表示图5所示曲线的一阶导数，图7所示曲线表示图5所示曲线的二阶导数(图7所示曲线表示图6所示曲线的一阶导数)。
78.在图5至图7的例子中，使用1/2.7型的传感器(成像元件)，对角线的图像高度设为3.3mm，传感器间距设为0.003mm，图像分辨率设为1980像素
×
1080像素(水平
×
垂直)。
79.此外，将图像高度为0mm
‑
1mm(半视角为0
°‑
13
°
)的区域定义为远摄区域，将图像高度为1mm
‑
1.7mm(半视角为13
°‑
26
°
)的区域定义为切换区域(在远摄区域和广角区域之间切换的区域)，将图像高度超过1.7mm(半视角为26
°
)的区域定义为广角区域。
80.如稍后将详细描述的那样，“远摄区域”也可以称为“cmos图像传感器23(成像元件)生成的物体图像的相对于视角的图像放大率的倾斜度变化随着所关心位置远离光轴而减小的区域”。“切换区域”和“广角区域”也可以称为“cmos图像传感器23(成像元件)生成的物体图像的相对于视角的图像放大率的倾斜度变化随着所关心位置远离光轴而增加的区域”。
[0081]“切换区域”也可以称为“第一区域”，其中，cmos图像传感器23(成像元件)生成的物体图像的相对于视角的图像放大率的倾斜度变化相对较大。
[0082]“广角区域”也可以称为“第二区域”，其中，cmos图像传感器23(成像元件)生成的物体图像的相对于视角的图像放大率的倾斜度变化相对较小。
[0083]
在远摄区域中，图像高度特性设置为更接近具有大约5mm焦距的中心投影的图像高度特性。
[0084]
在广角区域中，图像高度特性设置为接近等距离投影，使得对于在水平方向的最外位置处的图像高度的焦距变为大约1.2mm。
[0085]
通过提供上述图像高度特性，可以确保整个图像的120度以上的视场，同时在远摄区域中每个像素具有约0.03度的较高的角分辨率。
[0086]
如果单纯地使用中心投影确保120度或更大的视场，则图像中心的角分辨率降低到约0.1度。
[0087]
对于广角区域采用等距离投影的投影方法以提供基本恒定的角分辨率，而与图像高度无关。
[0088]
此外，对于广角区域可以采用具有更小焦距的中心投影。此外，对于广角区域可以采用正交投影，使得在中心附近的角分辨率越高越好。
[0089]
图像高度特性可以用下面的式(3)和(4)表示：
[0090]
y＝f
×
tanθ(y≤a)
ꢀꢀꢀ
(3)
[0091]
y＝fθ b(y＞a)
ꢀꢀꢀ
(4)
[0092]
其中“y”代表图像高度，“f”代表焦距，“θ”代表视角，“b”代表基线长度(两个照相机单元之间的距离)，“a”代表远摄区域和广角区域的图像高度范围(成为远摄区域和广角区域之间边界的图像高度)。
[0093]
远摄区域和广角区域的图像高度范围“a”成为具有给定范围的值，该给定范围不定义为一个精确的边界值。因此，设置为图像高度范围“a”的给定范围的值对应于“切换区域(远摄区域和广角区域之间切换的区域)”或“增加区域的第一区域”。
[0094]
如果光学系统配置有远摄区域和广角区域而不提供切换区域，例如，可以提供在光学系统中在透镜有效直径内具有棱线那样的元件，或者可以提供仅对应于远摄区域和广
角区域中的一个的元件。然而，在两种情况下，当相对于视角对称地执行图像捕获时，光束的光晕出现在远摄区域和广角区域之间的边界处，从而出现不能捕获图像的死角。
[0095]
对于安装在可移动装置(例如车辆)上以提高可移动装置的安全性的实施例中的立体照相机装置100(成像装置和图像捕获光学系统)，由于存在死角而导致的安全性的恶化是不可接受或可容忍的，因此，在实施例中，不仅设置远摄区域和广角区域，而且设置远摄区域和广角区域之间的切换区域，以消除死角，用于将安全性保持在更高水平。
[0096]
图8是从垂直方向的视角观察cmos图像传感器23(成像元件)的图像捕获面(有效图像捕获面)的概念图。图8是使用沿上下方向延伸并通过cmos图像传感器23的图像捕获面的中心的点划线描绘表示成像元件的图像捕获面的垂直方向视角的假想线。
[0097]
如图8所示，当从垂直方向的视角观看cmos图像传感器23的图像捕获平面时，远摄区域(减少区域)包括在图像捕获平面中，切换区域(增加区的第一区域)的一部分包括在图像捕获平面中(切换区域的剩余部分不包括在图像捕获平面中)，广角区域(增加区域的第二区域)不包括在图像捕获平面中。
[0098]
在水平方向的视角中，在实际驾驶环境中需要更宽的视场，优选从远摄区域捕获广角区域图像。
[0099]
另一方面，在垂直方向的视角中，在道路深度方向执行图像捕获，但是与水平方向的视角相比，不需要广角区域。
[0100]
因此，希望提供水平方向的视角以捕获广角区域中的图像，提供垂直方向的视角捕获从远摄区域到切换区域的中间(即，中间视角)的图像，而不捕获广角区域的图像。
[0101]
如果要增加垂直方向的视角，则无论水平方向和垂直方向两者视角都要求减少远摄区域的图像捕获视角。如果要减少垂直方向的视角，则要求减少与水平方向的视角相对应的广角区域。
[0102]
为了确保远摄区域的视角和广角区域的视角两者，希望垂直方向的视角包括从远摄区域到切换区域的中间(即，中间视角)的视角。
[0103]
图6表示图5中根据实施例的成像装置及图像捕获光学系统中的半视角和关于视角中心正规化的图像放大率之间的关系。如图5及图6所示，当从远摄区域(减少区域)向切换区域(增加区域的第一区域)、进而进入广角区域(增加区域的第二区域)移动时，倾斜度变化率不同。在此，倾斜度减小区域可以简称为减小区域，倾斜度增加区域可以简称为增加区域，
[0104]
图7表示在图6中正规化的图像放大率相对于视角的倾斜度。
[0105]
如图7所示，在远摄区域(减少区域)中，cmos图像传感器23(成像元件)生成的物体图像的相对于视角的图像放大率的倾斜度变化随着所关心位置远离光轴而减小。
[0106]
在切换区域(增加区域的第一区域)和广角区域(增加区域的第二区域)中，cmos图像传感器23(成像元件)生成的物体图像的相对于视角的图像放大率的倾斜度变化随着所关心位置远离光轴而增加。
[0107]
如图7所示，在切换区域(增加区域的第一区域)中，cmos图像传感器23(成像元件)生成的物体图像的相对于视角的图像放大率的倾斜度变化变得相对大。
[0108]
如图7所示，在广角区域(增大区域的第二区域)中，cmos图像传感器23(成像元件)生成的物体图像的相对于视角的图像放大率的倾斜度变化变得相对小。
[0109]
具体地说，在广角区域的一些部分中，广角区域(增加区域的第二区域)中的倾斜度的增加率变为切换区域(增加区域的第一区域)中的倾斜度的增加率的一半。例如，广角区域(增加区域的第二区域)中的倾斜度的增加率的最大值或最小值等于切换区域(增加区域的第一区域)中倾斜度的增加率的最大值或最小值的一半。
[0110]
图6中关于半视角的正规化图像放大率倾斜度在整个区域上变为负值，因为图5中所示的图像高度特性具有负值失真。如图7中所示，当视角从0度增加时，在远摄区域中，因焦距从5mm缩短，图像放大率倾斜度急剧下降，在切换区域中，从远摄区域的焦距连续地连接广角区域的焦距，因此，与远摄区域相反的倾斜度增加(倾斜度的符号从负值反转为正值)。
[0111]
此外，当切换区域的增加的倾斜度变为最大倾斜度值的一半时，出现广角区域的切换区域的边界，若移动到广角区域，图像放大率的倾斜度平缓地改变，以再现接近等距离投影方法的特性。
[0112]
换言之，关于切换区域和广角区域中的倾斜度变化，曲线轮廓形成为向上的凸曲线，使得焦距可以连续地连接(改变)从远摄区域的焦距到广角区域的焦距，并且在广角区域中再现接近等距离投影方法的特性。
[0113]
在上述说明中，描述了使用三个区域的配置，例如远摄区域(减少区域)、切换区域(增加区域的第一区域)和广角区域(增加区域的第二区域)，但不限于此。
[0114]
例如，当视角从0度向给定视角增加时，可以减小图像放大率的倾斜度，以在第一区域中从焦距5mm缩短焦距。当视角变得大于给定视角时，可以设置其中图像放大率的倾斜度增加的第二区域，其与第一区域相反。在这种情况下，成像装置和图像捕获光学系统可以捕获较宽视角的图像，同时以较高分辨率捕获中心附近的远摄区域的图像。
[0115]
或者，可以将增加区域分成三个或更多区域，可以利用三等级或更多等级设置在cmos图像传感器23(成像元件)上生成的物体图像的相对视角的图像放大率的倾斜度的增加率。
[0116]
图9是表示透镜单元21(图像捕获光学系统)的配置的截面图，图10是透镜单元21的像差图的例子。
[0117]
如图9所示，透镜单元21(图像捕获光学系统)从物体侧向着成像元件侧依次设有第一透镜21a(负透镜)、第二透镜21b(负透镜)、第三透镜21c(正透镜)、孔径光阑st、第四透镜21d(正透镜)、第五透镜21e(负透镜)和第六透镜21f(正透镜)。
[0118]
第一透镜21a(负透镜)以近轴曲率具有将凸面朝向物体侧的弯月形。
[0119]
第二透镜21b(负透镜)以近轴曲率具有将凸面朝向成像元件侧的弯月形。
[0120]
第三透镜21c(正透镜)以近轴曲率具有双凸形状。
[0121]
第四透镜21d(正透镜)以近轴曲率具有双凸形状。
[0122]
第五透镜21e(负透镜)以近轴曲率具有将凸面朝向成像元件侧的弯月形。
[0123]
第六透镜21f(正透镜)以近轴曲率具有双凸形状。
[0124]
在图9中，对各透镜面所标的号码“ri”(i＝1，2，3，
…
)是表示从物体侧数时第i个透镜面，其中，“ri”用“*”标记的面表示非球面。孔径光阑st也作为一个面。
[0125]
利用上述结构，从物体侧入射的光沿着光轴ax，通过第一透镜21a、第二透镜21b、第三透镜21c、孔径光阑st、第四透镜21d、第五透镜21e和第六透镜21f，然后，在cmos图像传
感器23的光接收面上产生物体的光学图像。然后，cmos图像传感器23将光学图像转换为电信号。
[0126]
表1和表2表示在透镜单元21(图像捕获光学系统)的配置中的各透镜的构造数据的实例。
[0127]
表1
[0128][0129]
表2
[0130]
非球面系数r1*r2*r3*r4*r2.660608.e
‑
014.469186.e
‑
011.218116.e
‑
01
‑
1.001818.e
‑
01k
‑
1.949062.e
‑
01
‑
6.543360.e
‑
01
‑
5.000000.e 011.030229.e 01a
‑
7.602922.e
‑
03
‑
1.889744.e
‑
024.560988.e
‑
03
‑
2.129485.e
‑
02b
‑
9.996886.e
‑
041.874638.e
‑
04
‑
6.772422.e
‑
043.737727.e
‑
03c1.145488.e
‑
04
‑
1.709271.e
‑
048.579672.e
‑
05
‑
2.426117.e
‑
04d
‑
4.294206.e
‑
068.530954.e
‑
053.015945.e
‑
06
‑
2.270753.e
‑
06e3.051842.e
‑
08
‑
8.602867.e
‑
06
‑
7.147313.e
‑
071.576279.e
‑
06f
‑
4.850244.e
‑
102.330204.e
‑
072.895192.e
‑
08
‑
7.722254e
‑
22
[0131]
在表1和表2中的每个透镜的结构数据中，每个透镜面符号对应于图9所示各透镜面所标的号码“ri”(i＝1，2，3，
…
)的i。附着“*”标记的面表示非球面(具有非球面形状的折射光学面或具有等效于非球面的折射效应的面)。
[0132]
在表1中，“曲率半径”表示每个面的曲率半径(mm)，“面间距”表示在无穷远聚焦条件下沿光轴的相邻透镜面的间隔(光轴上的面间隔)，“折射率”表示每个透镜的相对d线(波长587.56nm)的折射率，“阿贝数”表示每个透镜的相对d线(波长587.56nm)的阿贝数。
[0133]
在表2中，上述非球面数据表示作为非球面的面(在面数据中，符号i附加*的面)的二次曲面参数(圆锥系数、圆锥系数k)、在面顶点的曲率c、曲率半径r、由非球面系数“a、
b、
…
j”的值算出的下垂量(与z轴平行的面的下垂量z)。具体地说，光学面的非球面形状可以用以下数式a定义：
[0134]
数式a:
[0135][0136]
z:平行于z轴的面的下垂量
[0137]
c:在面顶点的曲率(cuy)
[0138]
k:圆锥系数(k)
[0139]
图10是图9的透镜单元21(图像捕获光学系统)的构成的像差图。图10a表示球面像差(正弦条件)的例子(纵向球面像差)，图10b表示像散的例子(像散场曲线)，图10c表示失真像差(失真)的例子。球面像差的横轴以mm单位表示聚焦位置偏差，其纵轴表示由入射高度正规化的值。
[0140]
像散像差的横轴以mm单位表示聚焦位置偏差，其纵轴以mm单位表示图像高度。
[0141]
失真像差的横轴以相对于理想图像高度的比率表示实际图像高度，纵轴以度为单位表示其视角(显示直至90度的视角)。
[0142]
在像散像差图中，实线表示矢状线，虚线表示切线。像散像差图和失真像差图作为使用d线(波长587.56nm)的计算结果而得到。
[0143]
如上所述，透镜单元21(图像捕获光学系统)包括配置在最靠近物体侧的第一透镜21a和配置在紧接第一透镜21a之后的从物体侧数为第二个的第二透镜21b。在如图9所示的第一透镜21a的两个面上形成非球面。但是，这仅仅是一个例子，例如，非球面可以仅形成在第一透镜21a的一个面上，或者非球面可以形成在第二透镜21b的一个面或两个面上。即，第一透镜21a和第二透镜21b中的至少任一个具有非球面。
[0144]
为了实现如图5至图7所示的图像放大率特性，优选采用靠近物体侧配置的透镜的非球面形状，其中，光线由视角分离。因此，优选将配置在最靠近物体侧的透镜或配置在从物体侧数第二个透镜的至少一个面设为非球面形状。如果非球面形状设在第三透镜或后续透镜的面上，则不能实现如图5至图7所示的图像放大率特性。
[0145]
图11表示成像装置和图像捕获光学系统中半视角和正规化非球面下垂量之间的关系。
[0146]
图12表示根据实施例的成像装置和图像捕获光学系统中半视角和非球面下垂量的倾斜度之间的关系。
[0147]
图13表示根据实施例的成像装置和图像捕获光学系统中半视角和正规化下垂量的二阶导数之间的关系。
[0148]
图12所示的曲线是图11曲线的一阶导数，图13所示的曲线是图11曲线的二阶导数(图13所示的曲线是图12曲线的一阶导数)。
[0149]
在图11中，当捕获对应于水平轴上的视角的图像时，水平轴表示视角，垂直轴表示非球面透镜在通过位置上的下垂量，其中，每个下垂量由透镜有效直径内的下垂量的最大值正规化。如图11中所示，可以读取对应于远摄区域(减少区域)、切换区域(增加区域的第一区域)和广角区域(增加区域的第二区域)的正规化的下垂量，可以知道各区域中的倾斜
度变化。
[0150]
在图12中，如果倾斜度因视角反转场合，则加工性变得极低，从而在整个区域上将倾斜度设为正。当视角从0度增加时，在远摄区域(减少区域)中，从5mm焦距缩短焦距，下垂量的倾斜度在正向上变得更大，而在切换区域(增加区域的第一区域)中，从远摄区域(减少区域)的焦距连续地连接广角区域(增加区域的第二区域)的焦距，与远摄区域(减少区域)相反，急剧变小。此外，当在广角区域(增加区域的第二区域)中执行图像捕获时，下垂量的倾斜度设置为平缓变小以设置接近等距离投影方法的特性。
[0151]
换句话说，设置在第一透镜21a和第二透镜21b中至少一个上的非球面的形状设为具有如图12所示的特征，即，在远摄区域(减少区域)中，相对于视角的下垂量的倾斜度的符号不反转。
[0152]
此外，在远摄区域(减少区域)中，相对于视角的下垂量的倾斜度没有符号反转，维持增加，在切换区域(增加区域的第一区域)和广角区域(增加区域的第二区域)中，相对于视角的下垂量的倾斜度从增加到减少，符号反转。
[0153]
如图12所示，当视角从0度增加时，当区域从远摄区域(减少区域)改变到切换区域(增加区域的第一区域)时，下垂量的倾斜度反转。因此，如图13所示，在远摄区域(减少区域)中为正值的二阶导数值，在切换区域(增加区域的第一区域)中反转为负值。并且，为了设置接近广角区域(增加区域的第二区域)中的等距离投影方法的特性，在二阶导数值为负值的区域中提供倾斜度反转的特性。
[0154]
换言之，在图13所示的曲线中，通过对表示相对于图11所示的视角的下垂量的曲线执行二次导数来计算该曲线，当视角从0度增加时，二次导数值从正值改变到负值，在该负值中，二次导数的曲线的切线的倾斜度从减少反转为增加。在图13的一个实例中，从切换区域(增加区域的第一区域)和广角区域(增加区域的第二区域)之间的边界附近，二次导数曲线的切线的倾斜度从减少反转为增加。
[0155]
例如，在图5至图7和图11至图13的例子中，当最大水平视角规定为“θa”，切换区域(增加区域的第一区域)中的任意视角规定为“θc”时，优选满足“θc/θa＞0.15”的关系。在实施例中，最大水平视角“θa”设为60度。通过满足该条件式(即，θc/θa＞0.15)，则可以为透镜单元21(图像捕获光学系统)的成像区域(有效成像区域)设置足够的切换区域(增加区域的第一区域)。
[0156]
如果不能满足该条件式(即θc/θa＞0.15)，就不能为透镜单元21(图像捕获光学系统)的成像区域(有效成像区域)设定足够的切换区域(增加区域的第一区域)，难以实现如图5～7所示的图像放大率特性。而且，可用于图像捕获的广角区域(增加区域的第二区域)变小。
[0157]
如图14所示，立体照相机装置100包括例如输入左侧照相机c0(第一照相机)和右侧照相机c1(第二照相机)的图像数据的图像处理单元30。图像处理单元30连接到校正参数存储单元40和视差计算单元50。由非易失性存储器实现的校正参数存储单元40存储用于校正由左侧照相机c0和右侧照相机c1(成像装置、图像捕获光学系统)捕获的图像数据(包括具有较低失真的远摄区域和具有较高失真的广角区域的捕获图像数据)的校正参数。
[0158]
可以将视差计算单元50作为图像处理单元30的功能单元，另外，可以将图像处理单元30、校正参数存储单元40和视差计算单元50作为图3所示数字信号处理单元28的功能
单元。
[0159]
图像处理单元30参照校正参数存储单元40存储的校正参数，对通过包括在左侧照相机c0和右侧照相机c1(成像装置)中的透镜单元21捕获的图像数据施以与远摄区域和广角区域相对应的图像处理。更具体地说，图像处理单元30对通过包括在左侧照相机c0和右侧照相机c1(成像装置)中的透镜单元21捕获的图像数据进行失真校正，并且，使得远摄区域中的失真校正量相对较小，广角区域中的失真校正量相对较大。
[0160]
如上所述，包括在左侧照相机c0和右侧照相机c1(成像装置)中的透镜单元21(图像捕获光学系统)具有特定的失真特性，其中，远摄区域中的失真设为基本上为0(设置为相对较小)，而当移向广角区域(设置为相对较大)时，失真急剧增加。根据失真特性优化的校正参数存储在校正参数存储单元40中。
[0161]
图像处理单元30执行几何校正，其中，在远摄区域中的失真校正量设置为基本上为0，而广角区域中的失真校正量与上述失真的急剧增加一致而阶段地增大，以消除失真急剧增加的影响。结果，分别产生远摄区域的图像处理数据(校正处理数据)和广角区域的图像处理数据(校正处理数据)。通过执行分别针对远摄区域和广角区域优化的图像处理(校正处理数据)，可以确保广角区域中的视场，可以确保远摄区域中的远侧分辨率精度，并且可以实现成像装置的尺寸减小和成本减小。
[0162]
视差计算单元50通过对由图像处理单元30施以图像处理(校正处理)的图像捕获数据执行视差计算，输出视差图像。更具体地说，视差计算单元50计算远摄区域视差图像以及广角区域视差图像，所述远摄区域视差图像是由左侧照相机c0捕获的远摄区域图像和由右侧照相机c1捕获的远摄区域图像的视差，所述广角区域视差图像是由左侧照相机c0捕获的广角区域图像和由右侧照相机c1捕获的广角区域图像的视差。并且，视差计算单元50合成远摄区域视差图像和广角区域视差图像，输出最终视差图像。
[0163]
上述校正处理等图像处理之外，图像处理单元30还可以进行恢复降低的调制传递函数(mtf)特性、校正阴影(校正周边光量)、降低噪声等其它校正处理，输出图像质量得到提高的亮度图像。通过将图像校正为基线方向和水平方向一致的左侧照相机c0和右侧照相机c1(图像捕获装置)捕获的图像，可以计算水平方向的视差，输出正确的视差图像。
[0164]
图像处理单元30、校正参数存储单元40和视差计算单元50的上述处理可以称为例如立体匹配处理。
[0165]
图15是说明由立体照相机装置100根据实施例进行的图像处理的流程的实例的示意图。对于由左侧照相机c0和右侧照相机c1捕获的每个图像数据(亮度图像)，对远摄区域和广角区域的每一个进行图像转换(广角区域是包括远摄区域的整个图像区域)。
[0166]
远摄区域图像具有中心投影的特性，并且可以设为1.5mm的对角线图像高度的1.2mm
×
0.9mm(水平
×
垂直)的区域图像。此外，通过将远摄区域图像和广角区域图像设为相同的分辨率(例如640像素
×
480像素)，可以用简单的系统配置实现立体照相机装置100。
[0167]
另外，虽然在广角区域图像中校正量增大，但通过将分辨率减半，可以将所需校正量也减半。
[0168]
此外，远摄区域图像的分辨率可以调节到两倍，使得远摄区域图像的分辨率和广角区域图像的分辨率可以匹配，以利用广角区域图像的图像质量。
[0169]
此外，尽管系统配置变得复杂，但是可以在不改变分辨率(即使用给定分辨率，例
如原始设置分辨率)的情况下产生远摄区域图像(640像素
×
480像素)和广角区域图像(1280像素
×
960像素)。
[0170]
在上述配置中，基于由左侧照相机c0捕获的远摄区域图像和右侧照相机c1捕获的远摄区域图像，生成作为两图像的视差的远摄区域视差图像。基于由左侧照相机c0捕获的广角区域图像和右侧照相机c1捕获的广角区域图像，生成作为两图像的视差的广角区域视差图像。通过合成远摄区域视差图像和广角区域视差图像，生成最终视差图像。
[0171]
在上述结构中，根据实施例的成像装置和图像捕获光学系统应用于立体照相机装置100，但不限于此，根据实施例的成像装置和图像捕获光学系统可应用于可进行各种设计变更的任何装置和系统。例如，根据实施例的成像装置和图像捕获光学系统可应用于设置在各种设施(如工厂)的安全摄像机(监控摄像机)、设置在铁路沿线的运行控制摄像机、工业机器人和叉车。
[0172]
此外，根据该实施例的成像装置和图像捕获光学系统不仅能将两个照相机(第一和第二照相机)用作一组使用，也可以应用于单个照相机(具有单眼的照相机)。
[0173]
此外，例如，根据该实施例的成像装置和图像捕获光学系统可以应用于设置在商业设施中的纵深及宽度都宽广的空间的单眼安全照相机。在这种情况下，可以以较高的角度分辨率监视中心，同时监视广角区域，与具有常规变焦功能的照相机相比，可以以较低的成本增强防范效果。
[0174]
在上述结构中，根据实施例的成像装置和图像捕获光学系统提供为立体照相机装置100的图像捕获单元，但不限于此，根据实施例的成像装置和图像捕获光学系统也可以应用为除立体照相机装置100之外的任何装置的图像捕获单元。
[0175]
在上述结构中，根据实施例的成像装置和图像捕获光学系统应用于成像装置和图像捕获光学系统设置在用作移动装置的车辆中的一种情况，但不限于此，根据实施例的成像装置和图像捕获光学系统可应用于除车辆之外的任何移动装置。
[0176]
根据实施例的成像装置和图像捕获光学系统可以应用于除了可移动设备之外的任何固定设备，例如，根据实施例的成像装置和图像捕获光学系统可以应用于作为固定设备的安全摄像机(监控摄像机)。在这种情况下，具有较高注意水平的中心区域可以以较高的分辨率捕获，而具有较低注意水平的周围区域可以以较低的分辨率捕获。
[0177]
本发明可以以任何方便的形式实现，例如使用专用硬件，或专用硬件和软件的混合。本发明可以实现为由一个或多个联网处理设备实现的计算机软件。处理设备可以为任何适当编程的设备，例如通用计算机，个人数字助理，移动电话(例如wap或3g兼容电话)等。由于本发明可以实现为软件，因此本发明的每个方面都包含可在可编程设备上实现的计算机软件。可以使用诸如记录介质的任何常规载体介质将计算机软件提供给可编程设备。载体介质可以是瞬态载体介质，例如携带计算机代码的电、光、微波、声学、或射频信号。这种瞬态介质的示例是在ip网络(例如因特网)上承载计算机代码的tcp/ip信号。载体介质还可以包括用于存储处理器可读代码的存储介质，例如软盘、硬盘、cdrom、磁带设备、或固态存储设备。
[0178]
硬件平台包括任何所需类型的硬件资源，例如包括中央处理单元cpu、随机存取存储器ram和硬盘驱动器hdd。cpu可以由任何所需类型的处理器实现。ram可以由任何所需类型的易失性或非易失性存储器实现。hdd可以由任何所需类型的易失性或非易失性存储器
实现。硬件资源可以另外包括输入设备、输出设备或网络设备，这取决于设备的类型。或者只要hdd是可访问的，hdd可以提供到设备外部。在这种情况下，cpu(例如cpu的藏镭器存储器，cashe memory)和ram可以用作设备的物理存储器或主存储器，而hdd可以用作设备的辅助存储器。
[0179]
所描述的实施例的每个功能可以由一个或多个处理电路或电路实现。处理电路包括编程处理器，因为处理器包括电路。处理电路还包括诸如专用集成电路(asic)，dsp(数字信号处理器)，fpga(现场可编程门阵列)之类的设备以及用于执行所述功能的传统电路部件。
[0180]
上面描述的每个实施例都作为一个实例给出，不打算限制本发明的范围。根据上述教导，许多附加的修改和变化是可能的。因此，应当理解，在本文所附权利要求的范围内，本说明书的公开可以以不同于本文所具体描述的方式进行。
[0181]
本专利申请基于并根据35u.s.c.
§
119(a)要求于2019年3月14日向日本专利局提交的日本专利申请no.2019
‑
046771的优先权，其全部公开内容通过引用作为参考。
[0182]
附图标记列表
[0183]
100 立体照相机装置(成像装置)
[0184]
c0，c1 照相机(成像装置)
[0185]
13 照相机控制单元
[0186]
21 透镜(图像捕获光学系统)
[0187]
22 孔径光阑
[0188]
23 cmos图像传感器(成像元件)
[0189]
24 cds
[0190]
25 agc
[0191]
26 a/d转换单元
[0192]
27 帧存储器
[0193]
28 数字信号处理单元
[0194]
30 图像处理单元
[0195]
40 校正参数存储单元
[0196]
50 视差计算单元