图像处理装置及图像处理方法与流程

本发明涉及图像处理装置及图像处理方法。

背景技术：

1、立体相机使用多个相机，例如使用2个相机来对立体物进行拍摄。立体相机的图像处理装置通过计算映入由各相机拍摄的图像中的立体物的视差，并通过三角测量的原理测量该立体物的进深距离，从而能够三维地识别立体物。因此，立体相机在车辆的防碰撞功能、机器人的传感器及监视相机、安全性等广阔的范围内被应用。例如，立体相机搭载于汽车等，检测周围的汽车、或者步行者、自行车、摩托车、其他的立体物等的位置，并根据该信息进行自动紧急制动等本车辆的自动控制。

2、此外，为了应对所应用的各种各样的情况，立体相机被要求更宽视角且更远方的立体物的测距。特别是在对宽视角的立体物进行测距的情况下，经常使用采用了鱼眼镜头的极端的广角相机。鱼眼镜头通过在图像中带来大幅的畸变，从而甚至能够在1张图像中收纳广角部的被摄体。

3、在立体相机中，计算映入左右相机的同一像的视差（相对位置）的立体匹配处理是计算成本最高的处理，特别是在车载等中，由于要求实时性，因此需要尽可能地削减计算成本。因此，在进行立体匹配处理之前，在立体相机中，进行左右图像的平行化处理。通过进行平行化，能够将探索同一像的范围限定在同一平行线上，能够大幅地削减计算成本。通常，平行化后的图像通过变换为透视投影图像（无畸变图像）来进行，但其课题在于由鱼眼镜头拍摄到的广角的图像的透视投影图像中，图像尺寸会变大。

4、在专利文献1中记载为具备“为了生成具有修正后的投影的修正图像，对所述第1广角图像应用映射的映射器”，“映射器提供：垂直映射函数，其与从所述透视投影到所述修正后的投影的修正后的垂直投影的非线性垂直映射一致；以及水平映射函数，其与从所述第1投影到所述透视投影的映射以及其后的从所述透视投影到所述修正后的投影的修正后的水平投影的非线性水平映射一致”。

5、先行技术文献

6、专利文献

7、专利文献1:日本特表2022-506104号公报

技术实现思路

1、发明要解决的课题

2、如上述那样，提出通过对左右的摄像装置拍摄到的图像应用非线性映射函数来代替透视投影，从而生成比以往更压缩的平行化图像。然而，在专利文献1所记载的技术中，没有记载具体的压缩函数，仅限定了至少对透视投影进行某种压缩。如果进行大的压缩，则能够相应地对图像进行压缩，但是如果压缩至图像的分辨率劣化，则会导致视差计算精度的劣化。另外，相反地即使进行扩大，终究也仅仅是通过插值处理进行扩大，所以本质上无法超过原图像的分辨率。总结以上，导致原图像的分辨率劣化程度的压缩也会导致视差精度劣化，扩大则仅仅是无意义地增加存储器的容量。

3、为了兼顾视差精度和图像的尺寸，一边维持原图像的分辨率，一边生成最节省存储器的平行化图像成为课题。

4、本发明是鉴于上述的点而完成的，其目的在于，提供一种能够在从在多个相机中拍摄到的图像到平行化图像的变换中维持分辨率，从而兼顾省存储器化和测距精度的图像处理装置。

5、解决课题的手段

6、解决上述课题的本发明的图像处理装置，具备：

7、图像获取部，其获取由多个摄像部各自拍摄的第一拍摄图像及第二拍摄图像；

8、平行化处理部，其将与由所述多个摄像部规定的基线方向以及所述多个摄像部的光轴方向垂直的方向作为垂直轴，以在所述第一拍摄图像及所述第二拍摄图像中拍摄到的同一像的垂直坐标至少在所述第一拍摄图像及所述第二拍摄图像内的任意的点处一致的方式，对所述第一拍摄图像及所述第二拍摄图像进行平行化从而生成第一平行化图像及第二平行化图像；

9、视差图像生成部，其根据多个所述平行化图像，生成视差；以及

10、物体识别部，其根据所述视差，识别物体，

11、所述平行化处理部以相对于所述第一拍摄图像及所述第二拍摄图像而言，在包含所述垂直轴的平面中的规定的视角范围中所述基线方向的每单位像素的分辨率提高的方式，对所述第一拍摄图像及所述第二拍摄图像进行平行化。

12、发明的效果

13、根据上述构成的本发明，通过在从在多个相机中拍摄到的图像到平行化图像的变换中维持分辨率，能够兼顾省存储器化和测距精度。与本发明相关的进一步的特征将根据本说明书的记述、附图而变得明确。另外，上述以外的课题、构成及效果将通过以下的实施方式的说明而明确。

1.一种图像处理装置，其特征在于，具备：

2.根据权利要求1所述的图像处理装置，其特征在于，

3.根据权利要求1所述的图像处理装置，其特征在于，

4.根据权利要求1所述的图像处理装置，其特征在于，

5.根据权利要求2所述的图像处理装置，其特征在于，

6.根据权利要求1所述的图像处理装置，其特征在于，

7.根据权利要求1所述的图像处理装置，其特征在于，

8.根据权利要求1所述的图像处理装置，其特征在于，

9.根据权利要求8所述的图像处理装置，其特征在于，

10.根据权利要求9所述的图像处理装置，其特征在于，

11.根据权利要求9所述的图像处理装置，其特征在于，

12.根据权利要求9所述的图像处理装置，其特征在于，

13.根据权利要求9所述的图像处理装置，其特征在于，

14.一种图像处理方法，其特征在于，包含：