立体图像处理装置及立体图像处理方法与流程

1.本发明涉及根据多个摄像机的拍摄图像计算视差的立体图像处理装置以及立体图像处理方法。


背景技术：

2.近年来，随着预防安全技术的发展和汽车的自动驾驶需求的提高，强烈要求高精度地识别车外状况的技术。立体摄像机在从拍摄图像获得的物体的形状或浓淡、从视差信息获得的物体距汽车的距离等获得丰富的信息这一点上特别需要。为了该立体摄像机的用途扩大和应用于自动驾驶，需要使用分辨率比以往高的摄像机。但是，立体摄像机为了计算视差所需的运算成本非常高，即使仅使用高分辨率的摄像机，如果直接应用以往的图像处理，则在aeb等的控制所要求的时间内也无法完成运算。因此，需要从拍摄图像提取需要高分辨率视差计算的区域，并且缩小该区域以执行高分辨率视差计算。关于这一点，在专利文献1中记载了首先从使用多个低分辨率图像计算出的视差中提取必要的区域，接着使用多个高分辨率图像对必要的区域计算正确的视差。现有技术文献专利文献
3.专利文献1：日本特开平7-103734号公报


技术实现要素：

发明要解决的问题
4.但是，在使用低分辨率图像来提取区域的方法中，由于区域的提取阶段中的视差计算的分辨率低，因此是否能够提取真正需要高分辨率的视差计算的区域，在可靠性方面存在问题。在低像素图像中较小的物体不能精确地计算距离。
5.本发明的目的在于提供一种立体图像处理装置和立体图像处理方法，对于高分辨率的拍摄图像的一部分，与其他部分相比以高分辨率计算视差信息时，能够通过提高区域选择的适当性来计算高可靠性视差信息。解决问题的技术手段
6.为了达成上述目的，本发明是一种计算汽车与所述汽车的外界的障碍物之间的距离的立体图像处理装置，其具备：拍摄图像存储器，其保存针对所述汽车的外界由多个摄像机连续拍摄的拍摄图像；区域评价部，其根据所述汽车的转向角信息和车速信息中的至少一方，决定所述拍摄图像上的每个区域的评价值；以及视差计算部，其对于所述多个摄像机分别拍摄的多个最新图像，对所述区域评价部决定的评价值相对高的区域以高像素进行视差计算，对所述区域评价部决定的评价值相对低的区域以低像素进行视差计算。发明的效果
7.根据本发明，对于高分辨率的拍摄图像的一部分，与其他部分相比以高分辨率计算视差信息时，能够通过提高区域选择的适当性来计算高可靠性视差信息。
拍摄图像存储器22由hdd或ram等存储器构成，保存针对自身车辆的外界(前方区域)由摄像机单元10的多个摄像机连续拍摄并输入到图像获取部21的拍摄图像。在拍摄图像存储器22中，以这些摄像机帧速率依次保存由2个摄像机同时拍摄的一对拍摄图像。如果规定的存储区域已满，则例如从旧的拍摄图像开始依次覆盖新的拍摄图像。
[0016]-视差图像存储器-视差图像存储器27保存过去由视差计算部26计算出的多个视差图像(逐次保存由视差计算部26计算出的视差图像)。视差图像存储器27与拍摄图像存储器22同样，由hdd或ram等存储器构成，也可以由与拍摄图像存储器22相同的存储器兼用，也可以分为不同的存储器。如果规定的存储区域已满，则例如从旧的视差图像开始依次覆盖新的视差图像。
[0017]-车辆信息获取部-车辆信息获取部23是例如从搭载在自身车辆上的can(controller area network)输入自身车辆的车辆信息的接口。“车辆信息”是指车速、转向角、自身车辆相对于水平的倾斜角等、由搭载在自身车辆上的各种传感器随时检测出的操作信息或姿势信息等。can以有线或无线方式与图像获取部21连接，在本实施方式中，至少将车速信息和转向角信息作为车辆信息经由车辆信息获取部23从can输入到图像处理单元20。车辆信息获取部23将所输入的车辆信息依次记录在ram等存储器中，并且在规定的时刻向区域评价部25的第一评价部25a(后述)和第二评价部25b(后述)输出。
[0018]-过去视差图像获取部-过去视差图像获取部24是从视差图像存储器27输入由视差计算部26过去计算出的视差图像的接口。该过去视差图像获取部24从视差图像存储器27读入最新的一定期间量的视差图像，输出到区域评价部25的第二评价部25b(后述)。“最新的一定期间”是指将从当前时刻追溯了规定时间的指定时刻作为开始期、将当前时刻作为结束期的期间，规定时间是设定值。
[0019]-区域评价部-将区域评价部25的根据自身车辆的转向角信息和车速信息的至少一方(在本实施方式中为双方)来决定拍摄图像上的每个区域的评价值的处理作为构成要素而示意性地表示，例如由cpu执行。在本实施方式中，以将拍摄图像上的区域划分为方格状的情况为例进行说明(图2)。区域评价部25构成为包含第一评价部25a、第二评价部25b、评价值决定部25c。将第一评价部25a、第二评价部25b、评价值决定部25c的功能作为构成要素示意性地表示，分别例如由cpu执行。
[0020]
·
第一评价部第一评价部25a从拍摄图像存储器22读入由2个摄像机中的一个(例如左摄像机)拍摄的最新图像，根据从车辆信息获取部23输入的当前的转向角信息，运算在最新图像上自身车辆的预想前进路线。此外，该第一评价部25a对在最新图像上的预想前进路线上、距自身车辆相对远距离的最新图像上的区域赋予高的评价值。“最新图像”是拍摄时刻最新的拍摄图像，实质上是指当前时刻的拍摄图像。下面详细说明第一评价部25a。
[0021]
图2是关于拍摄图像上的每个区域的评价值的第一评价部25a的计算方法的说明图。该图示意性地表示利用摄像机单元10所包含的多个摄像机中的一个(例如左摄像机)在自身车辆的行驶中拍摄到的最新图像(当前的拍摄图像)的例子。在该最新图像中，映出了
沿着由自身车辆平缓转弯的左右车道l1、l2划定的道路行驶的前方车辆c1。映出了在左侧的车道l1的附近存在行人p，该行人p越过左侧的车道l1进入道路，在横切自身车辆行驶的道路的方向上移动的情况。另外，设置有沿着车道l1、l2从远方接近的对向车辆c2或设置在道路右侧(车道l2的右侧)的杆x。
[0022]
由于摄像机单元10相对于自身车辆的姿势被固定，所以能够根据摄像机参数和转向角信息简单地求出自身车辆的预想前进路线r。在正确地求出自身车辆的预想前进路线r的情况下，也能够根据图像识别车道l1、l2并根据其曲率求出车道l1、l2。
[0023]
例如在图2中如箭头所示那样设定了预想前进路线r后，第一评价部25a相对降低预想前进路线r的起点侧(画面上的下侧)的区域的分数(数值)，相对提高终点侧(画面上的上侧)的区域的分数，来作为视差计算密度的评价值。作为一例，根据参考数据(图3)对各区域赋予分数，以使分数沿着预想前进路线r从起点向终点变高。参考数据预先设定并保存在rom等中，从rom读入到第一评价部25a(cpu)中。对于该分数预先设定阈值s1、s2(s1＜s2)，评价值被划分为例如分数小于s1的区域为低密度区域，s1以上小于s2的区域为中密度区域，s2以上的区域为高密度区域。在本实施方式中，例示了划分为“低密度区域”、“中密度区域”、“高密度区域”这3个区域来设定各区域的评价值的情况，但区域的划分可以是2个，也可以划分为4个以上的区域。
[0024]
·
第二评价部第二评价部25b根据从视差图像存储器27读入的最新的一定期间量的视差图像和车速信息生成当前的推定视差图像，根据该推定视差图像针对每个区域判定成为决定视差计算密度的指标的评价值。由该第二评价部25b赋予高评价值的区域是包含在推定视差图像上相对较小映出的物体的区域。为了在之后由视差计算部26根据最新图像进行视差计算，第二评价部25b将在最新图像中捕捉到的物体(通过浓淡识别的物体)与自身车辆之间的距离(视差)作为评价判定的基础之一。但是，由于使用最新图像来计算视差，所以在物理上无法实时计算在该最新图像中映出的物体的距离。因此，在第二评价部25b中，经由过去视差图像获取部24，从视差图像存储器27读入最新的一定期间量的多个视差图像(最近的过去视差图像)，使用这些多个视差图像，加入车速信息，计算当前时刻的推定视差图像。然后，根据该推定视差图像计算各区域的评价值。另外，推定视差图像是根据过去的视差图像推定运算出的当前的视差图像，推定为与最新图像处于对应关系。
[0025]
过去的视差图像是由视差计算部26计算出的图像，按照区域评价部25的评价，按每个区域以不同的计算密度进行计算。在过去的视差图像中，除了这样的每个区域的计算密度的信息之外，还包含图像中映出的各种物体(车道、路肩、前方车辆、对向车辆、行人、行道树等)距自身车辆的距离、这些物体在图像上的大小的信息。根据这些最近的一定期间量的视差图像和车速信息，得到当前的推定视差图像。
[0026]
图4是示意地表示由第二评价部25b计算出的推定视差图像的一例的图。第二评价部25b根据推定视差图像识别应进行高密度视差计算的物体，对包含应进行高密度识别的物体的区域赋予相对较高的分数。在此，被判断为应该进行高密度视差计算的物体是在图像上较小地映出的物体。这是因为，对于这样的物体，即使使用低像素图像以低密度进行视差计算，也不能高精度地计算视差。例如，即使是在现实中决不小的物体，在远方时也有在图像中只较小地映出的物体。根据与自身车辆的相对速度，这样的物体也有可能在瞬间接
近自身车辆，对于这样的物体，也能够从位于远方开始细致地测距。相反，如果是较大地映出的物体，则即使使用低像素图像以低密度进行视差计算，也能够以充分的精度计算视差，因此不需要使用高像素图像以高密度进行视差计算。
[0027]
作为一例，第二评价部25b根据图5所示的参考数据对各区域赋予分数。该图所示的参考数据以离自身车辆的距离越近分数越高，另一方面，图像上的大小越小的物体分数越高的方式预先生成并保存在rom等中，从rom读入到第二评价部25b(cpu)。在该图的参考数据中，横轴表示距自身车辆的距离、纵轴表示图像上的大小的坐标系(第一象限)由表示阈值的曲线γ1、γ2划分。曲线γ1和γ2可以是例如反比曲线。关于分数，在图5中距原点o的距离越近的坐标越高。比曲线γ1更靠近原点o的区域是高密度区域，比曲线γ2更远离原点o的区域是低密度区域，由曲线γ1、γ2夹着的区域是中密度区域。例如，即使距自身车辆的距离是同一值(＝α)的物体，包含该物体的区域的评价值也因图像上的大小而不同。即使对于相同距离α的物体，如果图像上的大小大，则不需要高密度的视差计算，因此判定为低密度区域。相反，如果图像上的大小小，则需要高密度视差计算，因此判定为高密度区域。
[0028]
如果改变观察方法，则即使是图像上的大小相同(＝β1)的物体，包含该物体的区域的评价值也随着距自身车辆的距离而变化。即使是相同大小β1的物体，如果距自身车辆的距离远则判定为低密度区域，如果近则判定为高密度区域。
[0029]
总之，判定为推定视差图像上的大小越小的物体越需要高密度的视差计算，例如对于图像上的大小比一定值(＝β2)小的物体，则与距自身车辆的距离无关地无条件地划分为高密度区域。
[0030]
在图5中，例示了划分为“低密度区域”、“中密度区域”、“高密度区域”这3个区域来设定各区域的评价值的情况，但区域的划分可以是2个，也可以划分为4个以上的区域。
[0031]
·
评价值决定部评价值决定部25c根据第一评价部25a和第二评价部25b的评价值，决定图像的每个区域的评价值。特别是在本实施方式中，评价值决定部25c以使各区域的计算容量的合计值收敛于设定值以下的方式决定每个区域的评价值。
[0032]
图6是示出评价值决定部25c中的关于视差计算密度的每个区域的评价值的决定步骤的流程图。在第一评价部25a和第二评价部25b计算出评价值后，如该图所示，评价值决定部25c在使用最新图像进行视差计算时，对最新图像上的各区域设定评价值(步骤s11)。评价值的设定方法例如可以例示最大值选择。对于第一评价部25a的最新图像上的评价值与第二评价部25b的推定视差图像上的评价值不同的区域，选择较高的一方的评价值的方法。例如，对于在第一评价部25a中被判定为高密度区域、在第二评价部25b中被判定为中密度区域的区域，将最新图像上的对应区域设定为高密度区域。对于第一评价部25a和第二评价部25b的评价值相等的区域，选择其共同的评价值。例如，对于由第一评价部25a和第二评价部25b双方判定为低密度区域的区域，将最新图像上的对应区域设定为低密度区域。
[0033]
设定了最新图像上的各区域的评价值后，评价值决定部25c计算基于设定的视差计算的计算容量(步骤s12)，判定计算出的计算容量是否在预先设定的设定值以下(步骤s13)。假设计算容量超过设定的情况下，重新设定各区域的评价值(步骤s14)，将步骤返回到步骤s12。在步骤s14的步骤中，例如可以将每个区域的评价值的设定方法切换为最小值选择，或者通过每个区域的分数的平均值来区分评价。如果经过步骤s14在步骤s13中再次
不满足判定，则考虑例如对于在第二评价部25b中判定为中密度区域或高密度区域的区域，从距自身车辆的距离远的区域开始依次在每次步骤s14的步骤中降低评价值。为了抑制步骤s12-s14的重复数，也可以在步骤s11的处理中采用最小值选择。
[0034]
如果在步骤s13中判定计算容量为设定容量以下，则评价值决定部25c在该时间点的设定中决定各区域的评价值(步骤s15)，将评价值与ram等存储器一起输出到视差计算部26，并且结束图6的流程图。
[0035]
如上所述，区域评价部25根据情况依次改变拍摄图像上的各区域中的视差计算的计算密度。
[0036]-视差计算部-视差计算部26针对在多个摄像机中同时拍摄的多个最新图像，对于由区域评价部25决定的评价值相对较高的区域，以高像素进行视差计算，对于由区域评价部25决定的评价值相对较低的区域，以低像素进行视差计算。计算出的视差图像被保存在视差图像存储器27中，并且作为对驾驶员的警告动作(蜂鸣器的警告音、监视器的警告显示等)或自动制动器等车辆控制的基础信息，经由can输出到自身车辆的车载计算机(未图示)。
[0037]
在视差计算部26中，当计算视差时，例如，在左侧的摄像机拍摄的图像中，设置包括任意坐标(a，b)的关注点的规定尺寸(例如，8
×
8像素)的区域。以下，将该规定尺寸的区域称为“窗”。同时，在右侧的摄像机的拍摄图像中，也设定与在左侧的拍摄图像内设定的窗在拍摄图像上的位置以及尺寸相等的窗。视差计算部26针对左右拍摄图像计算各窗的sad(sumof absolute difference)。sad由以下公式给出。
[0038]
其中，il(x，y)是左侧的摄像机的拍摄图像的窗内的坐标(a i，b j)的像素的浓淡值，ir(x，y)是右侧的摄像机的拍摄图像的窗内的坐标(a i c，b j)的浓淡值。c是右侧的摄像机的拍摄图像上的窗的位置相对于左侧的摄像机的拍摄图像上的窗的位置的左右方向的位置偏移量(在本实施方式中，以上下方向的位置偏移量为0的方式设置左右的摄像机)。wx、wy是窗的宽度(左右方向的尺寸)和高度(上下方向的尺寸)。
[0039]
根据上式，计算左右摄像机的拍摄图像上的窗内的对应像素的浓淡值的差(绝对值)的合计(＝sad)。视差计算部26在从0到设定值(＝搜索数cmax)的范围内依次改变c的值(即依次错开右侧的摄像机的拍摄图像上的窗)，反复进行sad的计算，搜索sad值最小的偏移量c。sad值最小的位置偏移量c是关注点(a，b)的视差。
[0040]
通过对拍摄图像的所有像素执行这种视差，可以获得精细的视差信息，根据区域评价部25的评价，视差计算部26对拍摄图像中的每个区域的视差计算密度带有差异。在本实施方式中，对于在区域评价部25中判定为低密度区域的区域，例如用4
×
4(＝16)像素的块划分区域，仅对从各块提取出的1个像素(例如各块的左上的像素)执行上述视差计算。对于被判定为中等密度区域的区域，例如，由2
×
2(＝4)像素块划分区域，并且仅对从每个块提取的1个像素(例如，每个块的左上像素)执行视差计算。对于被判定为高密度区域的区域，对所有像素执行视差计算(换言之，块的大小为1
×
1＝1个像素)。在这种情况下，相对于高密度区域，中密度区域的计算密度为1/4，低密度区域的计算密度为1/16。
[0041]
另外，块的尺寸是设定的，可以变更。但是，前提是低像素区域的块比中像素区域
的块大。另外，高像素区域不必是对全部像素进行视差计算的构成，只要与其他区域相比视差的计算密度高(块的尺寸小)、能够确保所希望的计算密度即可。
[0042]-效果-(1)在本实施方式中，根据自身车辆的车辆信息来决定拍摄图像上的每个区域的评价值。与如粗分析那样以间隔剔除了像素的低像素图像进行区域分析的情况不同，对于在图像上较小地映出的物体，也能够根据状况以高分辨率正确地计算与自身车辆的距离。对于高分辨率的拍摄图像的一部分，与其他部分相比以高分辨率计算视差信息时，能够通过提高区域选择的适当性来计算高可靠性视差信息。通过选择性地以高密度对适当的物体进行视差计算，针对必要性低的物体降低视差计算的密度，从而能够抑制针对图像整体的计算容量，提高响应性。
[0043]
(2)对于存在于自身车辆的前进路线上或前进路线附近的障碍物，要求视差信息的精度。但是，对于远方的障碍物，根据现实的大小，有时在图像中只较小地映出。因此，在本实施方式中，在计算拍摄图像的每个区域的评价值时，基于转向角信息，运算在一张最新图像上自身车辆的预想前进路线，对在预想前进路线上距自身车辆相对远距离的区域赋予高的评价值。由此，可以精确地计算前进路线上或前进路线附近的物体的视差，并且能够计算高可靠性的视差信息。
[0044]
(3)另外，根据最新的一定期间量的视差图像和车速信息生成当前的推定视差图像，对在推定视差图像上包含相对较小地映出的物体的区域赋予高评价值。这样，通过根据最近的视差图像和车速信息来推定计算包含视差信息的当前的视差图像，能够得知图像中映出的各物体距自身车辆的距离。不言而喻，对于与自身车辆相距近距离的物体，能够将视差的计算密度设定得较高，对于在图像上较小地映出的物体，即使距自身车辆的距离较远，也能够得到高计算密度的视差信息，能够计算高可靠性的视差信息。
[0045]
(4)特别是在本实施方式中，根据基于第一评价部25a的预想前进路线的评价值、以及基于第二评价部25b的图像上的大小的评价值，综合地决定每个区域的评价值。在该情况下，即使在任一方的评价方法中不能进行真正妥当的评价的状况下，也能够通过综合双方的评价来最终决定评价值，从而针对各区域(或者针对拍摄图像整体而整体地)得到更妥当的评价值。因此，能够计算高可靠性的视差信息。
[0046]
(5)此外，通过以每个区域的计算容量的合计值收敛在设定值以下的方式决定每个区域的评价值，由此能够稳定地抑制整体计算负荷，并且能够响应性好地计算高可靠性视差信息。
[0047]-变形例-图7是第二评价部所使用的参考数据的其他例子的示意图。在上述实施方式中，说明了使用推定视差图像关注图像上的物体的大小来计算评价值的例子，但例如也可以在第二评价部25b中对一定期间量的视差的时间变化相对大的区域赋予高评价值。第二评价部25b构成为，既可以采用图像上的物体的大小、视差的时间变化这两个观点的评价方法中的任一个，也可以采用双方。
[0048]
作为一例，如图7所示，将随着视差的时间变化变大而分数变高的参考数据保存在rom等中。然后，在第二评价部25b中，根据从最近的多个视差图像求出的各区域(或物体)的视差的时间变化和读入的参考数据，对各区域(或物体)计算分数。对于该分数，预先设定阈
值ε1、ε2(ε1＜ε2)，例如评价值被区分为分数小于ε1的区域为低密度区域，ε1以上且小于ε2的区域为中密度区域，ε2以上的区域为高密度区域。
[0049]
在该示例的情况下，可以获得包括与自身车辆的相对速度大的物体(主要是以高速接近自身车辆的物体)的区域的高精度视差信息。特别是如果与对图像上的大小小的物体赋予高分数的方式组合，则容易高精度地识别从远方高速接近的物体。
[0050]
另外，在上述的实施方式以及变形例中，以将拍摄图像的区域划分为方格状的情况为例进行了说明，但关于区域的划分方法可以适当变更。例如，也可以将拍摄图像中映出的物体(图2的前方车辆c1等)本身作为评价区域，计算物体本身的评价值。
[0051]
另外，还可以增加如下功能：在由于下雪或浓雾、前玻璃的污损等引起的白化(white out)、进入隧道时的转暗等而使拍摄图像的对比度极度降低的情况下，使拍摄图像的各区域的评价值返回到初始值。在这种情况下，例如，对于假设为没有障碍物的水平地的模拟图像，每个区域的评价值的数据被存储在存储器中作为初始值，评价值决定部25c读取该数据，将其输出到视差计算部26。
[0052]
作为在车辆信息获取部23中进行获取并输入到区域评价部25的车辆信息，例示了车速信息和转向角信息，但也可以在评价计算中适当利用其他的车辆信息。例如，自身车辆是前倾还是后倾的倾斜信息能够用于根据该倾斜角在图像上沿上下方向偏移预想前进路线等的处理。前灯的点亮和熄灭的信息可以用于通过区分拍摄图像上被照亮的区域和未被照亮的区域来调整拍摄图像的亮度差。另外，雨刷可能映入拍摄图像中而被误检测为障碍物，为了防止这种情况，也可以利用雨刷的动作信息。另外，也可以输入来自搭载在自身车辆上的测位装置(例如gps)的信息，对照当前值及其周边的数据和拍摄图像，用于计算道路的曲率或预想前进路线，或用于周围建筑物的对照。
[0053]
另外，在上述实施方式及变形例中，以区域评价部25具备第一评价部25a及第二评价部25b这两个评价部的构成为例进行了说明，但也可以设为省略了任一方的构成。在该情况下，必然也不需要评价值决定部25c。另外，在评价值决定部25c中，以各区域的计算容量的合计值收敛在设定值以下的方式决定每个区域的评价值的情况为例进行了说明，但该功能可以省略。可以将在图6的步骤s11中设定的评价值数据直接输出到视差计算部26。符号说明
[0054]
10
…
摄像机单元、22
…
拍摄图像存储器、25
…
区域评价部、25a
…
第一评价部、25b
…
第二评价部、25c
…
评价值决定部、26
…
视差计算部、27
…
视差图像存储器。