图像处理装置的制作方法

本发明涉及一种车载摄像机中的识别行人的图像处理装置。

背景技术：

近年来，由于车载传感装置的普及，驾驶辅助系统、自动驾驶系统的开发正在进行。在更高级的系统开发中，有必要识别存在于汽车周边的物体是车辆还是行人等类别。

在存在于汽车周边的物体的类别的识别中，如专利文献1所记载的那样，采用了使用预先通过机器学习生成的识别器，来识别由车载摄像机或雷达等检测出的物体的方法。

现有技术文献

专利文献

专利文献1：日本专利特开2013-232080号公报

技术实现要素：

发明要解决的问题

现有技术中的行人识别是以检测到的区域内反映出行人的全身为前提，通过进行行人全身的识别处理来保持识别性能。

因此，在行人的下半身露出视角外这样的近距离存在行人的情况、行人的下半身被树篱、护栏等遮挡的情况、由于夜间前照灯的照射状况而无法检测到行人的全身等情况下，行人识别性能会下降。

本发明的目的在于实现一种即使在无法检测到存在于周边的行人的全身的情况下，也能够正确地进行是否是行人的识别的图像处理装置。

解决问题的技术手段

为了实现上述目的，本发明如下构成。

在图像处理装置中，具备：检测部，其检测外部环境的图像信息；识别区域校正量计算部，其根据所述检测部检测出的所述图像信息计算识别立体物的识别区域的校正量；识别区域校正部，其根据所述识别区域校正量计算部计算出的所述校正量，校正用于识别所述立体物的所述图像信息的所述识别区域；以及识别处理部，其对由所述识别区域校正部校正了的识别区域内的立体物进行识别处理。

发明的效果

根据本发明，可以实现一种即使在无法检测到存在于周边的行人的全身的情况下，也能够正确地进行是否是行人的识别的图像处理装置。

附图说明

图1是表示本发明的一实施例的图像处理装置的整体构成的框图。

图2是表示立体摄像机装置内的处理流程的图。

图3是图示了在摄像机图像上的立体物检测处理的结果的图。

图4是表示一实施例的处理构成的图。

图5是表示一实施例的处理构成的详情的图。

图6是表示夜间的摄像机图像和立体物检测处理的动作结果的一例的图。

图7是表示在立体物检测处理中在检测区域中包含遮挡物的情况下的立体物检测结果的图。

图8是表示立体物脚下被截掉的状态的图像的图。

图9是表示摄像机的视角与行人的距离关系的图。

图10是表示前照灯照射范围与行人的距离关系的图。

图11是表示识别区域校正处理结果的例子的图。

具体实施方式

使用附图，对本发明的实施方式进行说明。

实施例

图1是表示本发明的一实施例的图像处理装置的整体构成的框图。

在图1中，本发明的一实施例中的车载立体摄像机装置100是搭载在车辆上、基于车辆前方的摄影对象区域的外部环境的图像信息来识别车外环境的装置。车载立体摄像机装置100例如进行道路的白线、行人、车辆、其他立体物、信号、标识以及照明灯等的识别，进行搭载了该立体摄像机装置100的车辆(本车辆)的制动、转向调整等的调整。

车载立体摄像机装置100具备：获取图像信息的在左右配置的2个摄像机(左摄像机101、右摄像机102(拍摄外部环境来得到图像的摄像部)以及用于控制摄像机101、102的拍摄，取入所拍摄的图像的图像输入接口103。

通过该图像输入接口103取入的图像通过总线109发送数据，由图像处理部104、运算处理部105处理，将成为处理途中的结果、最终结果的图像数据等存储在存储部106中。

图像处理部104将从摄像机101的拍摄元件得到的第1图像与从摄像机102的拍摄元件得到的第2图像进行比较，以对各图像进行由摄像机101以及摄像机102的拍摄元件引起的设备固有的偏差的校正、噪声插值等的图像校正，将其存储在存储部106中。

另外，计算来自摄像机101的第1图像和来自摄像机102的第2图像之间相互对应的位置，计算视差信息，并以与上述相同的方式将该视差信息存储在存储部106中。

运算处理部105使用存储在存储部106中的图像以及视差信息(相对于图像上的各点的距离信息)，进行感知车辆周边环境所需的各种物体的识别。

各种物体是指人、车、其他障碍物、信号灯、标志、车的后照灯和前照灯等。这些识别结果、中间的计算结果的一部分与上述同样地记录在存储部106中。在对拍摄到的图像进行各种物体识别后，使用这些识别结果计算车辆控制所需的指令值等。

作为计算结果得到的车辆的控制方针、物体识别结果的一部分通过can接口107传递到车载网络can110，由此进行车辆的制动。

而且，为如下的构成：关于这些动作，控制处理部108监视各处理部是否发生了异常动作，在数据传输时是否发生错误等，防止异常动作。

上述图像处理部104经由内部总线109连接到控制处理部108、存储部106、运算处理部105、左摄像机101与右摄像机102的摄像元件之间的输入输出部103以及与外部车载网络can110的输入输出部107。

图像输入接口103、图像处理部104、存储部106、运算处理部105、输入输出部107以及控制处理部108由单个或多个计算机单元构成。

存储部106由存储器等构成，该存储器存储例如由图像处理部104得到的图像信息、根据由运算处理部105扫描的结果制作的图像信息等。

与外部车载网络can110的输入输出部107将从车载立体摄像机装置100输出的信息经由外部车载网络can110输出到本车辆的控制系统(未图示)。

图2是表示立体摄像机装置100内的处理流程的图。

首先，在车载立体相机装置100内，由左右的摄像机101和102拍摄图像，图像处理部104对于各自拍摄的图像数据203、204进行用于吸收摄像元件固有特征的校正等的图像处理205。该处理结果存储在图像缓冲器206中。图像缓冲器206设置在图1的存储部106中。

另外，使用经校正的2个图像进行图像彼此的对照，由此获得由左右摄像机得到的图像的视差信息。根据左右图像的视差，对象物体上的某个着眼点与左右摄像机101以及102的图像上的何处和何处对应变得明确，根据三角测量的原理，可得到到对象物的距离。

进行这种处理的是视差处理207。由图1中的图像处理部104进行图像处理205以及视差处理207，最终得到的图像以及视差信息存储在存储部106中。

使用如上述得到的视差图像，进行用于检测三维空间中的立体物的检测处理208。进而，使用上述存储在存储部106中的图像和视差信息，进行各种物体识别处理209。作为识别对象的物体，有人、车、其他立体物、标识、信号灯以及后照灯等，识别处理的详情是由对象的特性和系统上花费的处理时间等的制约而决定的。

进而，考虑物体识别的结果和本车辆的状态(速度、舵角等)来决定如下方针，即通过车辆控制处理210，例如向乘员发出警告，进行本车辆的制动和舵角调整等的制动的方针，或者据此进行对象物的回避控制的方针，该结果通过can接口108输出。

立体物体检测处理208、各种物体识别处理209以及车辆控制处理210由图1的运算处理部105进行。这些的各处理各方法例如由单个或多个计算机单元构成，构成为能够相互交换数据。

由上述视差处理207得到左右图像的各像素的视差或距离，在立体物检测处理部208将其组合为三维空间上的立体物，根据该图像上的位置和区域实施各种物体识别处理209。此时，为了各种物体识别处理209稳定地进行物体的识别，需要使图像上的立体物区域和想识别的对象的影像一致。

但是，在立体摄像机中，有时由于外部环境的亮度、摄像机间的摄像性能的偏差、由玻璃面的异物等产生的遮挡等，而无法使想识别的图像上的物体区域完全一致。

这即使是在将毫米波等的雷达和摄像机等图像传感器组合的情况下也是同样的。因此，在各种识别处理中，应用本发明的一个实施例。

下面以立体摄像机装置为前提来叙述构成。

图3是图示在摄像机图像上的立体物体检测处理208的结果的图。

在图3中，针对三维空间中存在的行人、车辆、树木以及路灯等具有路面以上高度的物体的每一个，获得作为立体物检测处理208的结果的立体物区域301，将其作为图像上的区域投影。

立体物体区域301可以如图3所示是矩形，也可以是根据视差、距离得到的不定形的区域。在后段的处理中，为了使计算机的处理变得容易，一般被作为矩形来处理。在本实施例中，以下，将区域作为矩形来处理，使用行人作为立体物的一例来描述各处理的详情。

图4是表示本实施例的处理结构成的图。如上所述，各种物体识别209由运算处理部105进行。因此，图4所示的构成是运算处理部105的内部构成。

另外，下面以立体摄像机为前提来叙述构成。

在图4中，检测部401根据作为摄像部的摄像机101、102所拍摄的外部环境的图像信息，检测从摄像部到立体物的距离等，根据亮度、天气等外部环境的状况、从立体物检测处理208得到的检测对象物体区域的距离分布等，检测在检测对象物体区域中是否包含遮挡物等。

区域校正量计算部(识别区域校正量计算部)402根据检测部401检测到的图像信息，计算识别立体物的识别区域的校正量。即，根据检测到的外部环境的亮度、与立体物的距离、前照灯照射范围、遮挡物的位置或尺寸中的至少一个，计算立体物的识别区域的校正量。

在识别区域校正部403中，根据由区域校正量计算部402计算出的校正量，实施识别区域的校正。

在识别处理部404中，设定的(校正的)识别区域内的立体物被识别处理。识别处理例如可以举出以下技术。

有将预先准备的具有识别对象特征的模板与识别区域进行比较的模板匹配、利用将亮度图像或hog或haar-like这样的特征量、和支持向量机或ada-boost或deeplearning这样的机器学习方法结合起来的识别器(软件)的方法。

此外，也可以通过人为决定的阈值判定来识别边缘形状等。

图5是表示本实施例的处理构成的详情(图4所示的各部的详情)的图。

在图5中，检测部401的外部环境判定处理501进行立体物检测处理208被进行时的外部环境的亮度的状态的判定。图6是表示外部环境的示例的图，且是表示夜间摄像机图像和立体物体检测处理部208的动作结果的一例的摄像机图像601的图。

如图3所示，如果外部环境是白天，则检测移动到图像中的行人的整体被包含在立体物区域(检测区域)301中。但是，在夜间等变暗的情况下，如图6所示，行人与背景不能分离，在立体物检测处理208中，假定检测区域602包含行人的下半部分，但不包含上半部分，不包含行人的整体。

在外部环境的亮度的判定中，也可以通过图像处理求出图像中的亮度分布等，从车辆的内部信息直接取得时刻等来进行判定。此外，也可以是如果实施了曝光调整的摄像机的快门速度在阈值以下，则判定为白天，如果在阈值以上，则判定为夜间。

另外，不仅可以观测快门速度，还可以观测图像中的亮度分布、前后帧间的亮度变化等，进行隧道内、黄昏这样详细的外部环境的判定。

在图5中，检测部401的遮挡物检测处理502检测在立体物检测处理208被进行时检测区域内是否包含行人以外的物体，判定行人是否被遮挡。

图7是表示在立体物检测处理208中在检测区域701中包含遮挡物的情况下的立体物检测结果的图。在图7中，观察检测区域(识别区域)701的视差分布702，在包含视差不同的区域较多的情况下，计算各区域的距离，判断为行人(立体物)被遮挡物703遮挡，在检测区域内通过位于跟前方向和进深方向上的区域来辨别遮挡物703与行人的区域。然后，以将遮挡物703从检测区域(识别区域)701中排除的方式计算识别区域的校正量，识别校正后的识别区域内的立体物。

在图5中，在区域校正量计算部402的距离判定处理503中，在检测出的立体物是行人的情况下，判定是否位于截掉行人的脚下的距离，进行识别区域的校正量的计算。图8是表示截掉立体物(在图8中为行人)的脚下的状态的图像的图。如图8所示，可以通过图像上的检测区域801的下端是否接触所拍摄的图像的下端来判定是否截掉立体物的脚下。

此外，图9是表示摄像机的视角和行人的距离关系的图。如图9所示，在立体物是行人的情况下，从图像中截掉脚下的距离可以考虑根据检测出的立体物与车辆的距离、摄像机拍摄视角901、摄像机设置高度以及摄像机的姿势来计算的方法等。

从图像中截掉脚下的距离预先设定为距离设定值并存储在存储部106中，作为从图像中截掉脚下的距离的条件，根据摄像部(摄像机101、摄像机102)检测到的距离是否在距离设定值以下来进行判断。

在检测到的距离在距离设定值以下，且能够判断检测到的立体物的上部(头部)不在识别区域内的情况下，识别区域校正部403进行扩大(扩展)识别区域的上部区域的校正。在这种情况下，识别区域校正部403在检测到的距离为距离设定值以下的范围内，以检测到的距离越大识别区域的上端区域的校正量越小的方式进行校正。

在图5中，区域校正量计算部402的前照灯照射范围判定校正处理504根据车辆前照灯(照射外部环境前方的前照灯)的照射状态，以行人的头部被包含在识别区域中的方式计算识别区域的校正量。图10是表示前照灯照射范围与行人的距离关系的图。如图10的(a)所示，在前照灯为近光的情况下(前照灯的照射范围设定得低的情况下)，前照灯的光轴朝向照射路面的方向，因此行人越接近车辆，光照射的范围1001越靠近脚下侧，头部附近不再被照射。

因此，如图10的(b)所示，如果用摄像机图像1002观测行人，则头部变暗，与背景混合，因此立体物检测处理208的结果是不包含行人的头部的检测区域1003。

如图10的(c)所示，在远光的情况下(前照灯的照射范围设定得高的情况下)，由于光轴朝上，因此即使在行人位于附近的情况下，头部也包含在照射范围1004中。如果利用此时的摄像机图像1005观测行人，则如图10的(d)所示，光也照射到头部，立体物检测处理208的结果是包含行人的头部的检测区域1006。

因此，进行与近光和远光相应的校正量的计算。校正量的决定方法如下：例如在近光的情况下，如果在根据照射范围和距离而头部难以被包含的位置上有行人，则以实际空间上的尺寸将一头身程度的量、例如25cm设为识别区域的上端方向的校正量(进行扩大识别区域的上部区域的校正)。此外，如果是远光的情况下，因为容易包含头部，所以校正量为四个半头身程度的量，例如6cm。

近光、远光的判定也可以通过直接参照本车辆的内部信息、对拍摄的图像进行图像处理并计算亮度的分布等来判定。此外，也可以根据车辆装备的前照灯的种类(led、卤素等)，考虑这些光的扩散特性来计算校正量的值。也可以使用外部环境判定处理501的结果来变更校正量。例如，在外部环境判定处理501中，在判定为黄昏程度的暗度的情况下，判定为即使前照灯是近光灯也能够充分检测到行人的头部，还可以进行相对于夜间的近光灯的情况而言减少校正量的调整。

在区域校正量计算部402的检测结果校正处理505中，在由检测部401判定为在检测区域有遮挡物的情况下，使用遮挡物检测处理502的结果，以在识别区域内不包含遮挡物的方式计算识别区域的校正量。例如，可以列举如下方法：根据视差分布从图7的视差分布702对跟前侧的物体和进深侧的物体视差分布进行分组，区分遮挡物703和行人的区域，以不包含遮挡物703的区域的方式计算识别区域的校正量。

另外，在检测结果校正处理505中，也可以进行如下处理：不仅使用视差信息，还使用彩色信息、特征量的提取等来详细求出遮挡物703与行人的位置关系等，以不包含遮挡物703的方式计算校正量。

识别区域校正部403的识别区域校正处理部506根据由区域校正量计算部402计算出的各校正量，实施识别区域的尺寸调整。将立体物检测区域作为识别区域的基础，综合由距离判定校正处理503、前照灯照射范围判定校正处理504以及检测结果校正处理505计算出的校正量，向最终的识别区域进行校正。

识别区域校正处理部506根据上述判断结果，以例如将相当于从立体物的检测框的上部到地面的高度的一半的区域重新设定为识别区域的方式进行校正。

在对象物是行人的情况下，以包含行人头部的上半身包含在识别区域内的方式校正识别区域，判断校正后的识别区域内的对象物是否是行人。由此，能够提高是否是行人的识别精度。

图11是表示识别区域校正处理结果的例子的图。

在图11的(a)中，例如，在白天截掉了脚下的情况下的摄像机图像1101中，为了将包含了行人的头部的上半身作为识别区域，校正了识别区域11020所得的结果成为识别区域1102。

此外，在图11的(b)中，在夜间本车辆的前照灯为近光的摄像机图像1103中，对于能够判断为行人的头部不包含在检测区域中的摄像机图像1103，为了将包含了行人的头部的上半身作为识别区域，校正识别区域11030，将其作为识别区域1104。

此外，在图11的(c)中，在夜间本车辆的前照灯为远光的摄像机图像1105中，为了将包含了行人的头部的上半身作为识别区域，对于截掉了行人的脚下的图像11060进行校正，将其作为识别区域1106。

识别区域校正计算部402在近光的情况下(照射外部环境的前方的前照灯的照射范围设定得低的情况下)，以识别区域的上部区域的校正量比远光的情况(前照灯的照射范围设定得高的情况下)大的方式进行校正。

另外，也可能有根据识别区域的校正量的计算结果，校正后的识别区域与校正前的检测区域一致的情况。

如上所述，根据本发明的一个实施例，被构成为在判断为行人的一部分被遮挡物遮挡的情况下，计算各区域距本车辆的距离，辨别近前区域的物体作为遮挡物除去，通过剩余的图像辨别是否是行人。

另外，被构成为，在判断为截掉了对象物的脚下的情况下，以包含头部的上半身部分成为识别区域的方式校正识别区域，在判断为头部没有被照射的情况下，以包含头部的区域成为识别区域的方式校正识别区域，使用具有包含头部的上半身的识别区域，辨别是否是行人。

因此，可以实现即使在无法检测到存在于本车辆周边的行人的全身的情况下，也能够正确地识别是否是行人的图像处理装置。

在识别处理404中，也可以准备多个识别器，根据识别区域的校正结果切换识别器。

例如，根据校正结果，在行人的上半身部分成为识别区域的情况下，不是使用全身的识别器，而是使用利用行人上半身的学习数据制作的识别器进行识别。

另外，上述例子是将本发明应用于搭载在车辆上的图像处理装置的情况，但是本发明也可以应用于搭载在车辆以外的移动体(物品输送车等)上的图像处理装置。

另外，上述例子是识别行人(人)的图像处理装置的例子，但是也能够应用于识别人以外的移动物体的图像处理装置。例如，也可以应用于识别其他车辆、小动物等的图像处理装置。

上述的检测区域是用于检测对象物的区域，识别区域是用于识别检测区域内的检测出的对象物的区域。因此，识别区域往往校正检测区域，但校正的结果也有可能两者相同。

符号说明

100…立体摄像机装置，101…左摄像机，102…右摄像机，103…图像输入接口，104…图像处理部，105…运算处理部，106…存储部，107…can接口，108…控制处理部，109…内部总线，110…外部车载网络can，203、204…图像数据，205…图像处理，206…图像缓冲器，207…视差处理，208…立体物检测处理，209…各种物体识别处理，210…车辆控制处理，301…立体物区域，401…检测部，402…区域校正计算部，403…识别区域校正部，404…识别处理部，501…外部环境检测处理，502…遮挡物检测处理，503…距离判定校正处理，504…前照灯照射范围判定校正处理，505…检测结果校正处理，506…识别区域校正处理，601、1002、1005、1101、1103、1105…摄像机图像，701、801、1003、1006…检测区域，702…视差分布，703…遮挡物，901…摄像机拍摄视角，1001…光照射的范围，1102、1104、1106、11020、11030、11060…识别区域。