图像处理装置、车辆控制装置、方法和程序与流程

1.本公开涉及图像处理装置、车辆控制装置、方法和程序。具体而言，例如，本公开涉及用于从由附接到车辆的相机捕获的图像中检测各种障碍物并实现安全行驶的图像处理装置、车辆控制装置、方法和程序。


背景技术：

2.近年来已经使用了许多包括自动泊车应用的车辆。自动泊车应用是使车辆执行自动泊车同时用由相机捕获的图像检查车辆的周围的软件程序。
3.由自动泊车应用使用的车载相机一般是广角相机，包括鱼眼透镜等，视角近似为180度。将由安装在车辆周围四个位置的车载相机捕获的视频组合起来，以获得本车的360
°
周围图像并从图像中检测整个周围的障碍物。
4.例如，自动泊车应用从由车载相机获得的图像分析车辆周围的对象(object)(诸如泊车空间和障碍物(诸如车辆、行人、路缘石和车站)的位置，基于被分析的位置信息将这些对象放置在存储器中的地图上，在不接触障碍物的情况下确定车辆可以准确停在泊车空间内的行驶路线，并执行控制以使车辆在该行驶路线上行驶。
5.但是，如果安装在车辆中的相机处于高温或低温状态，那么相机透镜中发生失真。因此，一般所谓的透镜像高特点改变，并且图像中的对象图像捕获位置发生偏离(deviate)。使用这样的图像执行对象位置分析产生无法获得准确位置数据的问题。
6.注意的是，ptl 1(日本专利申请特开no.2009
‑
250785)是公开用于执行校正包括由于温度改变而引起的误差的图像的处理的配置的常规技术的示例。
7.ptl 1公开了一种配置，其中在使用复眼透镜测量到被摄体的距离的配置中，测量与两个透镜之间的空间对应的基线长度的改变，并基于测得到的基线长度改变的量来校正被摄体距离。
8.但是，这个文献中描述的方法专门用在使用复眼透镜测量被摄体距离的配置中，并且不适用于由非复眼透镜的车载相机捕获的图像的校正。
9.[引用列表]
[0010]
[专利文献]
[0011]
[ptl 1]
[0012]
jp 2009
‑
250785 a


技术实现要素：

[0013]
[技术问题]
[0014]
本公开的目的是提供即使在安装在车辆上的相机的透镜中由于温度改变而发生失真的情况下也可以通过防止车辆与所捕获的图像中的对象接触或碰撞来实现安全行驶的图像处理装置、车辆控制装置、方法和程序。
[0015]
[问题的解决方案]
[0016]
根据本公开的第一方面在于一种图像处理装置，该图像处理装置包括数据处理部分，该数据处理部分被配置为接收由捕获车辆周围的图像的相机捕获的图像并生成包括车辆周围的对象的二维地图，其中数据处理部分生成二维地图，该二维地图包括设置有放大区域的放大显示对象，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸。
[0017]
另外，根据本公开的第二方面在于一种车辆控制装置，该车辆控制装置包括数据处理部分，该数据处理部分被配置为接收由捕获车辆周围的图像的相机捕获的图像并且生成包括车辆周围的对象的二维地图；以及车辆控制部分，该车辆控制部分被配置为通过参考由数据处理部分生成的二维地图来确定行驶路线并执行控制以使车辆沿着该行驶路线行驶，其中数据处理部分生成二维地图，该二维地图包括设置有放大区域的放大显示对象，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸，并且该车辆控制部分选择车辆不接触放置在二维地图上的放大显示对象的行驶路线并执行控制以使车辆沿着该行驶路线行驶。
[0018]
另外，根据本公开的第三方面在于一种由图像处理装置执行的图像处理方法，该图像处理装置包括数据处理部分，该数据处理部分被配置为接收由捕获车辆周围的图像的相机捕获的图像并生成包括车辆周围的对象的二维地图，该图像处理方法包括由数据处理部分生成包括设置有放大区域的放大显示对象的二维地图，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸。
[0019]
另外，根据本公开的第四方面在于一种由车辆控制装置执行的车辆控制方法，该车辆控制装置包括数据处理部分，该数据处理部分被配置为接收由捕获车辆周围的图像的相机捕获的图像并生成包括车辆周围的对象的二维地图；以及车辆控制部分，该车辆控制部分被配置为通过参考由数据处理部分生成的二维地图来确定行驶路线并执行控制以使车辆沿着该行驶路线行驶，该车辆控制方法包括由数据处理部分生成二维地图，该二维地图包括设置有放大区域的放大显示对象，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸，以及由车辆控制部分选择车辆不接触放置在二维地图上的放大显示对象的行驶路线并执行控制以使车辆沿着该行驶路线行驶。
[0020]
另外，根据本公开的第五方面在于一种使图像处理装置执行图像处理的程序，该图像处理装置包括数据处理部分，该数据处理部分被配置为接收由捕获车辆周围的图像的相机捕获的图像并生成包括车辆周围的对象的二维地图，该程序使数据处理部分生成二维地图，该二维地图包括设置有放大区域的放大显示对象，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸。
[0021]
另外，根据本公开的第六方面在于一种使车辆控制装置执行车辆控制处理的程序，该车辆控制装置包括数据处理部分，该数据处理部分被配置为接收由捕获车辆周围的图像的相机捕获的图像并生成包括车辆周围的对象的二维地图；以及车辆控制部分，该车辆控制部分被配置为通过参考由数据处理部分生成的二维地图来确定行驶路线并执行控制以使车辆沿着该行驶路线行驶，该程序使数据处理部分生成二维地图，该二维地图包括设置有放大区域的放大显示对象，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸；以及车辆控制部分选择车辆不接触放置在二维地图上的放大显示对象的行驶路线并执行控制以使车辆沿着该行驶路线行驶。
[0022]
注意的是，根据本公开的程序是例如可以由存储介质或通信介质提供的程序，该存储介质或通信介质以计算机可读的形式向信息处理装置或计算机系统提供各种程序代码，信息处理装置或计算机系统可以执行这些各种程序代码。通过以计算机可读形式提供这样的程序，在信息处理装置或计算机系统上实现与程序对应的处理。
[0023]
本公开的其它目的、特征和优点将从基于稍后描述的本公开的实施例的具体实施方式和附图中变得显而易见。注意的是，在本说明书中，系统是指其中多个装置被逻辑分组的配置，并且不限于在同一壳体中提供单独配置的装置的配置。
[0024]
根据本公开的一个实施例的配置，实现了用于生成其中位置可靠性低的对象被设置为放大显示对象的二维地图或环视图像的装置和方法。
[0025]
具体而言，例如，包括数据处理部分，该数据处理部分被配置为接收由捕获车辆周围的图像的相机捕获的图像并且生成包括车辆周围的对象的二维地图。数据处理部分生成包括设置有放大区域的放大显示对象的二维地图或环视图像，在位置可靠性低的对象的情况下，该放大区域在该对象周围延伸。数据处理部分确定像高等于或大于预定像高阈值的对象是位置可靠性低的对象，而确定像高不等于或大于该像高阈值的对象是位置可靠性高的对象。
[0026]
利用这些配置，实现了用于生成其中位置可靠性低的对象被设置为放大显示对象的二维地图或环视图像的装置和方法。
[0027]
注意的是，本说明书中描述的效果仅仅是示例而不是限制。另外，可以提供附加效果。
附图说明
[0028]
图1描绘了用于描述环视相机系统的概述的图。
[0029]
图2是用于描述转换由相机捕获的图像的处理的概述的图。
[0030]
图3是用于描述转换由相机捕获的图像的处理的概述的图。
[0031]
图4描绘了用于描述转换由相机捕获的图像的处理的概述的图。
[0032]
图5描绘了用于描述其中对象图像捕获位置在图像中偏离的现象的图。
[0033]
图6是用于描述由于温度改变引起的透镜失真的发生与像高偏离量之间的相关性的图。
[0034]
图7是用于描述图示由于温度改变引起的像高偏离量的发生状态的曲线图的图。
[0035]
图8是图示用于描述由根据本公开的图像处理装置执行的处理序列的流程图的图。
[0036]
图9描绘了用于描述根据本公开的二维地图(/环视图像)的具体示例的图。
[0037]
图10是用于描述根据本公开的二维地图(/环视图像)的具体示例的图。
[0038]
图11是用于描述根据本公开的二维地图(/环视图像)的具体示例的图。
[0039]
图12是图示用于描述由根据本公开的图像处理装置执行的处理序列的流程图的图。
[0040]
图13是用于描述根据本公开的二维地图(/环视图像)的具体示例的图。
[0041]
图14是用于描述根据本公开的二维地图(/环视图像)的具体示例的图。
[0042]
图15是用于描述根据本公开的图像处理系统(车辆控制系统)的配置的示例的图。
[0043]
图16是用于描述根据本公开的图像处理系统(车辆控制系统)中的数据处理设备的配置的示例的图。
[0044]
图17是用于描述根据本公开的图像处理系统(车辆控制系统)的硬件配置的示例的图。
具体实施方式
[0045]
在下文中，将参考附图详细描述根据本公开的图像处理装置、车辆控制装置、方法和程序。注意的是，根据以下项目进行描述。
[0046]
1.关于环视相机系统的概述
[0047]
2.关于转换由相机捕获的图像的处理，以及由于温度改变引起的透镜失真和对象位置检测的准确度的减小
[0048]
3.关于由根据本公开的图像处理装置执行的处理的序列
[0049]
4.关于使用二维地图进行自动驾驶的处理的示例
[0050]
5.关于其它实施例
[0051]
6.关于图像处理系统(车辆控制系统)的配置的示例
[0052]
7.关于图像处理系统(车辆控制系统)的硬件配置的示例
[0053]
8.本公开的配置的概要
[0054]
<1.关于环视相机系统的概述>
[0055]
首先，将描述包括在最近车辆中的环视相机系统的概述。
[0056]
图1描绘了用于描述环视相机系统的概述的图。该图左侧的图图示了包括环视相机系统的车辆10。车辆10在四个位置包括相机：前、后、左和右。这些相机是图中所示的前置相机11、后置相机12、左侧相机13和右侧相机14。
[0057]
例如，这些相机中的每一个都具有广角透镜，诸如鱼眼透镜，并且可以捕获更宽广角区域的图像。例如，图中所示的每个点线区域表示要由对应相机捕获的区域。对由这四个相机捕获的图像执行图像处理可以生成从车辆上方观察到的图像。
[0058]
图1右侧所示的图像表示作为图像处理的结果而生成的显示图像的示例。这个图像显示在驾驶席(driver’s seat)显示部分上。注意的是，这个显示图像中央的车辆是虚拟数据并且不是从由相机捕获的图像中获得的。
[0059]
表示车辆周围的图像是基于由四个相机捕获的图像通过图像处理生成的图像。将本车的图像粘贴到这个图像的中心生成类似于好像从上方观察车辆的图像。
[0060]
表示来自车辆上方的图像的这个虚拟观察图像被称为“环视图像”、“俯视图像”、“鸟瞰图像”等。
[0061]
驾驶员可以经由驾驶席处的监视器(显示部分)检查这个图像，并可以执行安全行驶，例如，在检查车辆周围的障碍物等的同时执行诸如倒车或泊车之类的驾驶操作。
[0062]
另外，还使用自动泊车应用。自动泊车应用使用由相机捕获的图像自动分析车辆周围的情况并执行自动驾驶，通过这种自动驾驶，车辆无需驾驶员执行驾驶操作就可以泊车。
[0063]
例如，自动泊车应用通过分析上述“环视图像”来识别诸如泊车空间和障碍物(诸如车辆、行人、路缘石和车站)之类的对象的位置。而且，自动泊车应用将每个识别出的对象
位置放置在“二维地图”＝存储器中的地图上，并通过控制车辆来执行自动行驶，使得车辆可以在不接触障碍物的情况下准确地停在泊车空间内。以这种方式，自动泊车应用使车辆停在预定的泊车位置。
[0064]
但是，例如，如果安装在车辆中的相机变成高温或低温状态，那么相机透镜中发生失真。因此，一般所谓的透镜像高特点改变，并且图像中的对象图像捕获位置偏离。
[0065]
如果驾驶员在查看其中对象位置偏离的图像的同时正在驾驶，那么存在接触障碍物的可能性。
[0066]
另外，自动泊车应用也有可能不正确地检测对象的位置，从而导致在自动驾驶期间与障碍物接触。
[0067]
<2.关于转换由相机捕获的图像的处理，以及由于温度改变引起的透镜失真和对象位置检测的准确度的减小>
[0068]
接下来，将描述转换由相机捕获的图像的处理、由于温度改变引起的透镜失真以及对象位置检测准确度的减小。
[0069]
首先，将参考图2和后续的附图来描述转换由相机捕获的图像的处理的概述。
[0070]
如参考图1所描述的，车辆10包括例如在前、后、左、右四个方向上捕获图像的相机，并且由这四个相机捕获的图像可以被组合以生成从车辆上方观察到的图像，即，“环视图像”。
[0071]
每个相机都具有广角透镜(诸如鱼眼透镜)并且可以捕获更宽广角区域的图像。例如，图1中所示的每个点线区域表示要由对应相机捕获的区域。对这四个相机捕获的图像执行图像处理可以生成从车辆上方观察的图像。
[0072]
下面首先描述由每个相机捕获的图像及其转换处理。基本上，由每个相机捕获的图像和转换处理以彼此相似的方式执行。作为代表性示例，以下描述由包括在车辆10的后部中的后置相机12捕获的图像和转换处理的示例。
[0073]
后置相机12例如是包括诸如鱼眼透镜之类的广角透镜的广角透镜相机，并且可以捕获车辆后方的广阔区域的图像。
[0074]
在图2所示的示例中，后置相机12捕获车辆10后方路面上的对象的图像。在此，立杆30被描绘为对象。这个捕获的图像被输入到车辆10内部的图像处理装置中。图像处理装置执行图像校正处理，由此生成与从车辆上方用肉眼观察到的图像相似的图像(环视图像)，然后其显示在例如驾驶席的监视器上。
[0075]
注意的是，由车辆10使用的数据包括全景图像、二维地图、车辆周围空间数据(其是自动驾驶控制数据(高清地图等))。
[0076]
环视图像是通过组合来自多个成像装置的多个图像而获得的并且是表示车辆周围的图像。全景图像中包括鸟瞰图像。二维地图是指包括车辆周围的每个对象的位置信息的数据。二维地图可以包括每个对象的尺寸信息和关于从车辆到每个对象的距离的信息。高清地图是指表示车辆周围的三维空间的地图。自动驾驶控制数据是指用于自动驾驶控制的数据并且可以包括高清地图。
[0077]
在此，假设将环视图像和二维地图用作要呈现给车辆驾驶员的显示数据。可以使用诸如高清地图之类的自动驾驶控制数据作为显示数据。另外，行驶控制数据是指用于控制车辆的行驶的数据。作为行驶控制数据，使用诸如高清地图、二维地图之类的自动驾驶控
制数据。
[0078]
以下描述中描述的“环视图像”和“二维地图”是要使用的图像的示例。可以使用“二维地图”代替“环视图像”，并且可以使用“环视图像”代替“二维地图”。
[0079]
另外，可以使用通过组合“环视图像”和“二维地图”获得的图像。
[0080]
以下描述中描述的“二维地图(/环视图像)”意味着可以使用这些图像中的任一个。另外，二维地图还包括二维图像。
[0081]
另外，“自动驾驶控制数据(高清地图等)”可以使用“环视图像”或基于“二维地图”以高清晰度生成的图像。
[0082]
注意的是，如上所述，后置相机12是例如包括诸如鱼眼透镜之类的广角透镜的广角透镜相机，并且可以捕获车辆后方的广阔区域。
[0083]
但是，使用广角透镜捕获的图像中出现失真。
[0084]
将参考图3和后续的附图来描述失真的具体示例。
[0085]
如图3中所示，假设后置相机12捕获在描绘有网格状线的路面上的车辆10后方立有大量立杆30的状态的图像。立杆30类似于图2中所示的立杆30并且垂直于路面20竖立。
[0086]
包括广角透镜的后置相机12捕获车辆10后方的区域的图像，在该区域中立有大量立杆30。
[0087]
图4(1)是捕获的图像。如图4(1)中所示，捕获的图像中路面上的网格图案具有弯曲失真。另外，更靠近图像外围的立杆30似乎倾斜得更多。
[0088]
这是使用广角透镜捕获图像时发生的图像失真。
[0089]
图4(2)是通过对图4(1)的图像执行失真校正和视点转换而生成的作为校正图像的俯视图。
[0090]
作为校正图像，图像处理装置生成与从上方用肉眼观察的图像相似的图像(俯视图像)。
[0091]
从由安装在车辆前、后、左和右侧的四个相机捕获的图像生成并组合俯视图像，从而可以生成前面参考图1描述的环视图像。
[0092]
但是，如果相机透镜变成高温或低温状态，那么发生失真。因此，一般所谓的透镜像高特点改变，并且图像中的对象图像捕获位置偏离。
[0093]
将参考图5和后续的附图来描述这种现象。
[0094]
图5(1)是如参考图4(1)描述的由包括广角透镜的后置相机12捕获的捕获的图像。
[0095]
后置相机12的透镜(即，相机透镜50)被叠加在这个捕获的图像上并被描绘。
[0096]
例如，诸如玻璃或塑料之类的材料被用于相机透镜。在使用玻璃透镜的情况下，由于温度改变引起的膨胀和收缩率小。因此，透镜失真的发生可忽略不计。但是，在塑料透镜的情况下，由于温度改变引起的膨胀和收缩率大，从而导致透镜失真大。
[0097]
像高偏离是指示由于这个透镜失真引起的被摄体图像捕获位置的位置偏离的指示器。
[0098]
像高是由距光轴的距离来表示在光学系统的评估表面上的图像位置的值。
[0099]
透镜失真的发生也会造成像高的偏离。因此，由对应相机捕获的对象的位置偏离。如果基于这个偏离的图像计算对象距离和位置以生成对象所在的二维地图或环视图像，那么生成该对象放置在与实际位置不同的位置处的二维地图或环视图像。
[0100]
像高偏离与透镜失真的量值相关联地发生。由温度改变造成的透镜失真倾向于在透镜的内周区域中相对小而在其外周区域中较大。
[0101]
如图5(1)中所示，靠近透镜中心区域的内周区域51是由于温度改变引起的透镜失真小的区域。
[0102]
另一方面，如图5(1)中所示，透镜的外周区域52是由于温度改变引起的透镜失真大的区域。
[0103]
划分内周区域51和外周区域52的线被描绘为区域划分线61。
[0104]
图5(2)是通过对如图5(1)中所示的由相机捕获的图像进行校正而生成的俯视图像。这个俯视图像中的区域划分线61与图5(1)中所示的划分内周区域51和外周区域52的区域划分线61对应。
[0105]
区域划分线61内侧的区域与图5(1)中所示的内周区域51(即，通过透镜的中心部分捕获的图像区域)对应。对于这个区域中的对象，捕获的图像位置的位置偏离小。这使得有可能以高准确度执行位置分析。
[0106]
另一方面，区域划分线61外侧的区域与图5(1)中所示的外周区域52(即，通过透镜的外周区域捕获的图像区域)对应。对于这个区域中的对象，捕获的图像位置的位置偏离大。这使得难以以高准确度度执行位置分析。
[0107]
即，在这个外周区域捕获的对象是使用图像的位置分析结果的可靠性低的对象。
[0108]
由于温度改变引起的透镜失真的发生与像高偏离量之间存在相关性。
[0109]
将参考图6描述由于温度改变引起的透镜失真的发生与像高偏离量之间的相关性。
[0110]
如前所述，像高是由距光轴的距离来表示光学系统的评估表面上的图像位置的值。例如，设置图6中表示的值。
[0111]
例如，透镜的中心被设置为像高＝0(度)，而最外周部分被设置为像高＝200(度)。
[0112]
图7是图示由于温度改变引起的像高偏离量的发生状态的曲线图。
[0113]
图7中所示的图是将图6中所示的像高(度)设置在横轴上、将像高偏离量(度)设置在纵轴上的图，从而表示由于相机(透镜)中的温度改变而引起的像高偏离的改变。
[0114]
例如，在温度正常的情况下，即，温度＝25度的情况下，从透镜的内周到外周的任何位置处的透镜失真都小，并且像高偏离量≈0。在这个温度下捕获的图像中的对象的捕获图像位置不偏离，并且可以以高准确度分析对象位置。具体而言，在正确位置显示基于捕获的图像生成的俯视图像中的对象。
[0115]
但是，在例如温度＝50度的情况下，透镜的内周部分的像高偏离量≈0，同时透镜失真变大，并且在透镜的外周部分中像高偏离量也变大。例如，在像高＝200的位置处，即，近似在透镜的外周位置处，像高偏离量≈1(度)。
[0116]
另外，在例如温度＝70度的情况下，透镜的内周部分的像高偏离量≈0，同时透镜失真变得甚至更大，并且在透镜的外周部分中像高偏离量也变大。例如，在像高＝200的位置处(即，近似在透镜的外周位置处)，像高偏离量≈1.7(度)。
[0117]
以这种方式，当像高偏离大时，在偏离正确位置的位置显示基于捕获的图像生成的俯视图像中的对象。
[0118]
在低温下也可能发生透镜失真。例如，在温度＝0度的情况下，透镜的内周部分的
像高偏离量≈0，同时透镜失真变大，并且透镜的外周部分中的像高偏离量也变大。例如，在像高＝200的位置处(即，近似在透镜的外周位置处)，像高偏离量≈
‑
0.5(度)。
[0119]
另外，例如在温度＝7
‑
20度的情况下，透镜的内周部分的像高偏离量≈0，同时透镜失真变得甚至更大，并且透镜的外周部分中的像高偏离量也变大。例如，在像高＝200的位置处，即，近似在透镜的外周位置处，像高偏离量≈
‑
1.1(度)。
[0120]
注意的是，由于温度改变引起的透镜失真特点和像高特点因相机配置和透镜而异。
[0121]
例如，根据本公开的图像处理装置将用于安装在车辆中的相机的预先测得的特点信息(由于温度改变引起的透镜失真特点和像高特点)存储在存储部分中，并使用存储在存储部分中的特点信息执行以下描述的处理。
[0122]
<3.关于由根据本公开的图像处理装置执行的处理的序列>
[0123]
接下来，将描述由根据本公开的图像处理装置执行的处理的序列。
[0124]
图8是图示用于描述由根据本公开的图像处理装置执行的处理的序列的流程图的图。
[0125]
注意的是，可以在数据处理部分的控制下根据存储在图像处理装置的存储部分中的程序来执行根据图8中所示的流程图的处理。数据处理部分包括具有程序执行功能的cpu等。
[0126]
下面将依次描述图8中所示的流程的每个步骤的处理。
[0127]
(步骤s101)
[0128]
首先，在步骤s101中，每个成像部分(相机)捕获图像。例如，安装在图1中所示的车辆10中的相机11至14捕获图像。
[0129]
注意的是，每个成像部分(相机)是包括诸如鱼眼透镜之类的广角透镜的相机并且捕获例如图4(1)或图5(1)中所示的图像。
[0130]
(步骤s102)
[0131]
接下来，在步骤s102中，根据在步骤s101中由成像部分(相机)捕获的图像执行对象检测处理以检测对象。另外，还检测图像中对象的位置和对象的尺寸。对象检测处理设置检测到的未经处理的对象(即，尚未执行根据这个流程的处理的未经处理的对象)的id。
[0132]
为每个对象设置单独的id，并记录在存储部分中。
[0133]
(步骤s103)
[0134]
接下来，在步骤s103中，计算每个对象的距离和像高。使用现有方法执行这个处理。
[0135]
注意的是，这些值是基于捕获的图像计算的。这意味着在像高偏离大的区域中不能以高准确度执行计算处理。
[0136]
(步骤s104)
[0137]
接下来，在步骤s104中，从安装在已捕获图像的每个相机中的温度传感器获得每个相机的温度信息。
[0138]
(步骤s105)
[0139]
接下来，在步骤s105中，确定从每个温度传感器获得的相机温度是否在预定的阈值温度范围内。
[0140]
阈值温度范围是预先设置的阈值温度范围。
[0141]
例如，设置阈值温度范围＝10℃至30℃。这个阈值温度范围被设定为透镜失真小且像高偏离量也小的温度范围。
[0142]
如前面参考图7中所示的图所述，在25度附近，透镜失真小并且像高偏离量也小。这个在25度附近的温度范围被设置为阈值温度范围。
[0143]
注意的是，要使用的阈值温度范围优选地被设置为与要使用的相机和透镜的特点对应的最优范围。
[0144]
在步骤s105中确定为“是”的情况下，即，确定从每个温度传感器获得的相机温度在预定的阈值温度范围内，处理前进到步骤s110。
[0145]
这是相机或透镜处于常温状态并且确定透镜失真小并且即使在透镜外周也没有出现大的像高偏离的情况。
[0146]
另一方面，在步骤s105中确定为“否”的情况下，即，确定从每个温度传感器获得的相机温度不在预定阈值温度范围内(在预定的第一阈值和预定的第二阈值之间)，处理前进到步骤s106。
[0147]
这是相机或透镜处于温度高于预定的第一阈值的高温状态的情况，或者相机或透镜处于温度低于预定的第二阈值的低温状态的情况。因此，这是存在透镜失真大并且存在在透镜的外周中出现大的像高偏离的可能性的情况。第一阈值大于第二阈值。但是，第一阈值和第二阈值可以被设置为相同的值。
[0148]
(步骤s106)
[0149]
在步骤s105中确定为“否”的情况下，即，从每个温度传感器获得的相机温度不在预定阈值温度范围内的情况下，处理前进到步骤s106。
[0150]
如前所述，这是相机或透镜处于高温或低温状态并且存在透镜失真大且透镜外周出现大的像高偏离的可能性的情况。
[0151]
在这种情况下，在步骤s106中，顺序地选择每个图像中的对象(未经处理的对象)，并且执行将对象像高与预定像高阈值进行比较的处理。
[0152]
注意的是，步骤s106至s110的处理对于每个图像中的对象(未经处理的对象)顺序地重复或并行执行。
[0153]
例如，将像高阈值设置为与图5和6中所示的区域划分线61对应的像高就足够了。
[0154]
也就是说，与区域划分线61对应的像高被设置为像高阈值。区域划分线61是图5中所示的内周区域51和外周区域52之间的边界。在内周区域51中，由于温度改变引起的透镜失真和像高偏离小。在外周区域52中，由于温度改变引起的透镜失真和像高偏离大。
[0155]
例如，在图6所示的示例中，设置像高阈值≈90(度)。
[0156]
注意的是，这个像高阈值(即，与区域划分线61对应的像高，该区域划分线61是内周区域51和外周区域52的边界)因相机和透镜而异。图像处理装置获得与安装在车辆中的每个相机和透镜对应的像高阈值，并且预先将像高阈值存储在存储部分中。图像处理装置使用这个存储的数据来执行步骤s106的处理。
[0157]
(步骤s107)
[0158]
接下来，在步骤s107中，图像处理装置确定从对应图像选择的对象的像高是否等于或大于预定像高阈值。
[0159]
在所选择的对象的像高等于或大于预定像高阈值的情况下，处理前进到步骤s108。
[0160]
这是针对所选择的对象是区域划分线61外的对象的情况的处理。
[0161]
另一方面，在对象的像高不等于或大于预定像高阈值的情况下，处理前进到步骤s110。
[0162]
这是针对所选择的对象是区域划分线61内的对象的情况的处理。
[0163]
(步骤s108)
[0164]
在步骤s107中确定所选择的对象的像高等于或大于预定像高阈值的情况下，即，在所选择的对象是区域划分线61外的对象的情况下，处理前进到步骤s108。
[0165]
在这种情况下，图像处理装置在步骤s108中将作为所选择的对象的属性信息的位置可靠性设置为低可靠性。
[0166]
位置可靠性被设置为低可靠性的这个属性信息与对应的对象id相关联地记录在存储部分中。
[0167]
(步骤s109)
[0168]
接下来，在步骤s109中，图像处理装置执行放大其位置可靠性被设置为低可靠性的对象的尺寸的处理或者将对象周围的区域设置为关注区域的处理。这个区域具有与可靠性对应的宽度/尺寸。
[0169]
这具体地是为图9(2)中所示的放大显示对象71或图10(3)中所示的关注区域显示对象73生成显示数据的处理。
[0170]
稍后将详细描述这个显示数据。
[0171]
(步骤s110)
[0172]
另一方面，在步骤s107中确定所选择的对象的像高不等于或大于预定像高阈值的情况下，即，在所选择的对象是区域划分线61内的对象的情况下，处理前进到步骤s110。
[0173]
另外，在步骤s105中确定为“是”的情况下，即，确定从对应的温度传感器获得的相机温度在预定阈值温度范围内，处理也前进到步骤s110。这是相机和透镜处于常温状态并且确定透镜失真小并且即使在透镜外周也没有出现大的像高偏离的情况。
[0174]
在这些情况下，图像处理装置在步骤s110中将位置可靠性设置为高可靠性，该位置可靠性是所选择的对象的属性信息。
[0175]
位置可靠性被设置为高可靠性的这个属性信息与对应的对象id相关联地记录在存储部分中。
[0176]
通过步骤s108和s110的处理为所有对象设置位置可靠性信息。
[0177]
(步骤s111)
[0178]
最后，在步骤s111中，图像处理装置生成并显示其中放置每个对象的二维地图(/环视图像)。
[0179]
例如，二维地图(/环视图像)显示在驾驶席的显示器上。
[0180]
注意的是，在步骤s111的处理之后，处理返回到步骤s101并重复处理。
[0181]
将参考图9描述在步骤s111中生成的显示图像的示例。
[0182]
以下两个图像显示示例在图9中示出。
[0183]
(1)常规的二维地图(/环视图像)
[0184]
(2)根据本公开的二维地图(/环视图像)
[0185]
(1)常规的二维地图(/环视图像)被显示为车辆后面所有杆都反映其实际尺寸的图像。
[0186]
注意的是，图像中描绘的区域划分线61不是显示数据，而是为了参考而描绘的线。
[0187]
区域划分线61与前面参考图5描述的区域划分线61对应。即，区域划分线61是与参考图5描述的划分内周区域51和外周区域52的区域划分线61对应的线。
[0188]
区域划分线61的内侧与通过透镜的中心部分捕获的图像区域对应。对于这个区域内的对象，捕获的图像位置的位置偏离小。这使得有可能以高准确度执行位置分析。
[0189]
另一方面，区域划分线61的外侧与通过透镜的外周区域捕获的图像区域对应。对于这个区域中的对象，捕获的图像位置的位置偏离大。这使得难以以高准确度执行位置分析。
[0190]
即，这个外周区域中的对象是不能确定地存在于图9(1)中所示的俯视图像中的显示位置的可靠性低的对象。
[0191]
在这种位置可靠性低的对象被原样显示并且驾驶员在查看这个显示图像的同时驾驶车辆的情况下，存在以下风险：驾驶员基于显示图像而相信驾驶员正在与对象(杆)有足够的距离驾驶以至于不会接触对象(杆)，但车辆实际接触对象(杆)或驶近对象(杆)以致车辆几乎接触对象(杆)。
[0192]
避免这种风险的显示图像是：
[0193]
(2)图9(2)中所示的根据本公开的二维地图(/环视图像)。
[0194]
这个图像是根据图8中所示的流程生成的。
[0195]
在图9(2)所示的图像中，区域划分线61内侧区域(即，与通过透镜的中心部分捕获的图像区域对应的内侧区域)的对象(杆)是已经对其执行了与(1)中所示的常规图像的显示处理类似的显示处理的正常显示对象72。正常显示对象72被显示为反映实际对象尺寸的图像。
[0196]
这些正常显示对象72是已经对其执行了图8中所示的流程的步骤s110的处理的对象。
[0197]
也就是说，正常显示对象72是在步骤s110中对象位置可靠性已被设置为高可靠性的对象。
[0198]
经受步骤s110的处理的对象(即，位置可靠性被设置为高可靠性的对象)是在步骤s107中确定的所选择的对象的像高不等于或大于预定像高阈值的对象。即，这些是区域划分线61内侧的对象。对于这些对象，包括在俯视图像中的对象被原样显示。
[0199]
另一方面，在图9(2)所示的图像中，区域划分线61的外侧区域(即，与通过透镜的外周部分捕获的图像区域对应的外侧区域)中的对象(杆)不以包括在俯视图像中的对象的实际尺寸显示，而是作为放大显示对象71显示，这是通过放大从捕获的图像获得的对象的尺寸而获得的。
[0200]
这些对象是已经对其执行图8中所示流程的步骤s108至s109的处理的对象。
[0201]
也就是说，这些是对象位置可靠性在步骤s108中被设置为低可靠性并且在步骤s109中已经对其执行了对象的尺寸放大处理的对象。
[0202]
已经对其执行了步骤s108至s109的处理的对象(即，位置可靠性已经被设置为低
可靠性并且已经对其执行了放大处理的对象)是在步骤s107中确定的所选择的对象的像高等于或大于预定像高阈值的对象。即，这些是区域划分线61外侧的对象。这些对象没有以从捕获的图像获得的它们本身的对象尺寸显示，而是以放大状态显示。
[0203]
以这种方式，对于位置可靠性低的对象，以放大状态显示的图像显示在驾驶席处的监视器上。驾驶员移动车辆，使得车辆不接触以放大状态显示的对象(杆)。因此，即使在实际对象位置偏离俯视图像中未放大对象(杆)的位置的情况下，驾驶员也可以安全地移动车辆而不会使车辆接触实际对象(杆)。
[0204]
注意的是，在步骤s105中确定为“是”的情况下，即，在图8中所示的流程中相机温度在温度阈值范围内的情况下，外周区域中的对象不以放大状态显示并且显示类似于图9(1)中所示的常规图像的图像。
[0205]
这是因为，在这种情况下，外周区域中的对象发生的像高偏离少，并且这些对象可以在正确的位置显示。
[0206]
注意的是，低可靠性的对象的显示方式不限于图9(2)中所示的放大显示。例如，以叠加方式显示关注区域以围绕对应对象，如图10中所示。以这种方式，各种显示是可能的。
[0207]
另外，要以放大状态等显示的对象是位置可靠性已被确定为低可靠性的对象。但是，图9和10中所示的区域划分线61随着车辆行驶而移动。
[0208]
因此，即使车辆行驶较晚，并且在过去捕获的图像中在区域划分线61的内侧区域检测到的对象(其位置可靠性是高可靠性)也相应地放置在区域划分线61的外侧，可以维持它们的位置可靠性被设置为高可靠性。对于这样的对象，不必执行放大显示、关注显示等。
[0209]
将参考图11来描述具体示例。
[0210]
图11图示了其中车辆轻轻向右转弯并向前移动的状态。车辆从时间t1到t2急剧向右转弯。
[0211]
在时间t2，图11中所示的正常显示对象81位于区域划分线61(t2)外侧的外周区域中。这些正常显示对象81在时间t1大致存在于车辆的前方方向。
[0212]
因此，这意味着在时间t1由车辆的前置相机捕获的图像的区域划分线61(t1)的内侧区域中存在正常显示对象81。此时，图8中所示流程的步骤s110的处理已经被执行并且对象已经被注册在存储部分中作为其位置可靠性已经被确定为高可靠性的对象。
[0213]
即使车辆行驶较晚并且这样的对象(即，位置可靠性已被确定为高可靠性的对象)相应地位于区域划分线61外侧的外周区域中，这些对象也被视为已执行其位置分析的对象并且不以放大状态显示。即，不执行步骤s108至s109的处理。
[0214]
<4.关于使用二维地图进行自动驾驶的处理的示例>
[0215]
接下来，将描述使用二维地图进行自动驾驶的处理的示例。
[0216]
在之前描述的图8所示的流程中，在最后的步骤s111中，执行生成和显示其中放置每个对象的二维地图(/环视图像)的处理。
[0217]
也就是说，这是用于生成显示图像的处理序列，该显示图像用于在驾驶席处的监视器上显示二维地图(/环视图像)并允许驾驶员以通过查看二维地图(/环绕视图像)而使车辆不接触对象的方式进行驾驶。
[0218]
通过图8中所示流程的步骤s101至s110的处理生成的二维地图不仅可以以这种方式用于驾驶员驾驶，还可以用作自动驾驶的数据。
[0219]
图12中所示的流程图是用于描述使用二维地图进行自动驾驶的处理序列的流程图。
[0220]
将描述图12中所示的流程。
[0221]
图12中所示流程中的步骤s101至s110的处理与之前参考图8描述的流程中的步骤s101至s110的处理相同。
[0222]
只有最后的步骤s121与其不同。
[0223]
也就是说，图12中所示的流程是其中将图8中所示的流程中的步骤s111替换为图12中所示的步骤s121的流程。
[0224]
将描述步骤s121的处理。
[0225]
(步骤s121)
[0226]
在步骤s121中，基于其中放置每个对象的二维地图(用于行驶控制)执行车辆的行驶控制。车辆的行驶控制包括通过自动驾驶来行驶。可以使用诸如高清地图之类的自动驾驶控制数据作为行驶控制数据。在这种情况下，诸如高清地图之类的自动驾驶控制数据包括关于每个对象在三维空间中的位置、尺寸和距离的信息以及关于基于可靠性设置的关注区域的信息。
[0227]
此时使用的用于行驶控制的二维地图是参考图9(2)、10和11描述的二维地图。
[0228]
也就是说，对于其位置可靠性为低可靠性的对象，它们的尺寸被放大或者各自具有与可靠性对应的宽度/尺寸的区域被设置在相应对象周围作为关注区域。二维地图是基于此类对象的二维地图。
[0229]
执行车辆的自动行驶的车辆控制部分使用二维地图用于行驶控制，以选择车辆不接触放大对象或对象和关注区域的路线，并执行控制以行驶该路线。
[0230]
因此，即使其位置可靠性是低可靠性的对象发生位置偏离，车辆控制部分也执行控制以行驶车辆不进入放大对象显示区域的路线。因此，由于选择了大大降低接触位置可靠性低的对象的可能性的行驶路线，因此可以实现安全的自动行驶。
[0231]
<5.关于其它实施例>
[0232]
接下来，将描述其它实施例。
[0233]
之前参考图9(2)和10描述的对象显示示例被配置为使得区域划分线61用作对象显示模式(即，两种类型的显示模式，正常显示或放大显示)沿着其被切换的边界。
[0234]
也就是说，位于区域划分线61内侧的内周区域中的对象被确定为其位置可靠性是高可靠性的对象，而位于区域划分线61外侧的外周区域中的对象被确定为其位置可靠性是低可靠性的对象。位于内周区域中且位置可靠性是高可靠性的对象被配置为显示以反映实际对象尺寸，而位于外周区域中且位置可靠性是低可靠性的对象被配置为以从实际对象尺寸放大的放大状态显示或与关注区域一起显示。
[0235]
其它显示模式也有可能作为其位置可靠性是低可靠性的对象的显示模式。
[0236]
例如，如果根据透镜的温度特点确定位置偏离的方向，那么可以将对象配置为仅在相应的偏离方向上放大对象来显示，如图13中所示。
[0237]
例如，透镜在高温下的温度特点倾向于表现出围绕透镜光轴径向扩展的改变。在预先知道被摄体成像位置由于温度特点而偏离的方向的情况下，可以仅在对应的偏离方向上放大显示对象，如图13中所示。
[0238]
而且，代替正常显示和放大显示两种显示类型，可以将对象设置为被显示，使得放大率被设置为顺序地改变，例如如图14中所示。
[0239]
也就是说，执行根据位置可靠性的值改变放大率并执行显示的处理。
[0240]
由于靠近透镜中心的捕获的图像区域中的位置可靠性高，因此执行正常显示。即，对象以反映其实际尺寸的尺寸显示。
[0241]
如前面参考图7所述，像高偏离量随着距透镜中心的距离增加而逐渐增加。
[0242]
图14中所示的显示图像(二维地图(/环视图像))是其中以每个对象的放大率根据像高偏离量而变化的方式显示对象的示例。
[0243]
以这种方式，对象可以被配置为以每个对象的放大率根据像高偏离量(即，位置可靠性的改变)而改变的方式来显示。
[0244]
可替代地，例如，对象可以各自被配置为以根据位置可靠性而变化的颜色显示。例如，显示模式如下：
[0245]
其位置可靠性是高可靠性的对象以绿色显示；
[0246]
其位置可靠性是中等可靠性的对象以黄色显示；以及
[0247]
其位置可靠性是低可靠性的对象以红色显示。
[0248]
另外，具有根据位置可靠性而变化的尺寸的框架可以被配置为显示在每个实际对象的形状之外。
[0249]
其位置可靠性是高可靠性的对象显示在小框架中。
[0250]
其位置可靠性是中等可靠性的对象显示在近似中等尺寸的框架中。
[0251]
其位置可靠性是低可靠性的对象显示在大框架中。
[0252]
例如，显示模式如上。
[0253]
注意的是，可以通过组合上述多种显示模式中的任何模式来生成显示数据。
[0254]
<6.关于图像处理系统(车辆控制系统)的配置的示例>
[0255]
接下来，将参考图15描述执行上述处理的根据本公开的图像处理系统(车辆控制系统)100的配置的示例。
[0256]
根据之前参考图8描述的流程，根据本公开的图像处理装置执行生成二维地图的处理，其中对位置可靠性低的对象执行诸如放大之类的图像处理并且将二维地图显示为二维地图(/环视图像)以显示在显示部分上。
[0257]
而且，生成这种二维地图的图像处理装置被用作车辆控制系统100的构成组件。
[0258]
图15是图示兼具图像处理装置和车辆控制装置的功能的图像处理系统(车辆控制系统)100的配置的示例的框图。
[0259]
与参考图1描述的车辆10一样，图15中所示的图像处理系统(车辆控制系统)100包括四个相机，每个相机在车辆的前、后、左和右方向中的对应方向上捕获图像，即，环视相机系统。
[0260]
例如，图15中所示的图像处理系统(车辆控制系统)100是部署在车辆内部的装置。如图所示，图像处理系统(车辆控制系统)100包括控制部分101、车辆控制装置102、显示装置103、输入部分104、存储部分105、通信部分106、车辆信息获得部分107、数据处理装置110，以及还有四个相机121f至121b和温度传感器131f至131b。四个相机121f至121b安装在车辆的前、后、左和右侧。温度传感器131f至131b安装在相应相机中。
[0261]
注意的是，诸如显示装置103、数据处理装置110和四个相机121f至121b之类的组件可以被单独地被配置为具有分离和独立壳体的单独装置。
[0262]
与参考图1描述的车辆10一样，四个相机121f至121b是四个相机，每个相机在车辆的前、后、左和右方向中的对应方向上捕获图像并且被用于生成环视图像。相机f(121f)是在前方向上捕获图像的相机。相机l(121l)是在左方向上捕获图像的相机。相机r(121r)是在右方向上捕获图像的相机。相机b(121b)是在后方向上捕获图像的相机。
[0263]
例如，这些相机中的每一个都具有广角透镜，诸如鱼眼透镜，并且可以捕获更宽区域(即，广角区域)的图像。
[0264]
这些相机121f至121b中的每一个单独地包括温度传感器131f至131b中的对应一个。
[0265]
数据处理装置110接收由这四个相机捕获的图像，以生成前面参考图1所述的二维地图或从车辆上方的视点的图像(环视图像)，该图像表示车辆和车辆的周围，然后在显示装置103上显示二维地图或图像(环视图像)。另外，在二维地图被用作行驶控制数据的情况下，将二维地图提供给车辆控制装置102。
[0266]
注意的是，要由数据处理装置110生成的二维地图(/环视图像)是根据前述图8或图12所示的流程图的处理生成的二维地图。
[0267]
也就是说，在由附接到每个相机的温度传感器检测到的温度不在预定温度范围内的情况下，每个透镜的外周部分中的对象(即，其位置可靠性是低可靠性的对象)以放大状态显示或被显示以引起注意。
[0268]
具体而言，例如，生成早先参考图9(2)、10、11、13和14描述的二维地图(/环视图像)。
[0269]
显示装置103是包括显示器的显示部分，诸如例如液晶显示装置，部署在驾驶席上的驾驶员可以观察到显示器的位置处。
[0270]
由数据处理装置110生成的二维地图(/环视图像)显示在这个显示装置103上。
[0271]
例如，其位置可靠性低的对象的放大图像显示在驾驶席处的监视器上。驾驶员移动车辆使得车辆不接触以放大状态显示的对象(杆)。因此，即使在实际对象位置偏离俯视图像中未放大对象(杆)的位置的情况下，驾驶员也可以安全地移动车辆而不会使车辆接触实际对象(杆)。
[0272]
而且，由数据处理装置110生成的二维地图(/环视图像)也被输入到车辆控制装置102。
[0273]
车辆控制装置102执行车辆的自动驾驶控制，诸如车辆的转向操作和加速/减速。
[0274]
车辆控制装置102通过参考由数据处理装置110生成的二维地图(即，其中例如位置可靠性低的对象被放大或关注区域被设置的二维地图)作为用于控制的二维地图来确定行驶路线，并且使车辆自动沿着行驶路线行驶。
[0275]
使用二维地图，车辆控制装置102选择车辆不接触被设置为二维地图中的对象的放大对象或关注区域的路线，并执行控制以行驶该路线。
[0276]
因此，即使其位置可靠性是低可靠性的对象发生位置偏离，车辆控制部分也执行控制以行驶车辆不进入放大对象显示区域的路线。因此，由于选择了大大降低接触其位置可靠性是低可靠性的对象的可能性的行驶路线，因此可以实现安全的自动行驶。
[0277]
例如，输入部分104包括可以由用户操作的开关或操作部分。注意的是，作为显示在显示装置103上的ui(用户界面)屏幕的触摸面板等也用作输入部分104。
[0278]
例如，存储部分105是除了诸如硬盘之类的大容量存储设备之外还包括诸如可移动介质、ram和rom之类的各种配置的数据存储部件。
[0279]
例如，通信部分106通过应用诸如wi
‑
fi、4g、lte、和蓝牙(注册商标)之类的各种通信手段中的至少一种与诸如服务器和用户终端(诸如用户的智能电话)之类的外部装置通信。
[0280]
车辆信息获得部分107获得在车辆行驶时由驾驶员操作的操作部分的操作信息。操作部分的示例包括方向盘、加速器、制动器等。而且，车辆信息获得部分107可以被配置为获得传感器等的检测信息。
[0281]
控制部分101控制在图像处理系统(车辆控制系统)100中执行的各种处理。注意的是，例如，控制部分101包括具有程序执行功能的数据处理部分(诸如cpu)，并根据存储在存储部分105中的程序来控制在图像处理系统(车辆控制系统)100中执行的各种处理。
[0282]
注意的是，图15中所示的每个装置和每个配置部分可以被配置为单个装置或包括多个装置或配置部分的配置部分。另外，图15中所示的每个装置和每个配置部分被配置在诸如车辆之类的移动对象中。
[0283]
数据处理装置110的详细配置的示例在图16中示出。
[0284]
如图16中所示，数据处理装置110包括对象识别部分201、对象距离计算部分202、可靠性计算部分203、显示数据创建部分204和行驶控制数据创建部分205。
[0285]
对象识别部分201从由每个成像部分(相机)捕获的图像中执行对象检测，并且生成每个对象的位置信息(图像上的坐标)和每个对象的尺寸信息作为识别结果。
[0286]
对象距离计算部分202计算从对应的成像部分(相机)或安装有成像部分的本车到每个检测到的对象的距离。
[0287]
可靠性计算部分203从每个温度传感器获得相机温度，并且从对象距离计算部分获得关于每个对象的信息(位置和距离)。此外，可靠性计算部分203可以获得每个对象的尺寸信息。根据相机温度与预定阈值之间的比较结果，可靠性计算部分203计算关于由对象距离计算部分202计算的每个对象的信息(位置、距离、尺寸等)的可靠性。
[0288]
显示数据创建部分204基于由对象识别部分201生成的每个对象位置信息(图像上的坐标)、由对象距离计算部分202生成的每个检测到的对象的距离以及由可靠性计算部分203生成的关于每个对象的信息(位置、距离、尺寸等)的可靠性来创建显示数据。显示数据可以是二维地图，其不仅描绘每个对象的位置、距离和尺寸，还具有关于基于可靠性设置的每个关注区域的信息。
[0289]
另外，显示数据也可以是放大处理之后的图像数据，在放大处理中，基于关于每个对象的信息(位置、距离、尺寸)和可靠性对拍摄图像中的对象区域进行放大。另外，显示数据也可以是叠加在拍摄图像上的二维地图。另外，显示数据可以是通过在拍摄图像上叠加标记而生成的图像数据。这些标记中的每一个指示关于基于可靠性修改后的对应对象的信息(位置、距离、尺寸等)。
[0290]
行驶控制数据创建部分205获得由对象识别部分201生成的每个对象位置信息(图像上的坐标)、由对象距离计算部分202生成的每个检测到的对象的距离以及由可靠性计算
部分203生成的关于每个对象的信息(位置、距离、尺寸等)的可靠性。行驶控制数据创建部分205基于由对象识别部分201生成的每个对象位置信息(图像上的坐标)、由对象距离计算部分202生成的每个检测到的对象的距离以及由可靠性计算部分203生成的关于每个对象的信息(位置、距离、尺寸等)的可靠性来创建行驶控制数据。行驶控制数据可以是二维地图，其不仅描绘每个对象的位置、距离和尺寸，还具有基于可靠性的关于每个关注区域的信息。另外，行驶控制数据也可以是高清地图，其是三维空间中的信息。高清地图包括关于每个对象在三维空间中的位置、尺寸和距离的信息以及关于基于可靠性设置的每个关注区域的信息。行驶控制数据可以是与高清地图不同类型的自动驾驶控制数据。
[0291]
另外，行驶控制数据创建部分205也可以在创建行驶控制数据(包括高清地图)时使用由相机捕获的捕获的图像。另外，行驶控制数据创建部分205可以使用来自相机以外的传感器(诸如雷达、超声波、lidar等)的数据来创建行驶控制数据。
[0292]
在以上示例中，显示数据创建部分204和行驶控制数据创建部分205已经被描述为在它们各自的块中创建二维地图。但是，在显示数据创建部分204中创建的二维地图可以在行驶控制数据创建部分205中使用。另外，在行驶控制数据创建部分205中创建的二维地图可以在显示数据创建部分204中使用。
[0293]
当在行驶控制数据创建部分205中创建二维地图时，可以首先生成高清地图。之后，可以通过将高清地图投影到某个平面上来创建二维地图。
[0294]
<7.关于图像处理系统(车辆控制系统)的硬件配置的示例>
[0295]
接下来，将参考图17描述执行上述处理的图像处理系统(车辆控制系统)100的硬件配置的示例。
[0296]
图17是图示可以用作图像处理系统(车辆控制系统)100的硬件配置的示例的图。
[0297]
将描述图17中所示的配置。
[0298]
cpu(中央处理单元)301用作根据存储在rom(只读存储器)302或存储部分308中的程序执行各种处理的数据处理部分。例如，cpu 301基于上述实施例中描述的序列执行处理。ram(随机存取存储器)303存储将由cpu 301执行的程序、数据等。这些cpu301、rom 302和ram 303通过总线304相互连接。
[0299]
cpu 301经由总线304连接到输入/输出接口305。输入部分306和输出部分307连接到输入/输出接口305。输入部分306包括例如各种开关、键盘、触摸面板、鼠标、麦克风，而且，还包括诸如传感器、相机和gps之类的状态数据获得部分。输出部分307包括显示器、扬声器等。
[0300]
注意的是，成像部分(相机)321和温度传感器322在图中被示为输入部分306的组成部件。而且，显示部分323被示为输出部分307的组成部分。
[0301]
例如，cpu 301接收从输入部分306输入的命令、状态数据等、执行各种处理、以及将处理结果输出到输出部分307。
[0302]
连接到输入/输出接口305的存储部分308包括例如硬盘等并且存储要由cpu 301执行的程序和各种数据。通信部分309用作经由诸如互联网或局域网之类的网络进行数据通信的发送/接收部分，并与外部装置进行通信。
[0303]
连接到输入/输出接口305的驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器(诸如存储卡)之类的可移动介质311并记录或读取数据。
[0304]
<8.本公开的配置的概要>
[0305]
以上已经结合具体实施例对本发明实施例进行了详细描述。但是，显然本领域技术人员可以在不脱离本公开的范围的情况下对实施例进行修改或替换。即，本发明已经以示例的形式公开并且不应当以限制的方式解释。为了确定本公开的范围，应当考虑权利要求。
[0306]
注意的是，本说明书中公开的技术可以具有以下配置。
[0307]
(1)一种图像处理装置，包括：
[0308]
数据处理部分，被配置为接收由捕获车辆周围的图像的相机捕获的图像并生成包括车辆周围的对象的二维地图，
[0309]
其中数据处理部分生成二维地图，该二维地图包括设置有放大区域的放大显示对象，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸。
[0310]
(2)根据(1)所述的图像处理装置，其中
[0311]
二维地图包括作为从车辆上方观察到的图像的环视图像。
[0312]
(3)根据(1)或(2)所述的图像处理装置，其中
[0313]
数据处理部分基于每个对象的像高确定每个对象的位置可靠性。
[0314]
(4)根据(1)至(3)中的任一项所述的图像处理装置，其中
[0315]
数据处理部分确定像高等于或大于预定像高阈值的对象是位置可靠性低的对象。
[0316]
(5)根据(1)至(4)中的任一项所述的图像处理装置，其中
[0317]
数据处理部分确定像高等于或大于预定像高阈值的对象是位置可靠性低的对象，并将该对象放置在二维地图上作为设置有在该对象周围延伸的放大区域的放大显示对象，同时确定像高不等于或大于像高阈值的对象是位置可靠性高的对象，并将该对象放置在二维地图上作为不设置有在该对象周围延伸的放大区域的正常显示对象。
[0318]
(6)根据(1)至(5)中的任一项所述的图像处理装置，其中
[0319]
其中数据处理部分将包括二维地图的环视图像输出到显示部分。
[0320]
(7)根据(1)至(6)中的任一项所述的图像处理装置，其中
[0321]
数据处理部分将二维地图输出到被配置为执行自动驾驶的车辆控制部分。
[0322]
(8)根据(1)至(7)中的任一项所述的图像处理装置，其中
[0323]
车辆控制部分选择车辆不接触放置在二维地图上的放大显示对象的行驶路线，并执行控制以使车辆沿着该行驶路线行驶。
[0324]
(9)根据(1)至(8)中的任一项所述的图像处理装置，其中
[0325]
数据处理部分生成二维地图，该二维地图包括设置有关注区域的关注区域设置对象，该关注区域在位置可靠性低的对象的情况下在该对象周围延伸。
[0326]
(10)根据(1)至(9)中的任一项所述的图像处理装置，其中
[0327]
数据处理部分生成包括具有根据位置可靠性而变化的放大率的放大显示对象的二维地图。
[0328]
(11)根据(1)至(10)中的任一项所述的图像处理装置，其中
[0329]
数据处理部分生成包括对象的二维地图，每个对象以根据位置可靠性而变化的颜色显示。
[0330]
(12)根据(1)至(11)中的任一项所述的图像处理装置，其中
[0331]
数据处理部分生成二维地图，该二维地图包括各自被框架包围的对象，框架的尺寸根据位置可靠性而变化。
[0332]
(13)一种车辆控制装置，包括：
[0333]
数据处理部分，被配置为接收由捕获车辆周围的图像的相机捕获的图像并且生成包括车辆周围的对象的二维地图；以及
[0334]
车辆控制部分，被配置为通过参考由数据处理部分生成的二维地图来确定行驶路线并执行控制以使车辆沿着该行驶路线行驶，
[0335]
其中数据处理部分生成二维地图，该二维地图包括设置有放大区域的放大显示对象，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸，并且
[0336]
车辆控制部分选择车辆不接触放置在二维地图上的放大显示对象的行驶路线并执行控制以使车辆沿着该行驶路线行驶。
[0337]
(14)一种由图像处理装置执行的图像处理方法，该图像处理装置包括数据处理部分，该数据处理部分被配置为接收由捕获车辆周围的图像的相机捕获的图像并生成包括车辆周围的对象的二维地图，该图像处理方法包括：
[0338]
由数据处理部分，
[0339]
生成包括设置有放大区域的放大显示对象的二维地图，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸。
[0340]
(15)一种由车辆控制装置执行的车辆控制方法，该车辆控制装置包括：
[0341]
数据处理部分，被配置为接收由捕获车辆周围的图像的相机捕获的图像并生成包括车辆周围的对象的二维地图，以及
[0342]
车辆控制部分，被配置为通过参考由数据处理部分生成的二维地图来确定行驶路线并执行控制以使车辆沿着该行驶路线行驶，该车辆控制方法包括：
[0343]
由数据处理部分，
[0344]
生成二维地图，该二维地图包括设置有放大区域的放大显示对象，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸；以及
[0345]
由车辆控制部分，
[0346]
选择车辆不接触放置在二维地图上的放大显示对象的行驶路线并执行控制以使车辆沿着该行驶路线行驶。
[0347]
(16)一种使图像处理装置执行图像处理的程序，该图像处理装置包括数据处理部分，该数据处理部分被配置为接收由捕获车辆周围的图像的相机捕获的图像并生成包括车辆周围的对象的二维地图，该程序使数据处理部分生成二维地图，该二维地图包括设置有放大区域的放大显示对象，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸。
[0348]
(17)一种使车辆控制装置执行车辆控制处理的程序，该车辆控制装置包括：
[0349]
数据处理部分，被配置为接收由捕获车辆周围的图像的相机捕获的图像并生成包括车辆周围的对象的二维地图，以及
[0350]
车辆控制部分，被配置为通过参考由数据处理部分生成的二维地图来确定行驶路
线并执行控制以使车辆沿着该行驶路线行驶，该程序使：
[0351]
数据处理部分生成二维地图，该二维地图包括设置有放大区域的放大显示对象，该放大区域在二维地图中的对象当中具有位置可靠性低的对象的情况下在该对象周围延伸；以及
[0352]
车辆控制部分选择车辆不接触放置在二维地图上的放大显示对象的行驶路线并执行控制以使车辆沿着该行驶路线行驶。
[0353]
另外，说明书中描述的一系列处理可以由硬件、软件或硬件和软件的组合来执行。在通过软件执行处理的情况下，可以将记录有处理序列的程序安装在结合到专用硬件中的计算机的存储器中然后执行，或者可以将程序安装在能够执行各种处理的通用计算机中然后执行。例如，程序可以预先记录在记录介质上。程序可以从记录介质安装到计算机。可替代地，可以通过诸如lan(局域网)或互联网之类的网络接收程序，然后安装在诸如内置硬盘之类的记录介质中。
[0354]
注意的是，说明书中描述的各种处理不仅可以根据描述按时间顺序执行，还可以根据执行处理的装置的处理能力或在需要时并行执行或单独执行。另外，在本说明书中，系统是指其中多个装置被逻辑分组的配置并且不限于在同一壳体中提供单独配置的装置的配置。
[0355]
[工业适用性]
[0356]
如上所述，根据本公开的一个实施例的配置，实现了用于生成其中位置可靠性低的对象被设置为放大显示对象的二维地图或环视图像的装置和方法。
[0357]
具体而言，例如，包括数据处理部分，该数据处理部分被配置为接收由捕获车辆周围的图像的相机捕获的图像并且生成包括车辆周围的对象的二维地图。数据处理部分生成包括设置有放大区域的放大显示对象的二维地图或环视图像，在对象的位置可靠性低的情况下，该放大区域在该对象周围延伸。数据处理部分确定像高等于或大于预定像高阈值的对象是位置可靠性低的对象，而确定像高不等于或大于像高阈值的对象是位置可靠性高的对象。
[0358]
通过这些配置，实现了用于生成其中位置可靠性低的对象被设置为放大显示对象的二维地图或环视图像的装置和方法。
[0359]
[附图标记列表]
[0360]
10 车辆
[0361]
11至14 相机
[0362]
20 路面
[0363]
30 立杆
[0364]
61 区域划分线
[0365]
71 放大显示对象
[0366]
72 正常显示对象
[0367]
73 关注区域显示对象
[0368]
81 正常显示对象
[0369]
100 图像处理系统(车辆控制系统)
[0370]
101 控制部分
[0371]
102 车辆控制装置
[0372]
103 显示装置
[0373]
104 输入部分
[0374]
105 存储部分
[0375]
106 通信部分
[0376]
107 车辆信息获得部分
[0377]
110 数据处理装置
[0378]
111 显示图像生成部分
[0379]
121l至121b 相机
[0380]
131l至131b 温度传感器
[0381]
301 cpu
[0382]
302 rom
[0383]
303 ram
[0384]
304 总线
[0385]
305 输入/输出接口
[0386]
306 输入部分
[0387]
307 输出部分
[0388]
308 存储部分
[0389]
309 通信部分
[0390]
310 驱动器
[0391]
311 可移动介质
[0392]
321 成像部分
[0393]
322 温度传感器
[0394]
323 显示部分