图像处理装置、图像处理方法以及图像处理程序与流程

1.本发明涉及图像处理装置、图像处理方法以及图像处理程序。


背景技术：

2.公开有如下技术：使用将移动体的周边的拍摄图像投影到虚拟的投影面的投影图像，生成从任意视点的合成图像。另外，公开有如下技术：通过传感器检测从移动体到移动体的周边的物体的距离，根据检测出的该距离使投影面的形状变形(例如，参照专利文献1-3)。
3.专利文献1：日本特开2013-207637号公报；
4.专利文献2：日本特表2014-531078号公报；
5.专利文献3：日本专利第5369465号公报。
6.非专利文献1：“移動
ロボットの
環境認識－地図構築
と
自己位置推定
”システム
/制御/情報(
システム
情報学会誌)，vol.60no.12，pp509-514，2016。
7.然而，在物体相对于移动体的相对位置为传感器的检测区域外的情况下，难以获取到该物体的距离。因此，在现有技术中，有时难以进行与物体相应的投影面的变形。


技术实现要素：

8.在一个方面中，本发明的目的在于提供能够根据物体使投影面变形的图像处理装置、图像处理方法以及图像处理程序。
9.本技术公开的图像处理装置在一个方式中，具备变形部，上述变形部使用储存了移动体的周边的多个检测点的位置信息、和上述移动体的自身位置信息，将上述移动体的周边图像的投影面亦即基准投影面变形。
10.根据本技术公开的图像处理装置的一个方式，能够根据物体使投影面变形。
附图说明
11.图1是表示第一实施方式的图像处理系统的整体结构的图。
12.图2是表示第一实施方式的图像处理装置的硬件构成的图。
13.图3是表示第一实施方式的图像处理装置的功能构成的图。
14.图4是第一实施方式的环境地图信息的示意图。
15.图5a是表示第一实施方式的基准投影面的示意图。
16.图5b是表示第一实施方式的投影形状的示意图。
17.图6是第一实施方式的渐近曲线的说明图。
18.图7是表示第一实施方式的决定部的功能构成的示意图。
19.图8是表示第一实施方式的图像处理的流程的流程图。
20.图9a是表示第一实施方式的拍摄图像的示意图。
21.图9b是表示第一实施方式的合成图像的示意图。
22.图9c是表示第一实施方式的图像处理的时间图的示意图。
23.图10a是现有的投影面变形处理的说明图。
24.图10b是现有的投影面变形处理的说明图。
25.图11a是现有的投影面变形处理的说明图。
26.图11b是现有的投影面变形处理的说明图。
27.图12a是第一实施方式的基准投影面的变形的说明图。
28.图12b是第一实施方式的基准投影面的变形的说明图。
29.图13a是第一实施方式的基准投影面的变形的说明图。
30.图13b是第一实施方式的基准投影面的变形的说明图。
31.图14a是第一实施方式的视线方向l的决定的说明图。
32.图14b是第一实施方式的视线方向l的决定的说明图。
33.图14c是第一实施方式的视线方向l的决定的说明图。
34.图15a是表示第一实施方式的拍摄图像的示意图。
35.图15b是表示第一实施方式的合成图像的示意图。
36.图16是表示第二实施方式的图像处理装置的功能构成的图。
37.图17是表示第二实施方式的图像处理的流程的流程图。
38.图18是表示第二实施方式的图像处理的时间图的示意图。
39.图19是表示第二实施方式的合成图像的图像。
具体实施方式
40.以下，参照附图并对本技术公开的图像处理装置、图像处理方法以及图像处理程序的实施方式进行详细说明。此外，以下的实施方式并不限定公开的技术。而且，各实施方式能够在不使处理内容矛盾的范围内进行适当组合。
41.(第一实施方式)
42.图1是表示本实施方式的图像处理系统1的整体结构的一个例子的图。图像处理系统1具备图像处理装置10、拍摄部12、检测部14以及显示部16。图像处理装置10、拍摄部12、检测部14以及显示部16以能够收发数据或者信号的方式连接。
43.在本实施方式中，将图像处理装置10、拍摄部12、检测部14以及显示部16搭载于移动体2的方式作为一个例子进行说明。
44.所谓的移动体2是可移动的物体。移动体2例如是车辆、可飞行的物体(有人飞机、无人飞机(例如，uav(unmanned aerial vehicle：无人机)、无人驾驶飞机))、机器人等。另外，移动体2例如是通过人的驾驶操作而行进的移动体、不通过人的驾驶操作而能够自动地行进(自主行进)的移动体。在本实施方式中，将移动体2是车辆的情况作为一个例子进行说明。车辆例如是二轮汽车、三轮汽车、四轮汽车等。在本实施方式中，将车辆是能够自主行进的四轮汽车的情况作为一个例子进行说明。
45.此外，并不限定于图像处理装置10、拍摄部12、检测部14以及显示部16全部搭载于移动体2的方式。图像处理装置10也可以搭载于静止物。静止物是固定于地面的物体。静止物是不可移动的物体、相对于地面静止的状态的物体。静止物例如是信号灯、停车车辆、道路标志等。另外，图像处理装置10也可以搭载于在云上执行处理的云服务器上。
46.拍摄部12拍摄移动体2的周边，获取拍摄图像数据。在以下，将拍摄图像数据简称为拍摄图像进行说明。拍摄部12例如是数码相机。此外，所谓的拍摄是指将通过透镜等光学系统被成像的被拍摄体的像转换为电信号。拍摄部12将拍摄到的拍摄图像输出到图像处理装置10。
47.在本实施方式中，将在移动体2搭载有四个拍摄部12(拍摄部12a～拍摄部12d)的方式作为一个例子进行说明。多个拍摄部12(拍摄部12a～拍摄部12d)拍摄各个拍摄区域e(拍摄区域e1～拍摄区域e4)的被拍摄体，获取拍摄图像。此外，这些多个拍摄部12的拍摄方向相互不同。具体而言，这些多个拍摄部12预先调整拍摄方向，使得至少一部分拍摄区域e相互不重复。
48.检测部14检测移动体2的周边的多个检测点的各个位置信息。换言之，检测部14检测检测区域f的检测点的各个位置信息。所谓的检测点表示现实空间中的由检测部14分别观测的各个点。例如，检测部14向检测部14的周围照射光，接受由反射点反射的反射光。该反射点相当于检测点。
49.所谓的检测点的位置信息是表示现实空间(三维空间)中的检测点的位置的信息。例如，检测点的位置信息是表示从检测部14(即移动体2的位置)到检测点的距离、和以检测部14为基准的检测点的方向的信息。这些距离和方向例如能够通过表示以检测部14为基准的检测点的相对位置的位置坐标、表示检测点的绝对位置的位置坐标、或者矢量等来表示。
50.检测部14例如是3d(three-dimensional)扫描仪、2d(two dimensions)扫描仪、距离传感器(毫米波雷达、激光传感器)、通过声波探测物体的声呐传感器、超声波传感器等。激光传感器例如是三维lidar(laser imaging detection and ranging：激光成像探测与测距)传感器。另外，检测部14也可以是使用根据由单眼相机拍摄的图像来测量距离的sfm(structure from motion：运动恢复结构)技术的装置。
51.显示部16显示各种信息。显示部16例如是lcd(liquid crystal display：液晶显示器)或者有机el(electro-luminescence：电致发光)显示器等。
52.在本实施方式中，图像处理装置10与搭载于移动体2的电子控制单元(ecu：electronic control unit)3可通信地连接。ecu3是进行移动体2的电子控制的单元。在本实施方式中，图像处理装置10能够从ecu3接收移动体2的速度、移动方向等的can(controller area network：控制器局域网)数据。
53.接下来，对图像处理装置10的硬件构成进行说明。图2是表示图像处理装置10的硬件构成的一个例子的图。
54.图像处理装置10包含：cpu(central processing unit：中央处理器)10a、rom(read only memory：只读存储器)10b、ram(random access memory：随机存取存储器)10c以及i/f(interface：接口)10d，例如是计算机。cpu10a、rom10b、ram10c以及i/f10d通过总线10e相互连接，成为利用了通常的计算机的硬件构成。
55.cpu10a是控制图像处理装置10的运算装置。cpu10a对应于硬件处理器的一个例子。rom10b存储实现由cpu10a进行的各种处理的程序等。ram10c存储由cpu10a进行的各种处理所需的数据。i/f10d是与拍摄部12、检测部14、显示部16以及ecu3等连接，用于收发数据的接口。
56.用于执行在本实施方式的图像处理装置10中执行的图像处理的程序预先装入
rom10b等中而被提供。此外，在本实施方式的图像处理装置10中执行的程序也可以构成为以可安装于图像处理装置10的形式或者可执行的形式的文件记录在记录介质中来提供。记录介质是由计算机可读取的介质。记录介质是cd(compact disc光盘)-rom、软盘(fd)、cd-r(recordable：可记录)、dvd(digital versatile disk：数字光驱)、usb(universal serial bus：通用串行总线)存储器、sd(secure digital：安全数码)卡等。
57.接下来，对图像处理装置10的功能构成进行说明。图3是表示图像处理装置10的功能构成的一个例子的图。此外，在图3中，为了明确数据的输入输出关系，除了图像处理装置10之外，还一并图示了拍摄部12、检测部14以及显示部16。
58.图像处理装置10具备：获取部20、检测点登记部22、自身位置推定部24、存储部26、修正部28、决定部30、变形部32、虚拟视点视线决定部34、投影转换部36以及图像合成部38。
59.上述多个各部的一部分或者全部例如也可以通过使cpu10a等处理装置执行程序、即软件来实现。另外，上述多个各部的一部分或者全部也可以通过ic(integrated circuit：集成电路)等硬件来实现，也可以并用软件和硬件来实现。
60.获取部20从拍摄部12获取拍摄图像。另外，获取部20从检测部14获取检测点的位置信息。获取部20从各个拍摄部12(拍摄部12a～拍摄部12d)获取拍摄图像。检测部14检测多个检测点的各个位置信息。因此，获取部20获取多个检测点的各个位置信息、和基于多个拍摄部12的各个拍摄部的拍摄图像。
61.获取部20每当获取多个检测点的各个位置信息时，将获取到的位置信息输出到检测点登记部22和自身位置推定部24。另外，获取部20每当获取拍摄图像时，将获取到的拍摄图像输出到投影转换部36。
62.检测点登记部22每当获取多个检测点的各个位置信息时，将获取到的各个位置信息登记到环境地图信息26a中。环境地图信息26a存储于存储部26。
63.存储部26存储各种数据。存储部26例如是ram、闪存等半导体存储器元件、硬盘、光盘等。此外，存储部26也可以是设置于图像处理装置10的外部的存储装置。另外，存储部26也可以是存储介质。具体而言，存储介质也可以是经由lan(local area network：局域网)、因特网等下载程序、各种信息并存储或暂时存储的介质。
64.环境地图信息26a是表示移动体2的周边状况的地图信息。环境地图信息26a是在以现实空间中的规定位置为原点的三维坐标空间中登记了检测点的各个位置信息和移动体2的自身位置信息的信息。现实空间中的规定位置例如也可以基于预先设定的条件来决定。
65.例如，规定位置是图像处理装置10执行本实施方式的图像处理时的移动体2的位置。例如，假定在移动体2的停车场景等的规定时刻执行图像处理的情况。该情况下，图像处理装置10只要将判别到了该规定时刻时的移动体2的位置设为规定位置即可。例如，图像处理装置10在判别为移动体2的运行状况为表示停车场景的运行状况时，可以判断为到了该规定时刻。表示停车场景的运行状况例如是移动体2的速度成为规定速度以下的情况、移动体2的齿轮进入后倒轮的情况、根据用户的操作指示等接受了表示停车开始的信号的情况等。此外，该规定时刻并不限定于停车场景。
66.图4是环境地图信息26a的一个例子的示意图。环境地图信息26a是将检测点p的各个位置信息、和移动体2的自身位置s的自身位置信息登记到该三维坐标空间中的对应的坐
标位置的信息。
67.检测点登记部22每当经由获取部20从检测部14获取检测点p的位置信息时，通过扫描匹配确定已登记在环境地图信息26a中的相同的检测点p。所谓的相同的检测点p，是指基于检测部14的位置信息的获取时刻不同，但在现实空间中是相同的检测点p。检测点登记部22将从检测部14获取到的检测点p的位置信息中未登记在环境地图信息26a中的检测点p的位置信息追加登记于环境地图信息26a中。此时，检测点登记部22将获取到的检测点p的位置信息坐标转换为以上述规定位置为原点的坐标之后，登记于环境地图信息26a中。
68.此外，基于检测点登记部22的扫描匹配的结果有时已登记在环境地图信息26a中的检测点p和新获取的检测点p不一致规定比例以上。该情况下，检测点登记部22也可以废弃该新获取的检测点p的位置信息，省略向环境地图信息26a的登记。规定比例可以预先决定。通过该处理，能够提高环境地图信息26a的可靠性。
69.此外，优选检测点登记部22将用于检测点p的位置信息的计算的各种参数与该位置信息一起登记到环境地图信息26a中。
70.返回到图3继续说明。自身位置推定部24基于登记在环境地图信息26a中的多个检测点p的各个位置信息，推定表示移动体2的自身位置s的自身位置信息。而且，自身位置推定部24将推定出的自身位置s的自身位置信息登记到环境地图信息26a中。
71.所谓的自身位置信息是表示移动体2的姿势的信息。移动体2的姿势表示移动体2的位置以及倾斜。
72.自身位置推定部24使用登记在环境地图信息26a中的检测点p的各个位置信息和经由获取部20从检测部14获取到的最新的检测点p的各个位置信息，确定这些位置信息所包含的对应的检测点p。所谓的对应的检测点p是指基于检测部14的位置信息的获取时刻不同，但在现实空间中是相同的检测点p。自身位置推定部24通过使用了确定的对应的检测点p的各个位置信息的三角测量，计算移动体2的自身位置s的自身位置信息。然后，自身位置推定部24将计算出的自身位置信息登记到环境地图信息26a中。
73.因此，在环境地图信息26a中，伴随移动体2的移动，追加登记新的检测点p的位置信息以及自身位置s的自身位置信息。在图4中，作为一个例子，示出了自身位置s1～自身位置s3的自身位置s。接在s后的数值的值越大，意味着是越接近当前时刻的自身位置s。
74.此外，自身位置推定部24也可以使用测程法来推定自身位置信息。该情况下，自身位置推定部24可以使用上次计算出的自身位置信息和移动体2的移动量，通过基于测程法的积分计算，推定新的自身位置信息。此外，自身位置推定部24可以通过读取从ecu3获取到的can数据所包含的移动体2的移动量，来获取移动量。
75.这样，在本实施方式中，图像处理装置10通过slam(simultaneous localization and mapping：即时定位与地图构建)，同时执行检测点p的位置信息向环境地图信息26a的登记和移动体2的自身位置信息的推定。
76.修正部28修正登记在环境地图信息26a中的多个检测点p的各个位置信息、以及移动体2的自身位置信息。修正部28使用在比该检测点p的获取时刻靠后的获取时刻获取到的对应的检测点p的各个位置信息，修正已登记在环境地图信息26a中的位置信息以及自身位置信息。
77.即，修正部28使用由检测部14再次检测的对应的检测点p的位置信息来修正登记
在环境地图信息26a中的检测点p的位置信息。此时，修正部28也可以还使用登记在环境地图信息26a中的用于检测点p的各个位置信息的计算的各种参数，来修正位置信息以及自身位置信息。通过该修正处理，修正部28修正登记在环境地图信息26a中的检测点p的位置信息的误差。修正部28可以使用最小二乘法等，来修正登记在环境地图信息26a中的检测点p的位置信息。通过修正部28的修正处理，修正检测点p的位置信息的累计误差。
78.对修正部28的修正处理的时刻不做限定。例如，修正部28可以按每规定时刻执行上述修正处理。规定时刻例如也可以基于预先设定的条件来决定。此外，在本实施方式中，将图像处理装置10是具备修正部28的结构的情况作为一个例子进行说明。但是，图像处理装置10也可以是不具备修正部28的结构。
79.接下来，对决定部30进行说明。决定部30使用环境地图信息26a，来决定投影面的投影形状。即，决定部30使用储存于环境地图信息26a中的检测点p的位置信息，来决定投影面的投影形状。
80.所谓的投影面，是用于投影移动体2的周边图像的立体面。投影面的投影形状是在对应于现实空间的虚拟空间虚拟形成的立体(3d)形状。
81.所谓的移动体2的周边图像是移动体2的周边的拍摄图像。在本实施方式中，移动体2的周边图像是由拍摄部12a～拍摄部12d的各个拍摄部拍摄而得到的拍摄图像。
82.在本实施方式中，决定部30将根据登记在环境地图信息26a中的检测点p的位置信息使基准投影面变形后的形状决定为投影形状。
83.图5a是表示基准投影面40的一个例子的示意图。基准投影面40例如是在变更投影面的形状时成为基准的形状的投影面。基准投影面40的形状例如是碗型、圆柱型等。
84.所谓的碗型是具有底面40a和侧壁面40b，侧壁面40b的一端与该底面40a连续，且另一端开口的形状。该侧壁面40b从底面40a侧朝向该另一端部的开口侧，水平剖面的宽度变大。底面40a例如是圆形。此处，所谓的圆形是包含正圆形状、椭圆形状等正圆形状以外的圆形的形状。所谓的水平剖面是与铅垂方向(箭头z方向)正交的正交平面。正交平面是沿着与箭头z方向正交的箭头x方向、以及与箭头z方向和箭头x方向正交的箭头y方向的二维平面。在以下，有时将水平剖面和正交平面称为xy平面进行说明。此外，底面40a例如也可以是蛋型那样的圆形以外的形状。
85.所谓的圆柱型是由圆形的底面40a和与该底面40a连续的侧壁面40b构成的形状。另外，构成圆柱型的基准投影面40的侧壁面40b是一端部的开口与底面40a连续，另一端部开口的圆筒状。其中，构成圆柱型的基准投影面40的侧壁面40b是从底面40a侧朝向该另一端部的开口侧，xy平面的直径大致恒定的形状。此外，底面40a例如也可以是蛋型那样的圆形以外的形状。
86.在本实施方式中，将基准投影面40的形状是碗型的情况作为一个例子进行说明。基准投影面40是在将底面40a设为与移动体2的下方的路面大致一致的面，将该底面40a的中心设为移动体2的自身位置s的虚拟空间中虚拟形成的立体模型。
87.决定部30将使基准投影面40变形为通过最接近移动体2的检测点p的形状后的形状决定为投影形状。所谓的通过检测点p的形状是指变形后的侧壁面40b是通过该检测点p的形状。
88.图5b是表示投影形状41的一个例子的示意图。决定部30将使基准投影面40变形为
通过最接近移动体2的自身位置s的检测点p的形状后的形状决定为投影形状41，该移动体2的自身位置s是基准投影面40的底面40a的中心。该自身位置s是由自身位置推定部24计算出的最新的自身位置s。
89.决定部30确定登记在环境地图信息26a中的多个检测点p中、最接近该自身位置s的检测点p。详细而言，将移动体2的中心位置(自身位置s)的xy坐标设为(x，y)＝(0，0)。而且，决定部30将x2 y2的值表示最小值的检测点p确定为最接近自身位置s的检测点p。而且，决定部30将基准投影面40的侧壁面40b以成为通过该检测点p的形状的方式进行变形后的形状决定为投影形状41。
90.具体而言，决定部30将底面40a和侧壁面40b的一部分区域的变形形状决定为投影形状41，使得在使基准投影面40变形时，侧壁面40b的一部分区域成为通过最接近移动体2的检测点p的壁面。变形后的投影形状41例如成为从底面40a上的立起线44朝向接近底面40a的中心的方向立起的形状。所谓的立起，例如是指以基准投影面40的侧壁面40b与底面40a所成的角度成为更小的角度的方式，将该侧壁面40b和底面40a的一部分朝向接近底面40a的中心的方向弯曲或者折弯。
91.决定部30决定为进行变形以使基准投影面40中的特定区域在xy平面的视点(俯视)上向通过该检测点p的位置突出。特定区域的形状以及范围也可以基于预先决定的基准来决定。而且，决定部30决定设为使基准投影面40变形后的形状，以使距自身位置s的距离从突出的特定区域朝向侧壁面40b中的该特定区域以外的区域连续地变远。
92.详细而言，如图5b所示，优选决定投影形状41，以使沿着xy平面的剖面的外周的形状为曲线形状。此外，投影形状41的该剖面的外周的形状例如是圆形，但也可以是圆形以外的形状。
93.此外，决定部30也可以将以成为沿着渐近曲线的形状的方式使基准投影面40变形后的形状决定为投影形状41。渐近曲线是多个检测点p的渐近曲线。决定部30朝向远离最接近移动体2的自身位置s的检测点p的方向生成预先决定的数量的多个检测点p的渐近曲线。该检测点p的数量只要是多个即可。例如，该检测点p的数量优选为三个以上。另外，该情况下，优选决定部30生成从自身位置s观察位于远离规定角度以上的位置的多个检测点p的渐近曲线。
94.图6是渐近曲线q的说明图。图6是在从上方鸟瞰移动体2的情况下，在将拍摄图像投影到投影面的投影图像51中示出渐近曲线q的例子。例如，假定决定部30按照接近移动体2的自身位置s的顺序确定三个检测点p。该情况下，决定部30生成这三个检测点p的渐近曲线q。而且，决定部30将以成为沿着生成的渐近曲线q的形状的方式使基准投影面40变形后的形状决定为投影形状41即可。
95.此外，决定部30也可以按特定的每个角度范围划分移动体2的自身位置s的周围，针对每个该角度范围，确定最接近移动体2的检测点p，或者按照接近移动体2的顺序确定多个检测点p。而且，决定部30也可以针对每个该角度范围，将以成为通过所确定的检测点p的形状或者沿着所确定的多个检测点p的渐近曲线q的形状的方式使基准投影面40变形后的形状决定为投影形状41。
96.接下来，对决定部30的详细结构的一个例子进行说明。
97.图7是表示决定部30的结构的一个例子的示意图。决定部30具备：绝对距离换算部
30a、提取部30b、最附近确定部30c、基准投影面形状选择部30d、标度决定部30e、渐近曲线计算部30f以及形状决定部30g。
98.绝对距离换算部30a从存储部26读取环境地图信息26a。绝对距离换算部30a将读取到的环境地图信息26a中包含的多个检测点p的各个位置信息换算为从移动体2的最新的自身位置s即当前位置到该多个检测点p的各个检测点p的绝对距离的距离信息。此外，在检测部14获取检测点p的距离信息的情况下，也可以省略绝对距离换算部30a。
99.详细而言，绝对距离换算部30a使用从移动体2的ecu3接收到的can数据中包含的移动体2的速度数据，计算移动体2的当前位置。
100.具体而言，例如，绝对距离换算部30a使用can数据中包含的移动体2的速度数据，计算登记在环境地图信息26a中的自身位置s间的距离。例如，假定图4所示的环境地图信息26a。该情况下，绝对距离换算部30a使用can数据中包含的速度数据计算自身位置s1与自身位置s2的距离、以及自身位置s2与自身位置s3的距离。而且，绝对距离换算部30a使用这些距离，计算移动体2的当前位置。
101.而且，绝对距离换算部30a根据移动体2的当前位置，计算作为到环境地图信息26a所包含的多个检测点p的各个检测点p的距离的距离信息。详细而言，绝对距离换算部30a将环境地图信息26a所包含的多个检测点p的各个位置信息换算为距移动体2的当前位置的距离信息。通过该处理，绝对距离换算部30a计算作为检测点p的各个绝对距离的距离信息。
102.而且，绝对距离换算部30a将计算出的多个检测点p的各个距离信息输出到提取部30b。另外，绝对距离换算部30a将计算出的移动体2的当前位置作为移动体2的自身位置信息输出到虚拟视点视线决定部34。
103.提取部30b提取从绝对距离换算部30a接受到距离信息的多个检测点p中、存在于特定的范围内的检测点p。所谓的特定的范围，例如是从配置移动体2的路面到相当于移动体2的车高的高度的范围。此外，该范围并不限定于该范围。
104.通过提取部30b提取该范围内的检测点p，例如能够提取成为移动体2的行进的障碍的物体的检测点p。
105.而且，提取部30b将提取出的检测点p的各个距离信息输出到最附近确定部30c。
106.最附近确定部30c按照特定的每个角度范围划分移动体2的自身位置s的周围，针对每个角度范围，确定最接近移动体2的检测点p、或者按照接近移动体2的顺序确定多个检测点p。最附近确定部30c使用从提取部30b接受到的距离信息，来确定检测点p。在本实施方式中，将最附近确定部30c针对每个角度范围，按照接近移动体2的顺序确定多个检测点p的方式作为一个例子进行说明。
107.最附近确定部30c将针对每个角度范围确定的检测点p的距离信息输出到基准投影面形状选择部30d、标度决定部30e以及渐近曲线计算部30f。
108.基准投影面形状选择部30d选择基准投影面40的形状。基准投影面形状选择部30d从存储有多种基准投影面40的形状的存储部26读取特定的一个形状，从而选择基准投影面40的形状。例如，基准投影面形状选择部30d根据自身位置与周围立体物的位置关系、距离信息等来选择基准投影面40的形状。此外，也可以通过用户的操作指示来选择基准投影面40的形状。基准投影面形状选择部30d将所决定的基准投影面40的形状信息输出到形状决定部30g。在本实施方式中，如上所述，将基准投影面形状选择部30d选择碗型的基准投影面
40的方式作为一个例子进行说明。
109.标度决定部30e决定基准投影面形状选择部30d所选择的形状的基准投影面40的标度。标度决定部30e例如在距自身位置s规定距离的范围内存在多个检测点p的情况下，决定减小标度等。标度决定部30e将所决定的标度的标度信息输出到形状决定部30g。
110.渐近曲线计算部30f将使用从最附近确定部30c接受到的、在距自身位置s的每个角度范围内离自身位置s最近的检测点p的距离信息的每一个信息而计算出的渐近曲线q的渐近曲线信息输出到形状决定部30g以及虚拟视点视线决定部34。此外，渐近曲线计算部30f也可以计算针对基准投影面40的多个部分的每一个储存的检测点p的渐近曲线q。而且，渐近曲线计算部30f也可以将计算出的渐近曲线q的渐近曲线信息输出到形状决定部30g以及虚拟视点视线决定部34。
111.形状决定部30g将由从基准投影面形状选择部30d接受到的形状信息表示的形状的基准投影面40放大或者缩小为从标度决定部30e接受到的标度信息的标度。而且，形状决定部30g针对放大或者缩小后的基准投影面40，将变形为根据从渐近曲线计算部30f接受到的渐近曲线q的渐近曲线信息的形状后的形状决定为投影形状41。
112.而且，形状决定部30g将所决定的投影形状41的投影形状信息输出到变形部32。
113.返回到图3继续说明。接下来，对变形部32进行说明。变形部32将基准投影面40变形为由从决定部30接受到的投影形状信息表示的投影形状41。通过该变形处理，变形部32生成变形后的基准投影面40即变形投影面42(参照图5b)。
114.即，变形部32使用储存于环境地图信息26a的检测点p的位置信息、和移动体2的自身位置信息，将基准投影面40变形。
115.详细而言，例如，变形部32基于投影形状信息，将基准投影面40变形为通过最接近移动体2的检测点p的曲面形状。通过该变形处理，变形部32生成变形投影面42。
116.另外，例如，变形部32基于投影形状信息，将基准投影面40变形为沿着按接近移动体2的顺序预先决定的数量的多个检测点p的渐近曲线q的形状。
117.此外，变形部32优选使用在第一时刻之前获取到的检测点p的位置信息、和自身位置s的自身位置信息，将基准投影面40变形。
118.此处，所谓的第一时刻，是由检测部14检测出检测点p的位置信息的最新时刻、或者是该最新时刻之前的任意时刻。例如，在第一时刻之前获取到的检测点p中包含位于移动体2的周边的特定的物体的位置信息，在第一时刻获取到的检测点p中不包含位于该周边的特定的物体的位置信息。决定部30可以使用环境地图信息26a所包含的、在该第一时刻之前获取到的检测点p的位置信息，与上述同样地决定投影形状41。而且，变形部32可以使用该投影形状41的投影形状信息，与上述同样地生成变形投影面42。
119.该情况下，例如，即使在检测部14在第一时刻检测出的检测点p的位置信息中不包含在该时刻之前检测出的检测点p的位置信息的情况下，变形部32也能够生成与该过去检测出的检测点p相应的变形投影面42。
120.接下来，对投影转换部36进行说明。投影转换部36生成将从拍摄部12获取的拍摄图像投影到由变形部32变形后的基准投影面40即变形投影面42上的投影图像51。
121.详细而言，投影转换部36从变形部32接受变形投影面42的变形投影面信息。所谓的变形投影面信息，是表示变形投影面42的信息。投影转换部36将经由获取部20从拍摄部
12获取到的拍摄图像投影到接受到的变形投影面信息所示出的变形投影面42上。通过该投影处理，投影转换部36生成投影图像51。
122.而且，投影转换部36将投影图像51转换为虚拟视点图像。所谓的虚拟视点图像，是从虚拟视点在任意方向上视觉辨认投影图像51的图像。
123.使用图5b进行说明。投影转换部36将拍摄图像50投影到变形投影面42上。而且，投影转换部36生成虚拟视点图像，该虚拟视点图像是从任意的虚拟视点o在视线方向l上视觉辨认投影到变形投影面42上的拍摄图像50的图像(未图示)。虚拟视点o的位置例如可以设为移动体2的最新的自身位置s。该情况下，可以将虚拟视点o的xy坐标的值设为移动体2的最新的自身位置s的xy坐标的值。另外，可以将虚拟视点o的z坐标(铅垂方向的位置)的值设为最接近移动体2的自身位置s的检测点p的z坐标的值。视线方向l例如也可以基于预先决定的基准来决定。
124.视线方向l例如可以设为从虚拟视点o朝向最接近移动体2的自身位置s的检测点p的方向。另外，视线方向l也可以是通过该检测点p且与变形投影面42垂直的方向。表示虚拟视点o和视线方向l的虚拟视点视线信息由虚拟视点视线决定部34制成。
125.返回到图3继续说明。虚拟视点视线决定部34决定虚拟视点视线信息。
126.例如，虚拟视点视线决定部34也可以将通过最接近移动体2的自身位置s的检测点p且与变形投影面42垂直的方向决定为视线方向l。另外，虚拟视点视线决定部34也可以固定该视线方向l的方向，将虚拟视点o的坐标决定为任意的z坐标和从渐近曲线q向自身位置s侧远离的方向上的任意的xy坐标。该情况下，该xy坐标也可以是比自身位置s更远离渐近曲线q的位置的坐标。而且，虚拟视点视线决定部34将表示虚拟视点o和视线方向l的虚拟视点视线信息输出到投影转换部36。此外，如图6所示，视线方向l也可以是从虚拟视点o朝向渐近曲线q的顶点w的位置的方向。
127.返回到图3继续说明。投影转换部36从虚拟视点视线决定部34接受虚拟视点视线信息。投影转换部36通过接受该虚拟视点视线信息，确定虚拟视点o和视线方向l。而且，投影转换部36根据投影到变形投影面42的拍摄图像50，生成从该虚拟视点o在视线方向l上视觉辨认的图像即虚拟视点图像。投影转换部36将虚拟视点图像输出到图像合成部38。
128.图像合成部38生成提取虚拟视点图像的一部分或者全部而得到的合成图像。例如，图像合成部38进行虚拟视点图像所包含的多个拍摄图像50重叠的部分的宽度的决定、拍摄图像50的粘结处理、决定在重叠的部分显示的拍摄图像50的混合处理。由此，生成合成图像54。而且，图像合成部38将合成图像54输出到显示部16。此外，合成图像54可以是将移动体2的上方作为虚拟视点o的鸟瞰图像、也可以是将移动体2内作为虚拟视点o，半透明地显示移动体2的图像。
129.接下来，对图像处理装置10所执行的图像处理的流程的一个例子进行说明。
130.图8是表示图像处理装置10所执行的图像处理的流程的一个例子的流程图。
131.获取部20从拍摄部12获取拍摄图像50(步骤s100)。另外，获取部20从检测部14获取多个检测点p的各个位置信息(步骤s102)。
132.检测点登记部22通过扫描匹配确定在步骤s102中获取到的位置信息的各个的检测点p中、已登记在环境地图信息26a中的相同的检测点p(步骤s104)。而且，检测点登记部22将在步骤s102中获取到的检测点p的位置信息中、未登记在环境地图信息26a中的检测点
p的位置信息登记到环境地图信息26a中(步骤s106)。
133.自身位置推定部24基于登记在环境地图信息26a中的多个检测点p的各个的位置信息和在步骤s102中获取到的位置信息，推定表示移动体2的自身位置s的自身位置信息(步骤s108)。而且，自身位置推定部24将推定出的自身位置信息登记到环境地图信息26a中(步骤s110)。
134.修正部28使用在步骤s102中获取到的检测点p的位置信息来修正登记在环境地图信息26a中的检测点p的位置信息(步骤s112)。此外，如上所述，也可以是不执行步骤s112的修正处理的方式。
135.决定部30的绝对距离换算部30a将环境地图信息26a所包含的多个检测点p的各个的位置信息换算为从移动体2的当前位置到该多个检测点p的各个检测点p的绝对距离的距离信息(步骤s114)。
136.提取部30b提取在绝对距离换算部30a中计算出绝对距离的距离信息的检测点p中、存在于特定的范围内的检测点p(步骤s116)。
137.最附近确定部30c使用在步骤s116中提取出的检测点p的各个的距离信息，针对移动体2的周围的每个角度范围，按接近移动体2的顺序确定多个检测点p(步骤s118)。
138.渐近曲线计算部30f使用在步骤s118中确定的每个角度范围的多个检测点p的距离信息的每一个信息，计算渐近曲线q(步骤s120)。
139.基准投影面形状选择部30d选择基准投影面40的形状(步骤s122)。如上所述，将基准投影面形状选择部30d选择碗型的基准投影面40的方式作为一个例子进行说明。
140.标度决定部30e决定在步骤s122中选择的形状的基准投影面40的标度(步骤s124)。
141.形状决定部30g将在步骤s122中选择的形状的基准投影面40放大或者缩小为在步骤s124中决定的标度。而且，形状决定部30g针对放大或者缩小后的基准投影面40，进行变形，以使成为沿着在步骤s120中计算出的渐近曲线q的形状。形状决定部30g将该变形后的形状决定为投影形状41(步骤s126)。
142.变形部32将基准投影面40变形为在决定部30中决定的投影形状41(步骤s128)。通过该变形处理，变形部32生成变形后的基准投影面40即变形投影面42(参照图5b)。
143.虚拟视点视线决定部34决定虚拟视点视线信息(步骤s130)。例如，虚拟视点视线决定部34将移动体2的自身位置s设为虚拟视点o，将从该虚拟视点o朝向渐近曲线q的顶点w的位置的方向决定为视线方向l。详细而言，虚拟视点视线决定部34将朝向在步骤s120中针对每个角度范围计算出的渐近曲线q中的特定的一个角度范围的渐近曲线q的顶点w的方向决定为视线方向l即可。
144.投影转换部36将在步骤s100中获取到的拍摄图像50投影到在步骤s128中生成的变形投影面42上。而且，投影转换部36将该投影图像51转换为虚拟视点图像，该虚拟视点图像是从在步骤s130中决定的虚拟视点o在视线方向l上视觉辨认投影到变形投影面42上的拍摄图像50的图像(步骤s132)。
145.图像合成部38生成提取在步骤s132中生成的虚拟视点图像的一部分或者全部而得到的合成图像54(步骤s134)。例如，图像合成部38进行虚拟视点图像所包含的多个拍摄图像50的重叠的部分的宽度的决定、拍摄图像50的粘结处理、决定在重叠的部分显示的拍
摄图像50的混合处理。而且，图像合成部38执行将所生成的合成图像54输出到显示部16的显示控制(步骤s136)。
146.接下来，图像处理装置10判断是否结束图像处理(步骤s138)。例如，图像处理装置10通过判别是否从ecu3接收到表示移动体2的位置移动停止的信号，来进行步骤s138的判断。另外，例如，图像处理装置10也可以根据用户的操作指示等来判别是否接受到图像处理的结束指示，从而进行步骤s138的判断。
147.若在步骤s138中否定判断(步骤s138：否)，则返回到上述步骤s100。若在步骤s138中肯定判断(步骤s138：是)，则结束本例程。此外，在执行了步骤s112的修正处理之后从步骤s138返回到步骤s100的情况下，也可以有时省略之后的步骤s112的修正处理。另外，在不执行步骤s112的修正处理而从步骤s138返回到步骤s100的情况下，也可以有时执行之后的步骤s112的修正处理。
148.接下来，使用时间图对本实施方式的图像处理装置10所执行的图像处理的具体例进行说明。
149.图9a是表示在状况t1～状况t4的各个时刻拍摄的拍摄图像50的一个例子的图。图9a中的拍摄图像50的每一个图像例如是由移动体2的拍摄部12d拍摄而得到的图像。状况t1～状况t4假定使移动体2停在柱c的附近的停车空间的状况。此外，接在t后的数值越大，意味着是越靠后的时刻。即，表示从状况t1到状况t4，是后面的时刻的状况。拍摄图像50t1～拍摄图像50t4是在状况t1～状况t4的各个时刻拍摄的拍摄图像50的一个例子。
150.在状况t1的时刻，通过检测部14未检测出存在于现实空间的柱c。即，在状况t1的时刻，柱c处于检测部14的检测区域f外。另外，在状况t2和状况t3的时刻，存在于现实空间的柱c存在于检测部14的检测区域f内。在状况t4的时刻，存在于现实空间的柱c存在于检测部14的检测区域f外。
151.图9b是表示图像处理装置10针对状况t1～状况t4的每个时刻输出的合成图像54的一个例子的示意图。合成图像54t1～合成图像54t4分别是与状况t1～状况t4的各个时刻对应的合成图像54的一个例子。
152.图9c是表示基于图像处理装置10的图像处理的时间图的一个例子的示意图。
153.在图9c中，“dr”意味着环境地图信息26a的读取处理。“sm”意味着基于检测点登记部22的扫描匹配。“mw”意味着基于检测点登记部22的位置信息向环境地图信息26a的登记处理。“po”意味着基于自身位置推定部24的移动体2的自身位置信息的推定处理。“pw”意味着基于自身位置推定部24的自身位置信息向环境地图信息26a的登记。“dw”意味着基于修正部28的环境地图信息26a的位置信息的更新处理。
154.另外，在图9c中，“检测点登记处理”是基于检测点登记部22的检测点p的位置信息向环境地图信息26a的登记处理。“自身位置推定处理”是基于自身位置推定部24的移动体2的自身位置信息的推定处理以及向环境地图信息26a的登记处理。“修正处理”是基于修正部28的位置信息的修正处理。“显示控制处理”是包含基于获取部20的拍摄图像50的获取、基于决定部30的投影形状41的决定(投影形状决定)、基于变形部32的基准投影面40的变形(投影形状转换)、基于投影转换部36的虚拟视点图像的生成(投影转换)、基于图像合成部38的合成图像54的生成(合成图像生成)、基于图像合成部38的合成图像54的显示控制的处理。
155.此外，图9c所示的状况t5是状况t4之后的时刻的状况，假定存在于现实空间的柱c存在于检测部14的检测区域外的状况。
156.如图9c所示，针对状况t1～状况t5的各个时刻，执行使用了各个状况的拍摄图像50(拍摄图像50t1～拍摄图像50t4)和检测点p的位置信息的处理。因此，在环境地图信息26a中依次追加登记在各时刻检测出的多个检测点p的各个的位置信息。另外，在环境地图信息26a中依次登记推定出的自身位置信息。
157.而且，图像处理装置10针对状况t1～状况t5的各个时刻，使用登记在环境地图信息26a中的检测点p的位置信息以及自身位置s的自身位置信息，执行上述显示控制处理。
158.即，在环境地图信息26a中，依次储存一次检测出的检测点p的位置信息。而且，图像处理装置10使用环境地图信息26a将基准投影面40变形，来执行上述显示控制处理。
159.因此，如图9a和图9b所示，在存在于现实空间的柱c存在于检测部14的检测区域f内的状况t2和状况t3的情况下，图像处理装置10输出合成图像54t2和合成图像54t3的各个图像。在合成图像54t2和合成图像54t3中包含拍摄有柱c的像c’。并且，即使在移至存在于现实空间的柱c存在于检测部14的检测区域f外的状况t4的情况下，图像处理装置10也能够基于柱c的位置信息输出将投影面的形状变形后的合成图像54t4。这是因为，本实施方式的图像处理装置10使用变形投影面42来生成合成图像54，该变形投影面42是使用储存有移动体2的周边的检测点p的位置信息而变形的投影面。
160.如以上说明那样，本实施方式的图像处理装置10的变形部32使用储存了移动体2的周边的多个检测点p的位置信息和移动体2的自身位置信息，将移动体2的周边图像的投影面即预先决定的形状的基准投影面40变形。
161.有时由于移动体2的移动等，移动体2的周边的物体的一部分位于检测点p的检测区域f外。但是，本实施方式的图像处理装置10使用储存了移动体2的周边的检测点p的位置信息，将基准投影面40变形。因此，图像处理装置10能够根据移动体2的周边的物体使基准投影面40变形。
162.另一方面，在现有技术中，有时难以根据物体将投影面(基准投影面40)变形。
163.图10a、图10b、图11a以及图11b是现有的投影面的变形处理的一个例子的说明图。图10a和图10b是使移动体2在箭头b方向上行进时的检测部14的检测区域f与周围的物体的位置关系的一个例子的示意图。在图10a和图10b中，作为周围的物体，将柱c作为一个例子示出。
164.例如，在图10a所示的位置关系的情况下，在检测部14的检测区域f内存在柱c。该情况下，在现有技术中，根据该检测区域f的检测结果使基准投影面40变形，从而例如输出图11a所示的合成图像530a。合成图像530a是现有的合成图像530的一个例子。在合成图像530a中包含拍摄有柱c的像c’。
165.但是，如图10b所示，由于移动体2向箭头b方向行进，有时柱c成为检测部14的检测区域f外。该情况下，在检测区域f内不存在柱c，因此在现有技术中，无法进行与柱c相应的基准投影面40的变形。因此，在现有技术中，例如，输出了图11b所示的合成图像530b。合成图像530b是现有的合成图像530的一个例子。在合成图像530b中不包含拍摄有柱c的像c’。另外，基准投影面40不根据柱c而变形，因此合成图像530b中的相当于柱c的区域ca’成为形变的图像。
166.这样，在现有技术中，有时难以根据与实际物体的距离将投影面(基准投影面40)变形。
167.另一方面，本实施方式的图像处理装置10使用储存了移动体2的周边的检测点p的位置信息和移动体2的自身位置信息，将基准投影面40变形。
168.图12a、图12b、图13a以及图13b是基于本实施方式的图像处理装置10的基准投影面40的变形的说明图。图12a和图12b是表示环境地图信息26a的一个例子的示意图。图12a是表示图10a的位置关系时的环境地图信息26a的一个例子的示意图。图12b是表示图10b的位置关系时的环境地图信息26a的一个例子的示意图。
169.例如，在图10a所示的位置关系的情况下，在检测部14的检测区域f内存在柱c。另外，在环境地图信息26a中追加登记有新检测出的检测点p的位置信息。因此，在图10a所示的位置关系时，成为在环境地图信息26a中登记了柱c的多个检测点p的状态(参照图12a)。
170.而且，本实施方式的图像处理装置10使用储存了检测点p的位置信息的环境地图信息26a使基准投影面40变形。因此，本实施方式的图像处理装置10在图10a所示的位置关系时，例如输出图13a所示的合成图像54a。合成图像54a是本实施方式的合成图像54的一个例子。在合成图像54a中包含拍摄有柱c的像c’。
171.另外，假定由于移动体2向箭头b方向行进而柱c成为检测区域f外的情况(参照图10b)。在环境地图信息26a中，在已经登记了已检测的检测点p的位置信息的状态下，追加登记新检测出的检测点p的位置信息。因此，在图10b所示的位置关系时，成为在环境地图信息26a中还登记了位于检测区域f外的柱c的检测点p的状态(参照图12b)。
172.而且，本实施方式的图像处理装置10使用储存了检测点p的位置信息的环境地图信息26a使基准投影面40变形。即，在图像处理装置10中，即使在柱c成为检测区域f外的情况下，也能够使用储存的检测点p的位置信息和推定出的自身位置s的自身位置信息，来计算移动体2与检测点p的位置关系(距离信息)。另外，在图像处理装置10中，即使在柱c成为检测区域f外的情况下，也能够使用新检测出的其它物体的检测点p(例如，壁d等的检测点p)，来推定移动体2的自身位置信息。而且，图像处理装置10通过使用计算出的距离信息以及自身位置信息，能够使基准投影面40变形，以适当地显示成为检测区域f外的柱c。
173.因此，本实施方式的图像处理装置10在图10b所示的位置关系时，例如输出图13b所示的合成图像54b。合成图像54b是本实施方式的合成图像54的一个例子。在合成图像54b中包含拍摄有柱c的像c’。另外，基准投影面40根据柱c而变形，因此与现有技术(参照图11b)相比，抑制合成图像54b中的相当于柱c的区域所包含的形变。
174.因此，本实施方式的图像处理装置10能够根据物体使投影面即基准投影面40变形。
175.另外，本实施方式的图像处理装置10即使在物体存在于检测区域f外的情况下，也能够根据物体使基准投影面40变形。
176.另外，如上所述，在本实施方式的图像处理装置10中，检测点登记部22将从检测部14获取到的检测点p的位置信息中未登记在环境地图信息26a中的检测点p的位置信息追加登记到环境地图信息26a中。另外，决定部30的绝对距离换算部30a将环境地图信息26a所包含的多个检测点p的各个的位置信息换算为距移动体2的当前位置的绝对距离的距离信息。通过该处理，绝对距离换算部30a计算作为检测点p的各个的绝对距离的距离信息。
177.因此，抑制根据移动体2的移动而过去的自身位置s的到检测点p的距离信息和当前的自身位置s的到该检测点p的距离信息成为不一致。因此，本实施方式的图像处理装置10使用绝对距离换算部30a计算出的距离信息使基准投影面40变形，从而能够根据物体使基准投影面40变形。
178.另外，如上所述，决定部30能够将以成为通过最接近移动体2的检测点p的曲面形状的方式使基准投影面40变形后的形状决定为投影形状41。换言之，决定部30使基准投影面40中的包含将该检测点p投影到沿着xy平面的方向上的点的特定区域突出到通过该检测点p的位置。而且，决定部30能够设为使基准投影面40变形后的形状，使得从突出的特定区域朝向侧壁面40b中的该特定区域以外的区域，距自身位置s的距离连续地变远。
179.在设为仅使该特定区域相对于基准投影面40的侧壁面40b突出的形状的投影形状41的情况下，有时生成该特定区域和该特定区域以外的区域的边界不自然地非连续的合成图像54。因此，决定部30将以成为通过该检测点p的曲面形状的方式使基准投影面40变形的形状决定为投影形状41，从而能够提供自然的合成图像54。
180.另外，如上所述，本实施方式的图像处理装置10的虚拟视点视线决定部34能够将移动体2的自身位置s决定为虚拟视点o，将通过最接近移动体2的自身位置s的检测点p且与变形投影面42垂直的方向决定为视线方向l。而且，投影转换部36将投影图像51转换为从该虚拟视点o在视线方向l上视觉辨认的图像即虚拟视点图像。
181.此处，假定将视线方向l的下游侧端部固定在离移动体2的自身位置s最近的检测点p，使视线方向l相对于变形投影面42的角度可变的情况。该情况下，有时在合成图像54中的、相当于变形投影面42的立起线44(参照图5b)的区域产生形变。
182.图14a～图14c是视线方向l的决定的一个例子的说明图。
183.图14a是表示从虚拟视点o朝向最接近移动体2的检测点p的方向即视线方向l与变形投影面42为垂直关系的情况下的合成图像54e的一个例子的示意图。合成图像54e是合成图像54的一个例子。在合成图像54e中包含拍摄有存在于现实空间的直线的线45。该情况下，如图14a所示，在合成图像54e中的、相当于变形投影面42的立起线44(也参照图5b)的区域不包含形变。因此，合成图像54e中的、拍摄有存在于现实空间的直线的线45与存在于现实空间的该直线同样地成为直线状的线。
184.图14b是表示由于移动体2的移动等，视线方向l与变形投影面42成为小于90
°
(例如45
°
以下)的角度的情况下的视线方向l与变形投影面42的关系的一个例子的示意图。图14c是表示将虚拟视点o和视线方向l设为图14b的位置关系的情况下的合成图像54f的一个例子的示意图。合成图像54f是合成图像54的一个例子。该情况下，合成图像54f中的、拍摄有存在于现实空间的直线的线45成为以相当于变形投影面42的立起线44的区域为边界而形变的线。
185.因此，优选本实施方式的虚拟视点视线决定部34将移动体2的自身位置s决定为虚拟视点o，将通过最接近移动体2的自身位置s的检测点p且与变形投影面42垂直的方向决定为视线方向l。而且，优选投影转换部36将投影图像51转换为从该虚拟视点o在视线方向l上视觉辨认的图像即虚拟视点图像。
186.该情况下，即使在移动体2移动的情况下，视线方向l也被维持为成为与变形投影面42垂直的方向(参照图5b)。因此，如图14a所示，合成图像54e成为在相当于变形投影面42
的立起线44的区域不包含形变的图像。因此，合成图像54e中的、拍摄有存在于现实空间的直线的线45与存在于现实空间的该直线同样地成为直线状的线。
187.因此，本实施方式的图像处理装置10除了上述效果之外，还能够实现合成图像54的精度提高。
188.此处，有时在移动体2的周边的相互不同的方向上分别包含柱c等物体。在这样的状态的情况下，若将从虚拟视点o朝向最近的一个检测点p的方向设为视线方向l，则有时成为不包含存在于现实空间的这些物体中的至少一个的合成图像54。
189.图15a是表示拍摄图像50h的一个例子的图。拍摄图像50h是拍摄图像50的一个例子。假定在拍摄图像50h中包含多个物体c1和物体c2的情况。
190.该情况下，若将朝向存在于离移动体2最近的位置的检测点p的方向设为视线方向l，则有时输出图15b所示的合成图像54h。图15b是表示合成图像54h的一个例子的示意图。合成图像54h是合成图像54的一个例子。
191.如图15b所示，成为在合成图像54中包含拍摄有物体c2的像c2’但不包含拍摄有物体c1的像c1’的状态。
192.因此，决定部30能够将变形为成为沿着按照接近移动体2的自身位置s的顺序预先决定的数量的多个检测点p的渐近曲线q的形状的形状决定为投影形状41。而且，虚拟视点视线决定部34能够将移动体2的自身位置s设为虚拟视点o，将从该虚拟视点o朝向渐近曲线q的顶点w的位置的方向决定为视线方向l。
193.通过将视线方向l设为朝向顶点w的位置的方向，如图6所示，投影图像51以及合成图像54成为拍摄有多个物体的像c1’以及像c2’的图像。因此，本实施方式的图像处理装置10除了上述效果之外，还能够实现合成图像54的精度提高。
194.另外，如上所述，在本实施方式中，基于检测点登记部22的扫描匹配的结果，在已登记在环境地图信息26a中的检测点p和新获取到的检测点p不一致规定比例以上的情况下，能够废弃该新获取到的检测点p的位置信息。因此，本实施方式的图像处理装置10除了上述效果之外，还能够提高环境地图信息26a的可靠性。另外，图像处理装置10能够抑制变形投影面42在时间方向上的摇摆，能够实现合成图像54的稳定化。
195.(第二实施方式)
196.在上述第一实施方式中，将在检测部14检测出检测点p的位置信息的方式作为一个例子进行了说明。在本实施方式中，对从基于拍摄部12的拍摄图像50获取检测点p的位置信息的方式进行说明。
197.图16是表示本实施方式的图像处理装置11的功能构成的一个例子的图。图像处理装置11与第一实施方式的图像处理装置10同样地以能够收发数据或者信号的方式与拍摄部12以及显示部16连接。拍摄部12以及显示部16与第一实施方式同样。此外，在本实施方式中，假定拍摄部12是单眼相机的情况进行说明。
198.在图16中，为了明确数据的输入输出关系，除了图像处理装置11之外，还一并图示了拍摄部12以及显示部16。
199.图像处理装置11具备：获取部21、选择部23、匹配部25、自身位置推定部27、检测点登记部29、存储部26、修正部28、决定部30、变形部32、虚拟视点视线决定部34、投影转换部36以及图像合成部38。
200.上述多个各部的一部分或者全部例如也可以通过使cpu10a等处理装置执行程序、即软件来实现。另外，上述多个各部的一部分或者全部也可以通过ic等硬件来实现，也可以并用软件和硬件来实现。
201.存储部26、修正部28、决定部30、变形部32、虚拟视点视线决定部34、投影转换部36以及图像合成部38与第一实施方式同样。存储部26存储环境地图信息26a。环境地图信息26a与第一实施方式同样。
202.获取部21从拍摄部12获取拍摄图像50。获取部21从各个拍摄部12(拍摄部12a～拍摄部12d)获取拍摄图像50。
203.获取部21每当获取拍摄图像50时，将获取到的拍摄图像50输出到投影转换部36和选择部23。
204.选择部23选择检测点p的检测区域。在本实施方式中，选择部23通过选择多个拍摄部12(拍摄部12a～拍摄部12d)中的任一拍摄部12，来选择检测区域。
205.在本实施方式中，选择部23使用从ecu3接收到的can数据所包含的车辆状态信息、检测方向信息、或者由用户的操作指示输入的指示信息，来选择任一个拍摄部12。
206.车辆状态信息例如是表示移动体2的行进方向、移动体2的方向指示的状态、移动体2的齿轮的状态等的信息。车辆状态信息能够从can数据导出。检测方向信息是表示检测应关注的信息的方向的信息，能够由poi(point of interest：兴趣点)技术导出。指示信息是表示应关注的方向的信息，由用户的操作指示输入。
207.例如，选择部23使用车辆状态信息，来选择检测区域的方向。具体而言，选择部23使用车辆状态信息，来确定表示移动体2的后方停车的后方停车信息、表示侧方停车的侧方停车信息等停车信息。选择部23将停车信息和任一个拍摄部12的识别信息建立对应地预先存储。例如，选择部23将拍摄移动体2的后方的拍摄部12d(参照图1)的识别信息与后方停车信息建立对应地预先存储。另外，选择部23将拍摄移动体2的左右方向的拍摄部12b及拍摄部12c(参照图1)的各个拍摄部的识别信息与侧方停车信息建立对应地预先存储。
208.而且，选择部23通过选择与从接受到的车辆状态信息导出的停车信息对应的拍摄部12，来选择检测区域的方向。
209.另外，选择部23也可以选择将由检测方向信息表示的方向作为拍摄区域e的拍摄部12。另外，选择部23也可以选择将由利用poi技术导出的检测方向信息表示的方向作为拍摄区域e的拍摄部12。
210.选择部23将在获取部21中获取到的拍摄图像50中、由所选择的拍摄部12拍摄的拍摄图像50输出到匹配部25。
211.匹配部25针对拍摄时刻不同的多个拍摄图像50，进行特征量的提取处理和各图像间的匹配处理。详细而言，匹配部25根据这些多个拍摄图像50进行特征量提取处理。而且，针对拍摄时刻不同的多个拍摄图像50，在各图像之间使用特征量，进行确定该多个拍摄图像50间的对应的点的匹配处理。而且，匹配部25将该匹配处理结果输出到自身位置推定部27。另外，匹配部25将所确定的多个拍摄图像50间的对应的点的信息登记在环境地图信息26a中。
212.自身位置推定部27使用从匹配部25获取到的匹配处理结果所包含的、被确定为对应的点的信息，利用三角测量，推定移动体2的自身位置信息。在自身位置信息中例如包含
与不同的拍摄时刻的每个时刻对应的移动体2的位置、拍摄部12的朝向等信息。
213.而且，自身位置推定部27将计算出的自身位置信息登记到环境地图信息26a中。
214.检测点登记部29使用由自身位置推定部27推定出的、与不同的拍摄时刻的每个时刻对应的移动体2的自身位置信息，求出移动体2的移动量(平移量以及旋转量)。而且，根据该移动量，求出由匹配部25确定的多个拍摄图像50间的对应的点相对于移动体2的自身位置的相对的坐标。而且，检测点登记部29将该坐标作为检测点p的坐标，并登记到环境地图信息26a中。此外，登记在环境地图信息26a中的检测点p的坐标也可以是被转换为以规定位置为原点的坐标后的坐标。
215.这样，在本实施方式中，图像处理装置11通过visual slam(simultaneous localization and mapping)，根据由拍摄部12拍摄的拍摄图像50来同时推定检测点p的位置信息和移动体2的自身位置信息。
216.此外，对基于决定部30的投影形状41的决定时刻不做限定。例如，在本实施方式中，决定部30也可以使用在由于移动体2的移动而由选择部23选择的检测区域所包含的被拍摄体的大小进一步变大的时刻获得的拍摄图像50，来决定投影形状41。
217.接下来，对图像处理装置11所执行的图像处理的流程的一个例子进行说明。
218.图17是表示图像处理装置11所执行的图像处理的流程的一个例子的流程图。
219.获取部21从拍摄部12获取拍摄图像50(步骤s200)。
220.选择部23选择多个拍摄部12(拍摄部12a～拍摄部12d)中的任一拍摄部12(步骤s202)。
221.匹配部25使用在步骤s200中获取到的拍摄图像50中、由在步骤s202中选择的拍摄部12拍摄的拍摄时刻不同的多个拍摄图像50，进行特征量的提取和匹配处理(步骤s204)。另外，匹配部25将由匹配处理确定的、拍摄时刻不同的多个拍摄图像50间的对应的点的信息登记到环境地图信息26a中。
222.自身位置推定部27读取环境地图信息26a(步骤s206)，并使用登记在该环境地图信息26a中的、被确定为对应的点的信息，利用三角测量，推定与不同的拍摄时刻的每个时刻对应的移动体2的自身位置信息(步骤s208)。
223.然后，自身位置推定部27将计算出的自身位置信息登记到环境地图信息26a中(步骤s210)。
224.检测点登记部29读取环境地图信息26a(步骤s212)，并使用与不同的拍摄时刻的每个时刻对应的移动体2的自身位置信息，求出移动体2的移动量(平移量以及旋转量)。而且，根据该移动量，求出由步骤s204的匹配处理确定的、拍摄时刻不同的多个拍摄图像50间的对应的点相对于移动体2的自身位置的相对的坐标。然后，检测点登记部29将该坐标作为检测点p的坐标，并登记到环境地图信息26a中(步骤s214)。此外，登记在环境地图信息26a中的检测点p的坐标也可以是被转换为以规定位置为原点的坐标后的坐标。
225.而且，图像处理装置11与第一实施方式的步骤s112～步骤s138同样地执行步骤s216～步骤s242的处理，结束本例程。此外，在执行了步骤s216的修正处理之后从步骤s242返回到步骤s200的情况下，也可以有时省略之后的步骤s216的修正处理。另外，在不执行步骤s216的修正处理而从步骤s242返回到步骤s200的情况下，也可以有时执行之后的步骤s216的修正处理。
226.图18是表示基于图像处理装置11的图像处理的时间图的一个例子的示意图。
227.在图18中，“ci”意味着拍摄图像的获取。“ri”意味着由用户的操作指示输入的指示信息的获取。“rc”意味着基于获取部21的can数据的获取。“sc”意味着基于选择部23的拍摄部12的选择处理。“fm”意味着基于匹配部25的特征量的提取处理以及匹配处理。“rd”意味着环境地图信息26a的读取处理。“po”意味着基于自身位置推定部27的自身位置信息的推定处理。“wp”意味着基于自身位置推定部27的自身位置信息向环境地图信息26a的登记。“cm”意味着环境地图信息26a的制成处理。“wm”意味着向环境地图信息26a的写入处理。“wd”意味着检测点p的位置信息和自身位置信息向环境地图信息26a的写入处理。
228.另外，在图18中，“rs”意味着基于绝对距离换算部30a的、can数据所包含的移动体2的速度数据的读取处理。“ad”意味着基于绝对距离换算部30a的、检测点p的各个的绝对距离即距离信息的计算处理。“2d”意味着基于提取部30b的、存在于特定的范围内的检测点p的提取处理。“dd”意味着基于最附近确定部30c的最接近移动体2的检测点p、或者按接近移动体2的顺序多个检测点p的确定处理。此外，“dd”也可以意味着针对从移动体2的自身位置s观察的每个角度范围确定最近的检测点p的处理、或者按接近移动体2的顺序确定多个检测点p的处理。“cb”意味着基于基准投影面形状选择部30d的、基准投影面40的形状的选择处理。“cs”意味着基于标度决定部30e的、基准投影面40的标度决定处理。“cc”意味着基于渐近曲线计算部30f的渐近曲线q的计算处理。“ds”意味着基于形状决定部30g的、投影形状41的决定处理。“vp”意味着基于虚拟视点视线决定部34的、虚拟视点视线信息的决定处理。
229.另外，图18“检测点登记处理”是基于检测点登记部29的检测点p的位置信息向环境地图信息26a的登记处理。“自身位置推定处理”是基于自身位置推定部27的移动体2的自身位置信息的推定处理以及向环境地图信息26a的登记处理。“修正处理”是基于修正部28的检测点p的位置信息或者移动体2的自身位置信息的修正处理。“显示控制处理”是包含基于获取部20的拍摄图像50的获取、基于决定部30的投影形状41的决定(投影形状决定)、基于变形部32的基准投影面40的变形(投影形状转换)、基于投影转换部36的虚拟视点图像的生成(投影转换)、基于图像合成部38的合成图像54的生成(合成图像生成)、基于图像合成部38的合成图像54的显示控制的处理。另外，图18所示的状况t1～状况t4与上述第一实施方式同样。
230.如图18所示，针对状况t1～状况t4的各个时刻，执行使用了各个状况的拍摄图像50的处理。因此，在环境地图信息26a中依次追加登记在各时刻检测出的多个检测点p的各个的位置信息。另外，在环境地图信息26a中依次登记所推定出的自身位置信息。
231.而且，图像处理装置10针对状况t1～状况t4的各个时刻，使用登记在环境地图信息26a中的检测点p的位置信息以及自身位置s的自身位置信息，执行上述显示控制处理。
232.即，本实施方式的图像处理装置11通过visual slam，根据由拍摄部12拍摄的拍摄图像50，来同时推定检测点p的位置信息和移动体2的自身位置信息，并登记到环境地图信息26a。
233.此处，在现有技术中，有时难以根据与实际物体的距离使投影面(基准投影面40)变形。
234.具体而言，如使用图10b和图11b进行说明那样，在现有技术中，基准投影面40不根据检测区域f外的柱c而变形，因此现有的合成图像530b中的相当于柱c的区域ca’成为形变
的图像。
235.另一方面，在第二实施方式的图像处理装置11中，由拍摄部12拍摄的过去的物体的检测点p的位置信息也储存于环境地图信息26a。因此，在图像处理装置11中，即使在物体未照进由拍摄部12拍摄的当前的图像中的情况下，也能够基于过去的物体的检测点p的位置信息来提供将投影面的形状变形后的合成图像54。
236.图19是表示图像处理装置11输出的合成图像54h的一个例子的图像。合成图像54h是合成图像54的一个例子。如图19所示，图像处理装置11能够根据与实际物体的距离使投影面(基准投影面40)变形而输出合成图像54h。
237.因此，本实施方式的图像处理装置11即使不使用检测部14，也能够通过使用拍摄部12来提供合成图像54。此外，图像处理装置11除了拍摄部12之外，还可以使用检测部14来提供合成图像54。
238.此外，本实施方式的图像处理装置11能够特别适合应用于移动体2的停车时等规定速度以下的低速行驶时。
239.以上，对实施方式进行了说明，但本技术公开的图像处理装置、图像处理方法以及图像处理程序并不限定于上述的实施方式本身，在实施阶段能够在不脱离其主旨的范围内对构成要素进行变形而具体化。另外，能够根据上述的实施方式所公开的多个构成要素的适当的组合，形成各种发明。例如，也可以从实施方式所示的全部构成要素中删除几个构成要素。
240.此外，上述第一实施方式和第二实施方式的图像处理装置10和图像处理装置11能够应用于各种装置。例如，上述第一实施方式和第二实施方式的图像处理装置10和图像处理装置11能够应用于处理从监视相机得到的影像的监视相机系统、或者处理车外的周边环境的图像的车载系统等。
241.附图标记说明
242.10、11
…
图像处理装置；12
…
拍摄部；14
…
检测部；22、29
…
检测点登记部；24、27
…
自身位置推定部；26a
…
环境地图信息；28
…
修正部；30
…
决定部；32
…
变形部；34
…
虚拟视点视线决定部；36
…
投影转换部；38
…
图像合成部。