地图生成装置以及地图生成方法与流程

1.本发明涉及根据图像生成地图的地图生成装置以及地图生成方法。


背景技术：

2.已知根据从上空拍摄道路而得到的卫星照片生成高精度地图的地图生成装置。高精度地图被用于车辆的自动驾驶控制。
3.在专利文献1中记载有如下的地图数据处理装置：根据从上空拍摄的图像数据抽出地表面的道路网络数据，使道路网络数据重叠到数字道路地图而生成数字地图数据。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开平11-184375号公报


技术实现要素：

7.在从上空拍摄的道路的图像中，有时在拍摄位置与道路之间存在建造物、路边树木等障碍物。在这样的状况下拍摄的图像中，道路被障碍物覆盖。无法从道路存在隐藏区域(遮挡)的图像中适当地识别道路上的白线、特征物，其结果是无法适当地生成地图。
8.本发明的目的在于提供一种能够使用从上空拍摄的图像适当地生成地图的地图生成装置。
9.本发明的地图生成装置具备：第1识别部，从由上空朝下方拍摄预定的位置的道路而得到的第1图像中识别道路上的行车道划分线及行车道划分线以外的特征物；第2识别部，从第2图像中识别行车道划分线及行车道划分线以外的特征物，所述第2图像是根据由设置于车辆的摄像部拍摄车辆的周围而生成的多个图像制作、并表示出预定的位置的道路的图像；对位部，根据预定的位置，使第1图像和第2图像对位；第1变形部，以使第1图像及第2图像中的行车道划分线以外的特征物最大程度重叠的方式使第2图像变形；第2变形部，以不变更行车道划分线以外的特征物的位置、并且使第1图像中的行车道划分线的位置和第2图像中的行车道划分线的位置对齐的方式，使由第1变形部变形后的第2图像在与行车道划分线正交的方向上进一步变形；以及合成部，将第1图像和由第2变形部进一步变形后的第2图像进行合成。
10.在本发明的地图生成装置中，第1识别部判定在第1图像中示出的道路是否有被其他物体覆盖的隐藏区域，合成部不将判定为无隐藏区域的第1图像与第2图像进行合成。
11.在本发明的地图生成装置中，第1变形部通过仿射变换使第2图像变形，第2变形部使由第1变形部变形后的第2图像进行样条变形。
12.本发明提供一种地图生成方法，包括从由上空朝下方拍摄预定的位置的道路而得到的第1图像中识别行车道划分线以及行车道划分线以外的特征物；从第2图像中识别行车道划分线以及行车道划分线以外的特征物，所述第2图像是根据由设置于车辆的摄像部拍摄的多个图像制作、并表示出预定的位置的道路的图像；根据预定的位置，使第1图像和第2
图像对位；以使行车道划分线以外的特征物最大程度重叠的方式，使第2图像变形；以不变更行车道划分线以外的特征物的位置、并且使第1图像中的行车道划分线的位置和第2图像中的行车道划分线的位置对齐的方式，使变形后的第2图像在与行车道划分线正交的方向上进一步变形；将第1图像和进一步变形后的第2图像进行合成。
13.根据本发明的地图生成装置，能够使用从上空拍摄的图像适当地生成地图。
附图说明
14.图1是说明地图生成装置的动作的概略的图。
15.图2是地图生成装置的硬件结构图。
16.图3是地图生成装置具有的处理器的功能框图。
17.图4的(a)是示出第1图像的例子的图，(b)是示出第2图像的例子的图。
18.图5的(a)是示出与第1图像对位的第2图像的例子的图，(b)是说明利用第1变形部实施的第2图像的变形的图。
19.图6的(a)是示出由第1变形部变形后的第2图像的图，(b)是说明利用第2变形部实施的第2图像的变形的图。
20.图7是地图生成处理的流程图。
21.(符号说明)
22.1：地图生成装置；141：第1识别部；142：第2识别部；143：对位部；144：第1变形部；145：第2变形部；146：合成部。
具体实施方式
23.以下，参照附图，详细说明地图生成装置。地图生成装置根据第1图像以及第2图像而生成地图，该第1图像是从上空朝下方拍摄道路而得到的图像，该第2图像是根据由设置于车辆的摄像部拍摄的图像制作的图像。地图生成装置首先从拍摄预定的位置的道路而得到的第1图像中识别道路上的行车道划分线以及行车道划分线以外的特征物。另外，地图生成装置从示出预定的位置的道路的第2图像中识别行车道划分线以及行车道划分线以外的特征物。接下来，地图生成装置根据预定的位置使第1图像和第2图像对位。然后，地图生成装置以第1图像以及第2图像中的行车道划分线以外的特征物最大程度重叠的方式使第2图像变形。地图生成装置以不变更行车道划分线以外的特征物的位置，并且使第1图像中的行车道划分线的位置和第2图像中的行车道划分线的位置对齐的方式，使第2图像在与道路的前后方向正交的方向进一步变形。然后，地图生成装置将第1图像和变形后的第2图像进行合成。
24.图1是用于说明地图生成装置的动作的概略的图。
25.人造卫星3从上空朝下方拍摄包括道路r1与道路r2交叉的地点附近的位置l1的第1图像p1。另外，在道路r1上行驶的车辆2的车室内前方，以朝向车辆2的前方的方式设置有照相机。照相机是摄像部的一个例子，具有由ccd或者c-mos等对可见光具有灵敏度的光电变换元件的阵列构成的二维检测器、和对该二维检测器上的作为拍摄对象的区域的图像进行成像的成像光学系统。照相机针对每预定的拍摄周期(例如1/30秒～1/10秒)拍摄车辆2的前方区域，生成拍摄有其前方区域的部分图像pp1-ppn。通过以共同的部分重叠的方式将
各个部分图像pp1-ppn接合起来，制作第2图像p2。地图生成装置1使用第1图像p1以及第2图像p2执行地图生成处理，生成地图m。
26.图2是地图生成装置1的硬件结构图。地图生成装置1具有通信接口11、存储设备装置12、存储器13以及处理器14。
27.通信接口11是通信部的一个例子，具有用于将地图生成装置1连接到通信网络的接口电路。通信接口11构成为能够经由通信网络与其他设备进行通信。即，通信接口11将经由通信网络从其他设备接收到的数据等送到处理器14。另外，通信接口11将从处理器14收到的数据等经由通信网络发送给其他设备。
28.存储设备装置12是存储部的一个例子，具有例如硬盘装置或者非易失性的半导体存储器装置等存储装置。存储设备装置12存储从上空朝下方拍摄道路而得到的第1图像、根据由设置于车辆的摄像部拍摄的图像制作的第2图像、以及根据第1图像及第2图像生成的地图。经由通信接口11从其他设备接收第1图像以及第2图像。
29.存储器13具有易失性的半导体存储器以及非易失性的半导体存储器。存储器13临时存储处理器14执行处理所使用的各种数据，例如经由通信接口11接收到的数据等。另外，存储器13存储各种应用程序，例如根据第1图像以及第2图像生成地图的地图生成程序等。
30.处理器14具有1个或者多个cpu(central processing unit，中央处理单元)及其周边电路。处理器14也可以还具有逻辑运算单元或者数值运算单元这样的其他运算电路。
31.图3是地图生成装置1具有的处理器14的功能框图。
32.在地图生成装置1的处理器14中，作为功能块，具有第1识别部141、第2识别部142、对位部143、第1变形部144、第2变形部145以及合成部146。处理器14具有的这些各部是通过在处理器14上执行的程序安装的功能模块。或者，处理器14具有的这些各部也可以作为独立的集成电路、微型处理器、或者固件安装于地图生成装置1。
33.第1识别部141从存储设备装置12读出预先取得并存储到存储设备装置12的、从上空朝下方拍摄预定的位置的道路而得到的第1图像。而且，第1识别部141通过将第1图像输入到识别器，从而从第1图像中识别行车道划分线以及行车道划分线以外的特征物，该识别器是以识别道路上的行车道划分线以及行车道划分线以外的特征物的方式预先学习的识别器。
34.识别器例如能够为具有从输入侧朝向输出侧串联连接的多个层的卷积神经网络(cnn)。通过预先将包括检测对象的行车道划分线以及行车道划分线以外的特征物的图像用作训练数据输入到cnn进行学习，cnn作为识别检测对象的行车道划分线以及行车道划分线以外的特征物的识别器进行动作。
35.第1识别部141也可以判定第1图像中示出的道路是否有被其他物体覆盖的隐藏区域(遮挡)。第1识别部141在不连续地检测到例如道路的行车道划分线的情况下，判定为该道路有遮挡。第1识别部141将包括有遮挡的道路的第1图像作为以后的处理的对象，对于不包括有遮挡的道路的第1图像不进行以后的处理而结束处理。
36.第1图像是由搭载于人造卫星的照相机拍摄的卫星照片。第1图像也可以是由搭载于飞机的照相机拍摄的航空照片。
37.通过与具有位置信息的地图数据对位，对第1图像中的各像素赋予位置信息。
38.第2识别部142从存储设备装置12读出第2图像，该第2图像是预先取得并存储到存
储设备装置12的、根据由设置于车辆2的摄像部拍摄的多个图像制作并表示出预定的位置的道路的图像。然后，第2识别部142将第2图像输入到识别器，从而从第2图像中识别行车道划分线以及行车道划分线以外的特征物，该识别器是以识别道路上的行车道划分线以及行车道划分线以外的特征物的方式预先学习的识别器。识别器可以是cnn。
39.第2图像是通过将利用照相机针对每预定的拍摄周期拍摄到的部分图像以共同的部分重叠的方式接合起来而制作的，该照相机为设置于车辆2的摄像部的一个例子。根据由设置于车辆2的gnss(global navigation satellite system，全球导航卫星系统)接收机取得的、拍摄各部分图像时的位置信息，对第2图像中的各像素赋予位置信息。
40.图4的(a)是示出第1图像的例子的图，图4的(b)是示出第2图像的例子的图。
41.在图4的(a)所示的第1图像p1中，包括通过预定的位置l1的道路r1、和在道路r1的上方与道路r1立体交叉的道路r2。通过第1识别部141从第1图像p1中识别出外侧线sl11、sl12a、sl12b以及中央线cl11a、cl11b、cl12作为行车道划分线。另外，通过第1识别部141从第1图像p1中识别出停止线hl11、hl12以及人行横道px1作为行车道划分线以外的特征物。关于第1图像p1的道路r1，外侧线sl12a、sl12b以及中央线cl11a、cl11b变得不连续，具有被道路r2覆盖的隐藏区域o1。此外，在图4的(a)中，为了与其他区域相区分，对隐藏区域o1附加斜线而示出，但在实际的第1图像p1中，隐藏区域o1具有与道路r2的其他区域同样的外观。
42.在图4的(b)所示的第2图像p2中，包括通过预定的位置l1的道路r1。通过第2识别部142从第2图像p2中识别出外侧线sl21、sl22以及中央线cl21、cl22作为行车道划分线。另外，通过第2识别部142从第2图像p2中识别出停止线hl21、hl22以及人行横道px2作为行车道划分线以外的特征物。
43.对位部143以第1图像中的预定的位置和第2图像中的预定的位置一致的方式配置第1图像以及第2图像，从而根据预定的位置使第1图像和第2图像对位。
44.第1变形部144以第1图像以及第2图像中的行车道划分线以外的特征物最大程度重叠的方式使第2图像变形，并临时保存到存储器13。第1变形部144例如以使用于使第1图像以及第2图像对位的预定的位置和在第1图像以及第2图像中分别识别的行车道划分线以外的特征物的位置一致的方式，决定1次多项式的系数。然后，第1变形部144通过使用所决定的1次多项式对第2图像的各像素进行仿射变换，使第2图像变形。利用仿射变换的变形包括放大缩小、剪断、旋转以及平行移动。
45.图5的(a)是示出与第1图像p1对位了的第2图像p2的例子的图，图5的(b)是说明利用第1变形部144执行的第2图像p2的变形的图。在图5的(a)以及图5的(b)中，以能够明确掌握第1图像p1和第2图像p2的关系的方式，将第2图像p2连同被对位的第1图像p1一并示出。
46.在图5的(a)中，第2图像p2以使预定的位置l1与第1图像p1中的预定的位置l1一致的方式配置。此时，作为第2图像p2中的行车道划分线以外的特征物的停止线hl21、hl22以及人行横道px2的位置未与第1图像p1中的停止线hl11、hl12以及人行横道px1的位置一致。
47.使用使停止线hl21、hl22以及人行横道px2的位置与第1图像p1中的停止线hl11、hl12以及人行横道px1的位置一致的1次多项式，使第2图像变形。在图5的(b)中，用箭头d1a、d1b表示以位置l1为中心的第2图像p2的各像素的移动方向。另外，在图5的(b)中，用虚线表示变形前的外侧线sl21、sl22，用实线表示变形后的外侧线sl31、sl32。
48.第2变形部145以不变更行车道划分线以外的特征物的位置，并且使第1图像中的行车道划分线的位置和第2图像中的行车道划分线的位置对齐的方式，使由第1变形部144变形后的第2图像进一步变形，并临时保存到存储器13。此时，第2变形部145使由第1变形部144变形后的第2图像在与道路的前后方向正交的方向上变形。第2变形部145例如将用于使第1图像以及第2图像对位的预定的位置、和在第1图像以及第2图像中分别识别出的行车道划分线以外的特征物的位置指定为不因变形而移动的控制点。然后，第2变形部145从第2图像中的行车道划分线上的点中确定行车道划分线正交的方向上的与第1图像的对应的行车道划分线上的点，决定通过所确定出的点并且曲率为最小的曲线。然后，第2变形部145使用所决定的曲线使第2图像进行样条变形。此外，第2变形部145也可以对第2图像进行样条变形以外的变形，例如进行依照贝塞尔曲线的变形。
49.图6的(a)是示出由第1变形部144变形后的第2图像p2的例子的图，图6的(b)是说明利用第2变形部145执行的第2图像p2的变形的图。在图6的(a)以及图6的(b)中，以能够明确地掌握第1图像p1和第2图像p2的关系的方式，将第2图像p2连同被对位的第1图像p1一并示出。
50.在图6的(a)中，由第1变形部144变形后的第2图像p2的行车道划分线的位置未与第1图像p1的行车道划分线的位置一致(在图6的(a)中为简化说明仅示出外侧线的位置的差异)。第2变形部145在未与第1图像p1中的位置一致的外侧线sl31上设定控制点cp31、cp32。控制点被设定在行车道划分线上的、例如从与第1图像p1中的位置的背离超过预定的背离阈值的地点离开预定距离的位置。
51.如图6的(b)所示，第2变形部145确定从第2图像p2中的控制点cp31、cp32与外侧线sl31正交的方向d31、d32上的第1图像p1的对应的外侧线sl11上的控制点cp41、cp42。第2变形部145决定通过所确定的控制点cp41、cp42并且曲率为最小的曲线。然后，第2变形部145使用所决定的曲线使第2图像进行样条变形。在图6的(b)中，用虚线表示变形前的外侧线sl31，用实线表示变形后的外侧线sl41、sl42。此外，变形前的外侧线32被变形后的道路r1覆盖，所以未图示。
52.合成部146将存储于存储设备装置12的第1图像和由第2变形部变形并临时保存到存储器13的第2图像进行合成，保存到存储设备装置12。由此，地图生成装置1即使在第1图像中示出的道路有遮挡的情况下，也能够生成通过第2图像适当地补全了的地图。
53.图7是地图生成处理的流程图。地图生成装置1的处理器14针对作为处理的对象的第1图像以及第2图像的每个图像执行图7所示的数据收集处理。
54.首先，处理器14的第1识别部141从第1图像中识别道路上的行车道划分线以及行车道划分线以外的特征物(步骤s1)。第1图像是从上空朝下方拍摄预定的位置的道路而得到的图像。
55.接下来，第1识别部141判定在第1图像中示出的道路是否有遮挡(步骤s2)，在判定为无遮挡的情况下(步骤s2：“否”)，结束地图生成处理。
56.在判定为在第1图像中示出的道路有遮挡的情况下(步骤s2：“是”)，处理器14的第2识别部142从第2图像中识别行车道划分线以及行车道划分线以外的特征物(步骤s3)。第2图像是根据由设置于车辆的摄像部拍摄的多个图像制作并表示出预定的位置的道路的图像。
57.接下来，处理器14的对位部143根据预定的位置使第1图像和第2图像对位(步骤s4)。
58.接下来，处理器14的第1变形部144以使第1图像以及第2图像中的行车道划分线以外的特征物最大程度重叠的方式使第2图像变形(步骤s5)。
59.接下来，处理器14的第2变形部145以不变更行车道划分线以外的特征物的位置，并且使第1图像中的行车道划分线的位置和第2图像中的行车道划分线的位置对齐的方式，使由第1变形部变形的第2图像进一步变形(步骤s6)。此时，第2变形部145使第2图像在与道路的前后方向正交的方向上变形。
60.然后，处理器的合成部146将第1图像和由第2变形部145变形后的第2图像进行合成(步骤s7)，结束地图生成处理。
61.通过这样执行地图生成处理，地图生成装置1能够使用从上空拍摄的图像适当地生成地图。
62.另外，通过由第1变形部144利用仿射变换使第2图像p2变形、由第2变形部145使利用仿射变换变形后的第2图像p2进一步样条变形，能够在降低处理器14的处理负荷的同时适当地生成地图。
63.希望理解本领域技术人员能够不脱离本发明的精神以及范围地对本发明施加各种变更、置换以及修正。