移动量估计装置、移动量估计方法及移动量估计程序与流程

1.本发明涉及移动量估计装置、移动量估计方法及移动量估计程序。


背景技术：

2.在现有方式中，在基于传感器信息而生成点云地图时，根据由激光传感器得到的点云或者由摄像机得到的摄像机图像单体中的特征量来估计移动量和进深。
3.在专利文献1中提出了如下的技术：为了提高估计精度，在使用多个传感器并利用各个传感器计算出量距(odometry)后，根据该多个量距来求出移动量的最优解。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2017
‑
058166号公报


技术实现要素：

7.发明要解决的问题
8.在利用了由激光传感器得到的点云的三维形状的方法中，能够通过使特征与凹凸这样的三维形状一致来进行量距的计算。此外，在利用了摄像机图像的方法中，基于摄像机图像的特征量来估计帧之间的移动量。在利用了三维形状的方法中，在不存在三维形状的特征的场所，无法计算量距。此外，在利用了摄像机图像的方法中，由于进深信息的误差大，因此，无法高精度地计算量距。
9.在专利文献1中，根据摄像机图像来计算量距，并且，根据由激光传感器得到的点云来计算量距，根据这些量距来计算似然度高的量距。但是，在专利文献1的技术中，存在如果各个计算不准确则无法计算精度高的量距这样的问题。
10.本发明的目的在于，高精度地计算移动体的移动量。
11.用于解决问题的手段
12.本发明的移动量估计装置搭载于移动体，对所述移动体的移动量进行估计，其中，所述移动量估计装置具备：图像取得部，其取得所述移动体的周围的图像作为图像数据；点云取得部，其取得进深点云数据，该进深点云数据通过点云而表示出距存在于所述移动体的周围的物体的距离即进深；生成部，其使用所述图像数据和所述进深点云数据，计算距由所述图像数据所包含的像素表示的位置的进深，生成将计算出的进深附加于所述图像数据所包含的像素的高分辨率点云数据；以及估计部，其使用所述高分辨率点云数据，对所述移动体的移动量进行估计。
13.发明的效果
14.在本发明的移动量估计装置中，生成部使用图像数据和进深点云数据，计算距由图像数据所包含的像素表示的位置的进深，生成将计算出的进深附加于图像数据所包含的像素的高分辨率点云数据。然后，估计部使用高分辨率点云数据，对移动体的移动量进行估计。这样，根据本发明的移动量估计装置，使用将图像数据与进深点云数据融合后的高分辨
率点云数据来估计移动体的移动量，因此，得到能够高精度地计算移动体的移动量这样的效果。
附图说明
15.图1是实施方式1的移动量估计系统的整体结构图。
16.图2是实施方式1的移动量估计装置的结构图。
17.图3是实施方式1的移动量估计装置所进行的移动量估计处理的流程图。
18.图4是示出实施方式1的移动量估计装置所进行的移动量估计处理的具体例的图。
19.图5是示出实施方式1的生成部的动作的流程图。
20.图6是根据与实施方式1的图像数据重叠的进深点云数据而生成多边形的示意图。
21.图7是表示实施方式1的高分辨率点云数据的生成图像的图。
22.图8是示出实施方式1的估计部的动作的流程图。
23.图9是用于说明实施方式1的移动量估计装置的效果的具体例。
24.图10是实施方式1的变形例的移动量估计装置的结构图。
具体实施方式
25.以下，使用附图对本发明的实施方式进行说明。另外，在各图中，针对相同或相当的部分标注相同的标号。在实施方式的说明中，适当省略或简化针对相同或相当的部分的说明。
26.实施方式1.
27.＊＊＊结构的说明＊＊＊
28.图1是本实施方式的移动量估计系统500的整体结构图。
29.移动量估计系统500具备移动量估计装置100、摄像机201及激光传感器202。移动量估计装置100、摄像机201及激光传感器202被搭载于移动体200。
30.移动量估计装置100被搭载于移动体200，对移动体200的移动量进行估计。
31.移动体200是移动的物体。具体而言，移动体200是车辆。
32.摄像机201被搭载于移动体200，拍摄移动体200的周围并输出图像数据31。具体而言，图像数据31是摄像机图像。
33.激光传感器202被搭载于移动体200，输出进深点云数据32，该进深点云数据32通过点云来表示距存在于移动体200的周围的物体的距离即进深。具体而言，激光传感器202是激光雷达。
34.摄像机201和激光传感器202可以仅计测前方，也可以计测整个周围。
35.图2是本实施方式的移动量估计装置100的结构图。
36.移动量估计装置100是计算机。移动量估计装置100具备处理器910，并且具备存储器921、辅助存储装置922、输入接口930、输出接口940及通信装置950这样的其他硬件。处理器910经由信号线而与其他硬件连接，对这些其他硬件进行控制。
37.作为功能要素，移动量估计装置100具备图像取得部110、点云取得部120、特征提取部130、生成部140、估计部150及存储部160。在存储部160中存储校准信息161和前一帧的高分辨率点云数据35。
38.图像取得部110、点云取得部120、特征提取部130、生成部140及估计部150的功能由软件实现。存储部160设置在存储器921中。或者存储部160也可以设置在辅助存储装置922中。此外，存储部160也可以分开设置在存储器921和辅助存储装置922中。
39.处理器910是执行移动量估计程序的装置。移动量估计程序是实现图像取得部110、点云取得部120、特征提取部130、生成部140及估计部150的功能的程序。
40.处理器910是进行运算处理的ic(integrated circuit)。处理器910的具体例为cpu(central processing unit：中央处理单元)、dsp(digital signal processor：数字信号处理器)、gpu(graphics processing unit：图形处理单元)。
41.存储器921是暂时地存储数据的存储装置。存储器921的具体例为sram(static random access memory：静态随机存取存储器)或者dram(dynamic random access memory：动态随机存取存储器)。
42.辅助存储装置922是保管数据的存储装置。辅助存储装置922的具体例为hdd。此外，辅助存储装置922也可以是sd(注册商标)存储卡、cf、nand闪存、软盘、光盘、高密度盘、蓝光(注册商标)盘、dvd这样的可移动存储介质。另外，hdd是hard disk drive(硬盘驱动器)的简称。sd(注册商标)是secure digital(安全数字)的简称。cf是compactflash(注册商标；压缩闪存)的简称。dvd是digital versatile disk(数字通用光盘)的简称。
43.输入接口930是与鼠标、键盘或者触摸面板这样的输入装置连接的端口。具体而言，输入接口930是usb(universal serial bus：通用串行总线)端子。另外，输入接口930也可以是与lan(local area network：局域网)连接的端口。
44.此外，图像取得部110经由输入接口930从摄像机201取得图像数据31。点云取得部120经由输入接口930从激光传感器202取得进深点云数据32。
45.输出接口940是与显示器这样的输出设备的缆线连接的端口。具体而言，输出接口940是usb端子或hdmi(注册商标)(high definition multimedia interface：高清晰度多媒体接口)端子。具体而言，显示器是lcd(liquid crystal display：液晶显示器)。
46.通信装置950具有接收器和发射器。通信装置950通过无线而与lan、因特网、或者电话线路这样的通信网连接。具体而言，通信装置950是通信芯片或者nic(network interface card：网络接口卡)。移动量估计装置100也可以经由通信装置950，取得图像数据31或者进深点云数据32。
47.移动量估计程序被读入到处理器910，由处理器910执行。在存储器921中不仅存储有移动量估计程序，还存储有os(operating system：操作系统)。处理器910一边执行os，一边执行移动量估计程序。移动量估计程序及os也可以存储在辅助存储装置922中。辅助存储装置922所存储的移动量估计程序及os被加载到存储器921中，由处理器910执行。另外，移动量估计程序的一部分或全部也可以组入到os。
48.移动量估计装置100也可以具备代替处理器910的多个处理器。这多个处理器分担移动量估计程序的执行。各个处理器与处理器910同样，是执行移动量估计程序的装置。
49.由移动量估计程序利用、处理或输出的数据、信息、信号值及变量值被存储在存储器921、辅助存储装置922、或者处理器910内的寄存器或高速缓冲存储器中。
50.也可以将图像取得部110、点云取得部120、特征提取部130、生成部140及估计部150的各部的“部”改写为“处理”、“步骤”或“工序”。另外，也可以将图像取得处理、点云取得
处理、特征提取处理、生成处理及估计处理的“处理”改写为“程序”、“程序产品”或“记录有程序的计算机可读取的记录介质”。
51.移动量估计程序使计算机执行将上述各部的“部”改写为“处理”、“步骤”或“工序”后的各处理、各步骤或各工序。此外，移动量估计方法相当于将上述各部的“部”改写为“步骤”的各步骤。
52.可以将移动量估计程序存储在计算机可读取的记录介质中来提供。此外，也可以将移动量估计程序作为程序产品来提供。
53.＊＊＊动作的说明＊＊＊
54.图3是本实施方式的移动量估计装置100所进行的移动量估计处理s100的流程图。
55.图4是示出本实施方式的移动量估计装置100所进行的移动量估计处理s100的具体例的图。
56.摄像机201和激光传感器202被事先校准。通过该校准，求出用于通过坐标转换使作为摄像机图像的图像数据31与进深点云数据32的中心坐标一致的旋转矩阵r及平移矩阵t。该旋转矩阵r和平移矩阵t作为校准信息161被存储在移动量估计装置100的存储部160中。在本实施方式中，与图像数据31的坐标系的中心匹配地表现进深点云数据32。但是，也可以与进深点云数据32的坐标系的中心匹配地表现图像数据31的坐标。
57.x
l
为激光传感器202的坐标系中的点云，x
c
为摄像机201的坐标系中的点云。此时，能够通过以下的数式1来进行坐标转换。
58.[数式1]
[0059][0060]
作为坐标转换的结果，能够如图4的对位确认结果34那样使进深点云数据32与图像数据31重叠。在图4的对位确认结果34中，看起来像横线那样的部分是转换为图像数据31的坐标系的进深点云数据32的点云。
[0061]
＜图像取得处理：步骤s110＞
[0062]
在步骤s110中，图像取得部110取得移动体200的周围的图像作为图像数据31。图像取得部110使用搭载于移动体200的摄像机201来取得图像数据31。具体而言，图像取得部110取得图4所示的图像数据31，即摄像机图像。
[0063]
＜特征点提取处理：步骤s111，步骤s112＞
[0064]
在步骤s111中，特征提取部130从图像数据31提取成为特征点的像素。具体而言，特征提取部130使用surf(speeded
‑
up robust features：加速鲁棒特征)这样的算法，从图像数据31提取成为特征点的像素。或者，也可以通过其他方式从图像数据31提取特征点。图4的特征点33的
○
及
×
分别表示在1个帧中提取出的特征点。作为具体例，
○
及
×
分别是在相邻的两个帧中分别提取出的特征点。另外，图像中的特征点也称为特征量。
[0065]
在步骤s112中，特征提取部130进一步提取相邻的两个帧的各图像数据中的特征点。特征提取部130在相邻的两个帧之间搜索对应的特征点。由于感测的速度较快，因此，特征提取部130也可以利用使最邻近的点匹配的方式在相邻的两个帧之间搜索对应的特征点。
[0066]
如果对应的特征点是偏离值，则特征提取部130从相邻的两个帧的各图像数据中
的特征点删除偏离值的特征点。具体而言，特征提取部130计算匹配的特征点的相邻帧之间的像素间的距离，制作该距离的直方图，从匹配的特征点提取偏离值。作为去除偏离值的方法，作为具体例，具有ransac(random sample consensus：随机样本一致性)。
[0067]
另外，图4的特征点33表示去除偏离值之后的特征点。
[0068]
＜点云取得处理：步骤s120＞
[0069]
在步骤s120中，点云取得部120取得进深点云数据32，该进深点云数据32通过点云表示出距存在于移动体200的周围的物体的距离即进深。点云取得部120使用搭载于移动体200的激光传感器202来取得进深点云数据32。
[0070]
＜生成处理：步骤s130＞
[0071]
在步骤s130中，生成部140使用图像数据31和进深点云数据32，计算距由图像数据31所包含的像素表示的位置的进深。然后，生成部140生成将计算出的进深附加于图像数据31所包含的像素的高分辨率点云数据35。
[0072]
图5是示出本实施方式的生成部140的动作的流程图。
[0073]
在步骤s301中，生成部140将进深点云数据32的坐标系转换成图像数据31的坐标系。生成部140使用存储于校准信息161的旋转矩阵r及平移矩阵t，将进深点云数据32的坐标系转换成图像数据31的坐标系。生成部140使用旋转矩阵r及平移矩阵t，通过上述的数式1，将进深点云数据32的坐标系转换成图像数据31的坐标系。
[0074]
具体而言，从激光传感器202输出的进深点云数据32是移动体200的周围360
°
的数据。
[0075]
于是，生成部140为了使进深点云数据32与图像数据31一致，从对进深点云数据32进行坐标转换而得到的点云中仅提取图像数据31的摄像机图像内的点云。即，生成部140针对对进深点云数据32进行坐标转换而得到的点云，仅过滤出图像数据31的摄像机图像内的点云。
[0076]
由此，能够如图4的对位确认结果34那样将图像数据31与进深点云数据32重叠。
[0077]
生成部140将进行了过滤之后残留的点云表现为多边形。如上所述，生成部140通过将进深点云数据32的坐标系转换成图像数据31的坐标系而将图像数据31与进深点云数据32重叠。然后，生成部140选择使用进深点云数据32所包含的3个点而形成的、包含成为特征点的像素的多边形。然后，生成部140使用多边形，计算成为特征点p的像素的位置即特征像素位置p1的进深。
[0078]
具体而言，如以下所述。
[0079]
图6是根据与本实施方式的图像数据31重叠的进深点云数据32而生成多边形50的示意图。
[0080]
图7是表示本实施方式的高分辨率点云数据35的生成图像的图。
[0081]
如图6的进深点云数据32的示意图那样，进深点云数据32以形成横切图像数据31的图像的多条横线的方式并排。
[0082]
在步骤s302中，生成部140从进深点云数据32中选择出选择点ps。然后，在步骤s303中，生成部140提取关注于所选择的点时的相邻的2个点，通过总计3个点来展开平面。通过该操作，能够将进深点云数据32表现为多边形50。另外，具体而言，通过利用德劳内三角形分割的方法也同样能够实现。
[0083]
在步骤s304中，生成部140判定针对进深点云数据32的全部点是否实施了表现多边形的处理。在残留有未实施的点的情况下，返回步骤s302。在针对全部点完成了实施的情况下，进入步骤s305。
[0084]
生成部140计算与接点之间的距离作为特征像素位置p1的进深，该接点是由多边形50形成的平面与如下的线的延长线的接点，该线为连结摄像机201的中心与根据摄像机201的焦距求出的f值的图像的特征像素位置p1的线。
[0085]
在步骤s305中，生成部140根据图像数据31的特征点p来计算距多边形50的距离。具体而言，如图7所示，生成部140将摄像机的中心至摄像机的f值的图像上的特征点p的位置即特征像素位置p1连结。然后，将接点计算为进深，该接点是位于从摄像机的中心到摄像机的f值的图像上的特征像素位置p1为止的线的延长线上的、与由多边形50形成的平面的接点。通过该操作，生成部140能够计算由各特征点p的像素表示的特征像素位置p1的进深。
[0086]
生成部140生成对成为特征点p的像素附加了由成为特征点p的像素表示的位置即特征像素位置p1的进深而得到的高分辨率点云数据35。
[0087]
返回图3继续进行说明。
[0088]
在步骤s140中，生成部140从存储部160取得前一帧的高分辨率点云数据35。
[0089]
＜估计处理：步骤s150＞
[0090]
估计部150使用高分辨率点云数据35来估计移动体200的移动量。估计部150使用多个帧来计算特征像素位置p1的进深的变化量，从而估计移动体200的移动量。最后，估计部150将当前的高分辨率点云数据35作为前一帧的高分辨率点云数据35而存储于存储部160。
[0091]
具体而言，如以下所述。
[0092]
图8是示出本实施方式的估计部150的动作的流程图。
[0093]
在步骤s501中，估计部150取得前一帧和当前的高分辨率点云数据35。
[0094]
在步骤s502中，估计部150根据这些相邻帧的各个特征点p的进深，计算激光传感器202的移动量。然后，估计部150将激光传感器202的移动量估计为移动体200的移动量。移动量的计算通过在相邻的两个帧之间计算特征点p的进深的变化量来求出。移动量是将车辆前方的向量方向作为正而进行计算的。在该方法中，能够求出多个特征点的进深的变化量，因此，再次在制作直方图并去除了偏离值的基础上，计算平均值。另外，作为去除偏离值的方法，也能够利用在特征点中也利用了的ransac。
[0095]
＊＊＊本实施方式的效果的说明＊＊＊
[0096]
图9是示出用于说明本实施方式的移动量估计装置的效果的具体例的图。
[0097]
在图9中，设为移动体200在立体特征少的隧道内行驶。
[0098]
在本实施方式的移动量估计装置中，计算每帧的特征点的进深作为距离信息。然后，移动量估计装置通过在相邻帧之间计算距离信息的变化量来估计移动体的移动量。为此，需要得到特征点的距离信息。但是，在立体特征物少的隧道这样的场所中，通常难以从激光传感器的点云取得特征点。即，根据激光传感器的点云，虽然能够取得距离信息的罗列，但由于没有立体特征，因此，难以提取特征点的距离信息。在本实施方式的移动量估计装置中，根据摄像机图像计算特征点，使用激光传感器的点云来计算与该特征点对应的距离信息。而且，能够对该特征点赋予距离信息，生成高分辨率点云数据。
[0099]
这样，根据本实施方式的移动量估计装置，能够生成将摄像机图像与由激光传感器得到的点云融合后的高分辨率点云数据。因此，根据本实施方式的移动量估计装置，即便在隧道这样的没有立体特征的场所中，也能够通过将摄像机图像与由激光传感器得到的点云融合后的高分辨率点云数据，高精度地估计移动量。
[0100]
＊＊＊其他结构＊＊＊
[0101]
＜变形例1＞
[0102]
在本实施方式中，计算从图像数据31得到的特征点p的进深，制作出对特征点p附加了进深的高分辨率点云数据35。但是，如图10所示，也可以根据进深点云数据32对图像数据31所包含的全部的像素附加进深。也可以生成对图像数据31所包含的全部的像素附加了进深的高分辨率点云数据35a。
[0103]
＜变形例2＞
[0104]
在本实施方式中，估计部在相邻的帧之间求出特征点的进深的变化量，估计移动体的移动量。但是，即便不是相邻的帧之间，只要是特征点p对应的多个帧之间，就能够求出特征点的进深的变化量，估计移动体的移动量。
[0105]
＜变形例3＞
[0106]
在本实施方式中，图像取得部110、点云取得部120、特征提取部130、生成部140及估计部150的功能由软件实现。作为变形例，图像取得部110、点云取得部120、特征提取部130、生成部140及估计部150的功能也可以由硬件实现。
[0107]
图9是本实施方式的变形例的移动量估计装置100的结构图。
[0108]
移动量估计装置100具备电子电路909、存储器921、辅助存储装置922、输入接口930及输出接口940。
[0109]
电子电路909是实现图像取得部110、点云取得部120、特征提取部130、生成部140及估计部150的功能的专用的电子电路。
[0110]
具体而言，电子电路909是单一电路、复合电路、程序化的处理器、并行程序化的处理器、逻辑ic、ga、asic或者fpga。ga是gate array(门阵列)的简称。asic是application specific integrated circuit(专用集成电路)的简称。fpga是field
‑
programmable gate array(现场可编程门阵列)的简称。
[0111]
图像取得部110、点云取得部120、特征提取部130、生成部140及估计部150的功能可以由1个电子电路实现，也可以分散到多个电子电路中来实现。
[0112]
作为其他变形例，也可以是，图像取得部110、点云取得部120、特征提取部130、生成部140及估计部150的一部分功能由电子电路实现，剩余的功能由软件实现。
[0113]
此外，作为其他变形例，也可以是，图像取得部110、点云取得部120、特征提取部130、生成部140及估计部150的一部分或所有功能由固件实现。
[0114]
处理器和电子电路分别也称为处理线路。即，在移动量估计装置100中，图像取得部110、点云取得部120、特征提取部130、生成部140及估计部150的功能由处理线路实现。
[0115]
在以上的实施方式1中，将移动量估计装置的各部作为独立的功能块进行了说明。但是，移动量估计装置的结构也可以不是上述实施方式那样的结构。移动量估计装置的功能块只要能够实现在上述实施方式中说明的功能，则也可以为任何结构。此外，移动量估计装置也可以不是1个装置，而是由多个装置构成的系统。
[0116]
此外，也可以组合实施方式1中的多个部分来实施。或者，也可以实施该实施方式中的1个部分。除此之外，也可以整体上或者部分地任意组合该实施方式来实施。
[0117]
即，在实施方式1中，能够进行各实施方式的自由组合或各实施方式的任意的结构要素的变形、或者在各实施方式中能够省略任意的结构要素。
[0118]
另外，上述的实施方式本质上是优选的例示，并非意在限制本发明的范围、本发明的应用对象的范围及本发明的用途的范围。上述的实施方式能够根据需要进行各种变更。
[0119]
标号说明
[0120]
31图像数据，32进深点云数据，33特征点，34对位确认结果，35、35a高分辨率点云数据，50多边形，100移动量估计装置，110图像取得部，120点云取得部，130特征提取部，140生成部，150估计部，160存储部，161校准信息，200移动体，201摄像机，202激光传感器，500移动量估计系统，909电子电路，910处理器，921存储器，922辅助存储装置，930输入接口，940输出接口，950通信装置，s100移动量估计处理。