移动量估计装置、移动量估计方法、移动量估计程序以及移动量估计系统与流程

移动量估计装置、移动量估计方法、移动量估计程序以及移动量估计系统
1.相关申请的交叉引用
2.该申请主张于2019年10月28日在日本技术的专利申请第2019－195548号的优先权，并在此引用其全部内容。
技术领域
3.基于该说明书的公开涉及移动量估计的技术。


背景技术：

4.例如在专利文献1公开了使用lidar(light detection and ranging：光探测与测距)作为距离传感器的自身位置估计装置。lidar设置于能够自主地移动的移动体，并测量到位于移动体的周围的物体的距离。自身位置估计装置使用由lidar检测出的测距信息，估计移动体的移动量，进而估计移动体的自身位置。
5.专利文献1：日本特开2019－128705号公报。
6.专利文献1的lidar反复输出检测出的测距信息。但是，在每单位时间输出的测距信息的数目有限。因此，若仅使用测距信息来估计移动体的移动量，则由于每单位时间的测距信息的帧数即帧速率的不足，而可能难以确保移动量的估计精度。


技术实现要素：

7.本公开的目的在于提供能够容易地确保移动量的估计精度的移动量估计装置等。
8.为了实现上述目的，公开的一个方式是移动量估计装置，具备：图像获取部，获取通过受光元件检测通过光照射而从物体反射的反射光得到的包含距离信息的反射光图像、由受光元件检测相对于反射光的背景光的包含亮度信息的背景光图像、以及利用与受光元件不同的照相机元件拍摄到的照相机图像；以及估计部，使用在反射光图像、背景光图像以及照相机图像共同地检测到的被摄对象的信息，对估计对象的移动量进行估计。
9.另外公开的一个方式是移动量估计方法，在由至少一个处理器执行的处理包含：获取通过受光元件检测通过光照射而从物体反射的反射光得到的包含距离信息的反射光图像、由受光元件检测相对于反射光的背景光的包含亮度信息的背景光图像、以及利用与受光元件不同的照相机元件拍摄到的照相机图像；以及使用在反射光图像、背景光图像以及照相机图像共同地检测到的被摄对象的信息，对估计对象的移动量进行估计。
10.另外公开的一个方式是移动量估计程序，使至少一个处理器执行包含：获取通过受光元件检测通过光照射而从物体反射的反射光得到的包含距离信息的反射光图像、由受光元件检测相对于反射光的背景光的包含亮度信息的背景光图像、以及利用与受光元件不同的照相机元件拍摄到的照相机图像；以及使用在反射光图像、背景光图像以及照相机图像共同地检测到的被摄对象的信息，对估计对象的移动量进行估计的处理。
11.另外公开的一个方式是移动量估计系统，具备：测距装置，生成通过受光元件检测
通过光照射而从物体反射的反射光得到的包含距离信息的反射光图像、以及由受光元件检测相对于反射光的背景光的包含亮度信息的背景光图像；照相机装置，通过与受光元件不同的照相机元件的拍摄生成照相机图像；以及运算装置，使用在反射光图像、背景光图像以及照相机图像共同地检测到的被摄对象的信息，对估计对象的移动量进行估计。
12.在这些方式中，不仅使用反射光图像，估计对象的移动量的估计也使用背景光图像以及照相机图像。根据以上，与仅根据反射光图像估计移动量的情况相比较，能够以较高的帧速率实施移动量的估计。因此，容易确保移动量的估计精度。
13.另外，权利要求书等中的括号内的参照编号仅示出与后述的实施方式中的具体的构成的对应关系的一个例子，并不对技术范围进行任何限制。
附图说明
14.图1是表示本公开的第一实施方式的传感器封装体以及自动驾驶系统的整体情况的图。
15.图2是表示测距传感器以及外界照相机的向车辆的搭载状态的图。
16.图3是用于说明在图像处理ecu的图像处理的过程的框图。
17.图4是表示传感器图像以及照相机图像的拍摄定时的一个例子的图。
18.图5是示意地表示与移动量估计相关的处理的详细的图。
19.图6是在图像处理ecu实施的移动量估计处理的流程图。
20.图7是表示第二实施方式中的传感器图像以及照相机图像的拍摄定时的图。
具体实施方式
21.以下，基于附图对本公开的多个实施方式进行说明。另外，有时通过对各实施方式中对应的构成要素附加相同的附图标记，省略重复的说明。在各实施方式中仅对构成的一部分进行说明的情况下，该构成的其它的部分能够应用先行说明的其它的实施方式的构成。另外，不仅是在各实施方式的说明中明示的构成的组合，只要组合并不特别产生妨碍，则即使未明示也能够部分地组合多个实施方式的构成彼此。而且，多个实施方式以及变形例所记述的构成彼此的未明示的组合也通过以下的说明公开。
22.＜第一实施方式＞
23.在作为移动体的车辆a中使用图1所示的本公开的第一实施方式的图像处理ecu(electronic control unit：电子控制单元)30。如图1以及图2所示，图像处理ecu30与测距传感器10以及外界照相机20等一起，构成传感器封装体100。这样的传感器封装体100能够与自动驾驶ecu50以及电源装置60等一起，构成自动驾驶系统110。在自动驾驶系统110中，图像处理ecu30以及传感器封装体100综合测距传感器10以及外界照相机20的测定结果，作为估计车辆a的移动量的移动量估计装置以及移动量估计系统发挥作用。
24.图1以及图3所示的自动驾驶系统110例如是能够进行无驾驶员的车辆a的自主行驶的系统包。在自动驾驶系统110中构成核心的自动驾驶ecu50是包含具备处理器、ram(random access memory：随机存储器)、存储部、输入输出接口、以及连接它们的总线等的计算机作为主体的高速运算装置。自动驾驶ecu50具备识别判断部51以及路径生成部52，作为用于实现自主行驶的功能部。识别判断部51基于来自传感器封装体100的提供信息，识别
车辆a的周围的行驶环境，决定车辆a的下一个动作。路径生成部52基于识别判断部51的决定，生成使车辆a行驶的行驶路径。另外，自动驾驶系统110也可以不是能够提供能够进行无人驾驶的完全的自动驾驶功能，而是能够提供进行驾驶员的驾驶支援的高度驾驶支援功能的系统。
25.图1～图3所示的传感器封装体100如上述那样包含测距传感器10、外界照相机20以及图像处理ecu30。
26.作为一个例子，测距传感器10是spad(single photon avalanche diode：单光子雪崩二级管)lidar。测距传感器10配置于车辆a的前端部或者车辆a的车顶等。设定为测距传感器10的测定范围ma1包含车辆a的周边中至少前方范围。
27.测距传感器10是包含发光部11、受光部12以及控制单元13等的构成。发光部11通过使用可动光学部件(例如多面镜)进行扫描，朝向测定范围ma1照射从光源发光的光束。光源例如是半导体激光器(laser diode)，根据来自控制单元13的电信号，脉冲状地照射不能够由乘客以及外界的人视觉确认的可视外区域(例如，近红外域)的光束。
28.受光部12具有聚光透镜以及受光元件12a。聚光透镜对通过测定范围ma1内的物体进行了反射的光束的反射光、以及相对于反射光的背景光进行聚光，并使其射入受光元件12a。受光元件12a是通过光电转换将光转换为电信号的元件。受光元件12a为了高效地检测光束的反射光，而为相对于可视域较高地设定近红外域的灵敏度的cmos传感器。可以通过光学滤波器调整受光元件12a的对各波长域的灵敏度。受光元件12a具有在一维方向或者二维方向排列为阵列状的多个受光像素。各个受光像素是使用spad的构成，通过雪崩倍增来放大由于光子的射入而产生的电子，从而能够进行高灵敏度的光检测。
29.控制单元13控制发光部11以及受光部12。控制单元13例如与受光元件12a配置在相同的基板上。控制单元13例如以微控制器或者fpga(field-programmable gate array：现场可编程门阵列)等的广义的处理器为主体构成。控制单元13实现扫描控制功能、反射光测定功能以及背景光测定功能。
30.扫描控制功能是控制基于发光部11的光束的扫描的功能。控制单元13在基于设置于测距传感器10的时钟振荡器的动作时钟的定时，使光束从光源脉冲状地振荡多次。除此之外，控制单元13使可动光学部件与光束的照射同步地动作。
31.反射光测定功能是根据光束的扫描的定时，读出基于由各个受光像素接收的反射光的电压值并测定反射光的强度的功能。控制单元13根据受光元件12a的输出脉冲中的波峰的产生定时，感知反射光的到来时刻。控制单元13通过测量来自光源的光束的射出时刻与反射光的到来时刻的时间差，来测定光的飞行时间(time of flight)。
32.通过以上的扫描控制功能以及反射光测定功能的协作，生成图像状的数据亦即反射光图像imr。控制单元13利用滚动快门方式测定反射光，生成反射光图像imr。详细而言，控制单元13例如与向水平方向的光束的扫描配合地，在与测定范围ma1对应的图像平面上一行一行地或者每次多行地生成在横向排列的像素组的信息。控制单元13将按每一行依次生成的像素信息在纵向合成，生成一个反射光图像imr。
33.反射光图像imr是通过由受光元件12a检测(感知)与从发光部11的光照射对应的反射光得到的包含距离信息的图像数据。在反射光图像imr的各像素包含有表示光的飞行时间的值。换句话说，表示光的飞行时间的值是表示从测距传感器10到位于测定范围ma1的
物体的反射点为止的距离的距离值。除此之外，在反射光图像imr的各像素还包含有表示反射光的强度的值。即，反射光图像imr成为表示反射光的亮度分布的图像数据。
34.背景光测定功能是在马上测定反射光之前的定时，读出基于各受光像素接收的背景光的电压值，测定背景光的强度的功能。这里背景光是指实际不包含反射光的从外界中测定范围ma1射入受光元件12a的射入光。在射入光包含有自然光、从外界的显示等射入的显示光等。控制单元13与反射光图像imr相同地以滚动快门方式测定背景光，生成背景光图像iml。背景光图像iml是表示光照射前的背景光的亮度分布的图像数据，包含通过与反射光图像imr相同的受光元件12a检测出的背景光的亮度信息。即，在背景光图像iml中二维状地排列的各像素的值是表示测定范围ma1的对应的位置上的背景光的强度的亮度值。
35.通过共用的受光元件12a进行感知，并从包含该受光元件12a的共用的光学系统获取反射光图像imr以及背景光图像iml。因此，反射光图像imr的坐标系与背景光图像iml的坐标系能够视为相互一致的同坐标系。除此之外，在反射光图像imr与背景光图像iml之间，几乎没有测定定时的偏移(例如小于1ns)。因此，也能够视为连续地获取的一组的反射光图像imr和背景光图像iml也取得同步。除此之外，反射光图像imr以及背景光图像iml能够唯一地取得各个像素彼此的对应。反射光图像imr以及背景光图像iml与各像素对应地，作为包含反射光的强度、到物体为止的距离、以及背景光的强度三个信道的数据的一体的图像数据，依次输出到图像处理ecu30。另外，在以下的说明中，有时将一组的反射光图像imr以及背景光图像iml记载为“传感器图像ims”。
36.外界照相机20例如配置于车辆a的前挡风玻璃的车厢内侧。外界照相机20能够测定车辆a的外界中至少前方的测定范围ma2。规定为外界照相机20的测定范围ma2与测距传感器10的测定范围ma1至少重复一部分。
37.外界照相机20是包含受光部22以及控制单元23的构成。受光部22例如通过受光透镜对从照相机外部的测定范围ma2射入的射入光(背景光)进行聚光，并使其射入照相机元件22a。
38.照相机元件22a是通过光电转换将光转换为电信号的元件，且为与测距传感器10的受光元件12a不同的构成。照相机元件22a例如能够采用ccd传感器或者cmos传感器。在照相机元件22a中，为了高效地接收可视域的自然光，相对于近红外域较高地设定可视区域的灵敏度。照相机元件22a具有二维地排列为阵列状的多个受光像素。照相机元件22a的受光像素相当于所谓的子像素。在相互相邻的受光像素例如配置有红色、绿色、蓝色的彩色滤光片。各受光像素接收与配置的彩色滤光片对应的颜色的可见光。照相机元件22a利用各受光像素，分别测定红色的强度、绿色的强度以及蓝色的强度，拍摄照相机图像imc。照相机图像imc是可视域的彩色图像，与反射光图像imr以及背景光图像iml相比成为高分辨率的图像。
39.控制单元23控制受光部22。控制单元23例如与照相机元件22a配置于共用的基板上，以微控制器或者fpga等广义的处理器为主体构成。控制单元23实现拍摄功能。
40.拍摄功能是拍摄上述的彩色图像的功能。控制单元23在基于设置于外界照相机20的时钟振荡器的动作时钟的定时，读出与射入光量对应的各受光像素的电压值。与测距传感器10的时钟振荡器分开独立地设置该时钟振荡器。控制单元23利用全局快门方式在全部受光像素实质同时实施基于照相机元件22a的背景光的测定，生成图像状的数据亦即照相机图像imc。
41.照相机图像imc是表示通过照相机元件22a感知到的可视区域的背景光的亮度分布的图像。在到此为止进行了说明的各图像中，亮度分布是将对应的光(反射光或者背景光，或者可视外区域光或者可视区域光)的强度分布灰度值化后的分布。即，在照相机图像imc中二维状地排列的各像素的值成为表示从测定范围ma2射入照相机元件22a的各颜色的射入光的强度的亮度值。这样的照相机图像imc依次输出到图像处理ecu30。
42.图像处理ecu30是包含具备处理部31、ram32、存储部33、输入输出接口34以及连接它们的总线等的运算电路作为主体的电子控制装置。处理部31是与ram32结合的用于运算处理的硬件。处理部31包含至少一个cpu(central processing unit：中央处理器)、gpu(graphical processing unit：图形处理器)、fpga等运算核心。处理部31能够构成为进一步包含具备其它的专用功能的ip核心等而成的图像处理芯片。这样的图像处理芯片可以是设计为自动驾驶用途专用的asic(application specific integrated circuit：专用集成电路)。处理部31通过对ram32的访问，执行用于实现后述的各功能部的功能的各种处理。存储部33是包含非易失性的存储介质的构成。在存储部33储存有通过处理部31执行的各种程序(移动量估计程序等)。
43.图像处理ecu30对测距传感器10的图像信息以及外界照相机20的图像信息进行处理，生成提供给自动驾驶ecu50的提供信息。在图像处理ecu30生成的提供信息包含有搭载传感器封装体100的车辆a的移动量(以下，称为“自身移动量”)的估计结果。图像处理ecu30为了自身移动量估计，通过处理部31执行存储于存储部33的移动量估计程序，具备图像获取部41、校准部43、距离值获取部44、移动量估计部45以及自身移动量运算部46等功能部。在这些功能部中，校准部43、距离值获取部44、移动量估计部45以及自身移动量运算部46等是执行图像处理的图像处理模块42。
44.图像获取部41从测距传感器10获取反射光图像imr以及背景光图像iml。除此之外图像获取部41从外界照相机20获取照相机图像imc。在第一实施方式中，设定为反射光图像imr以及背景光图像iml的帧速率与照相机图像imc的帧速率实质相同。另一方面，测距传感器10中的反射光图像imr以及背景光图像iml的拍摄定时sts与外界照相机20中的照相机图像imc的拍摄定时stc不同。因此，反射光图像imr以及背景光图像iml的拍摄定时sts与照相机图像imc的拍摄定时stc交替地到来(参照图4)。其结果，图像获取部41交替地实施反射光图像imr以及背景光图像iml的获取、和照相机图像imc的获取。
45.这里为了方便，将受光元件12a实施用于生成反射光图像imr以及背景光图像iml的检测的检测期间设为帧期间，将该帧期间的开始时刻设为反射光图像imr以及背景光图像iml的快门开始时刻tf。另一方面，将照相机元件22a实施用于拍摄照相机图像imc的曝光的曝光期间的开始时刻设为照相机图像imc的快门开始时刻te。
46.如上述那样，背景光图像iml以及反射光图像imr在实质相同(几乎没有时差)的快门开始时刻tf(参照图4的时刻t1、t3)开始拍摄。另一方面，照相机图像imc的快门开始时刻te(参照图4的时刻t2)相对于背景光图像iml以及反射光图像imr的快门开始时刻tf偏移。
47.除此之外，设定为受光元件12a中的帧期间的整体相对于照相机元件22a中的曝光期间的整体偏移。即，在受光元件12a的帧期间的结束后，开始照相机元件22a的曝光期间。而且，在该曝光期间的结束后，在受光元件12a开始下一个帧期间。根据以上，图像获取部41按照时刻t1的背景光图像iml以及反射光图像imr、时刻t2的照相机图像imc、时刻t3的背景
光图像iml以及反射光图像imr
···
这样的顺序，从测距传感器10以及外界照相机20交替地获取图像数据。
48.如图4所示，通过表示移动体姿势的旋转系的坐标信息r(roll，pitch，yaw)、和表示移动体位置的平移系的坐标信息t(x，y，z)共计六轴的坐标信息规定车辆a的状态。在从时刻t1到时刻t2的期间，在车辆a产生δr1的姿势变化和δt1的位置变化。同样地，在从时刻t2到时刻t3的期间，在车辆a产生δr2的姿势变化和δt2的位置变化。这样的各时刻间的差分(δr1，δt1)以及(δr2，δt2)相当于在图1以及图3所示的图像处理ecu30估计出的车辆a的移动量。
49.校准部43设定测距传感器10的内部参数、外界照相机20的内部参数以及测距传感器10以及外界照相机20之间的外部参数。校准部43从存储部33读出预先设定的各参数的值，并设置于ram32的特定的存储区域。通过移动量估计部45参照在ram32上准备的内部参数的各值。另一方面，通过自身移动量运算部46参照外部参数的各值。
50.图3以及图5所示的距离值获取部44参照构成一个传感器图像ims的反射光图像imr以及背景光图像iml，使用这些图像imr、iml准备传感器元件信息。详细而言，距离值获取部44获取与背景光图像iml的各像素位置对应的反射光图像imr的距离值。距离值获取部44根据在图像上相邻的像素间的亮度值以及距离值的变化的程度(梯度)，确定在反射光图像imr以及背景光图像iml共同地映有的被摄对象po。距离值获取部44例如将相当于反射光图像imr所包含的反射光的强度值在恒定以上的像素的位置的背景光图像iml上的像素设定为特征点fpa。距离值获取部44将与被摄对象po相关的特征点fpa及其附近的像素的距离值以及亮度值作为传感器元件信息。
51.移动量估计部45使用在反射光图像imr以及背景光图像iml、和照相机图像imc共同地检测到的被摄对象po的信息，对估计对象et的移动量进行估计。具体而言，移动量估计部45在时间上连续的传感器图像ims和照相机图像imc之间，追踪与被摄对象po相关的多个特征点fpa及其附近，计算被摄对象po的移动向量。被摄对象po优选为静止的立体结构物。若被摄对象po为静止物体，则能够根据图像上的被摄对象po的移动量，容易地估计车辆a的移动量。
52.具体而言，移动量估计部45也根据照相机图像imc确定与传感器图像ims共用的被摄对象po，并准备与该被摄对象po相关的像素的亮度值作为照相机元件信息。并且，移动量估计部45为了实施将传感器图像ims以及照相机图像imc视为连续的帧图像的处理，将在距离值获取部44准备的传感器元件信息转换为能够与照相机元件信息直接地进行比较的信息。移动量估计部45也适当地调整传感器图像ims以及照相机图像imc间的分辨率之差、可见光域以及近红外域的背景光强度之差(亮度差)等。移动量估计部45将照相机元件信息作为基准，对照相机元件信息的亮度值与传感器元件信息的亮度值进行比较。作为一个例子，移动量估计部45例如使用lucas－kanade梯度法等求出使下述的数式(1)的左边最小的δr、δt。
53.[数1]
[0054]
c(δr，δt)＝||w(i_spad，d_spad)-i_image||^2
…
数式(1)
[0055]
在上述的数式(1)中，w是根据δr以及δt和外界照相机20的内部参数决定的转换函数。该转换函数w是对图像进行一般的旋转、平移、以及透视投影(变形)等处理的函数。另
外，i_spad是背景光图像iml的亮度值，d_spad是反射光图像imr的距离值，i_image是照相机图像imc的亮度值。移动量估计部45基于上述的数式(1)，估计微小时间内的被摄对象po的旋转移动量δr和平移移动量δt。
[0056]
自身移动量运算部46进行从在移动量估计部45估计出的移动量δr、δt除去外部参数的运算处理，计算作为估计对象et的车辆a的旋转移动量δr_ego以及平移移动量δt_ego。具体而言，自身移动量运算部46作为测距传感器10以及外界照相机20之间的外部参数，获取相当于这些构成间的姿势以及位置的各差分(参照图2)的r_cam、t_cam。自身移动量运算部46将移动量δr、δt和外部参数r_cam、t_cam应用于下述的数式(2)，计算车辆a的自身移动量δr_ego、δt_ego。自身移动量运算部46将计算出的自身移动量δr_ego、δt_ego依次输出到自动驾驶ecu50。
[0057]
[数2]
[0058]
δr_ego＝r_cam
·
δr
[0059]
δt_ego＝r_cam
·
δt t_cam
…
数式(2)
[0060]
以下基于图6所示的流程图，并参照图1、图3以及图5，对以上的实现自身移动量估计的移动量估计方法的详细进行说明。基于电源装置60的对自动驾驶系统110的各构成的电力供给实施，通过结束了初始的启动处理等的图像处理ecu30开始图6所示的移动量估计处理。
[0061]
在s101中，从存储部33读出与测距传感器10以及外界照相机20相关的内部参数以及外部参数，将各参数的值设定在ram32的能够参照的区域，并进入s102。在s102中，实施从测距传感器10以及外界照相机20的一方获取图像数据的处理，并进入s103。在s102中，从测距传感器10获取实质在同时刻拍摄到的反射光图像imr以及背景光图像iml，或者从外界照相机20获取照相机图像imc。
[0062]
在s103中，判定在s102获取的图像是否是测距传感器10的传感器图像ims。在s103中，判定为从外界照相机20获取了照相机图像imc的情况下，进入s105。另一方面，在s103中，判定为从测距传感器10获取了传感器图像ims的情况下，进入s104。
[0063]
在s104中，进行在同一坐标系生成的反射光图像imr以及背景光图像iml的匹配处理，获取与背景光图像iml的各像素位置对应的反射光图像imr的距离值。并且在s104中，准备包含与被摄对象po相关的特征点fpa等的距离值以及亮度值的传感器元件信息，并进入s105。
[0064]
在s105中，实施使用背景光图像iml以及反射光图像imr准备的传感器元件信息、和使用照相机图像imc准备的照相机像素信息的比较。在紧前面的s102中获取了照相机图像imc的情况下，读出在上一次的s104准备的传感器元件信息，与根据这次的照相机图像imc准备的照相机元件信息进行比较。另一方面，在紧前面的s102，获取了传感器图像ims的情况下，将在紧前面的s104准备的传感器元件信息与基于在上一次的s102获取的最新的照相机图像imc的照相机元件信息进行比较。在s105中，通过将照相机元件信息作为基准，对基于上述的数式(1)的各元件信息的亮度值进行比较的处理，估计移动量δr、δt，并进入s106。
[0065]
在s106中，基于上述的数式(2)，实施从在s105估计出的移动量除去外部参数的处理，运算车辆a的自身移动量δr＿ego、δt＿ego。将在s107中估计出的最新的自身移动量
输出到外部的自动驾驶ecu50等，并进入s107。
[0066]
在s107中，判定自动驾驶系统110是否移至关闭状态。在s107中，判定为系统的工作继续的情况下，返回到s102，继续自己移动的估计。另一方面，在s107中，判定为系统移至关闭状态的情况下，进入s108。然后，在s108中，执行传感器封装体100的结束处理，结束一系列的移动量估计处理。
[0067]
在到此为止进行了说明的第一实施方式中，不仅是反射光图像imr，估计对象et的移动量的估计也使用背景光图像iml以及照相机图像imc。根据以上，与仅根据反射光图像imr估计移动量的情况相比较，能够以较高的帧速率实施移动量的估计。因此，容易确保移动量的估计精度。
[0068]
除此之外在第一实施方式中，不仅是基于反射光图像imr的距离值的被摄对象po的形状信息，移动量估计也使用基于背景光图像iml以及照相机图像imc的亮度值的被摄对象po的纹理信息。根据以上，即使在各测定范围ma1、ma2静止的立体结构物较少的场景下，图像处理ecu30也能够精度良好地估计估计对象et的移动量。
[0069]
另外在第一实施方式中，搭载受光元件12a以及照相机元件22a的车辆a为估计对象et，自身移动量运算部46估计车辆a的自身移动量。如上述那样，根据传感器图像ims以及照相机图像imc的组合所带来的帧速率的提高，即使估计对象et为车辆a，也容易对其自身移动量确保较高的估计精度。
[0070]
并且在第一实施方式中，生成反射光图像imr以及背景光图像iml的快门开始时刻tf相对于照相机图像imc的快门开始时刻te偏移。因此，在时间上连续的传感器图像ims和照相机图像imc成为在估计对象et的位置彼此不同的状态下获取的图像。根据以上，能够更可靠地发挥提高了帧速率所带来的移动量的估计精度的提高效果。
[0071]
除此之外在第一实施方式中，受光元件12a中的帧期间的整体相对于照相机元件22a中的曝光期间的整体偏移。如以上那样，若使帧期间与曝光期间较大地偏移，使这些期间不重复，则图像处理ecu30对图像的获取间隔变得稳定。其结果，估计出的移动量的精度也抑制变动，容易稳定地维持为较高的状态。
[0072]
另外在第一实施方式中，对使用传感器图像ims准备的被摄对象po相关的传感器元件信息、和使用照相机图像imc准备的被摄对象po相关的照相机元件信息进行比较。如以上那样，通过并不对各图像数据整体的像素的值进行比较，而进行限制于与被摄对象po相关的像素的比较，图像处理模块42能够高速地进行移动量的估计。
[0073]
并且在第一实施方式中，通过转换函数w的应用，传感器元件信息转换为能够与照相机元件信息进行比较的信息。然后，移动量估计部45将照相机元件信息作为基准，对传感器元件信息所包含的亮度值和照相机元件信息所包含的亮度值进行比较，估计移动量。如以上那样，用于估计移动量的图像间的差分运算主要使用在各图像ims、imc共同地包含的亮度值。换句话说，不实施根据照相机元件信息，生成用于与传感器元件信息的距离值进行比较的值的处理。其结果为，能够降低移动量的估计处理所需要的运算负荷。
[0074]
除此之外，在第一实施方式中，传感器图像ims中的被摄对象po以及特征点fpa的确定不仅利用背景光图像iml的亮度值，还利用反射光图像imr的距离值。根据以上，即使传感器图像ims相对于照相机图像imc相对地低分辨率，也能够在传感器图像ims精度良好地设定作为亮度值的比较对象的图像中的像素的位置。其结果，也容易确保利用梯度法估计
出的移动量δr、δt的精度。
[0075]
另外，在第一实施方式中，测距传感器10相当于“测距装置”，外界照相机20相当于“照相机装置”，图像处理ecu30相当于“运算装置”以及“移动量估计装置”。另外，处理部31相当于“处理器”，图像处理模块42相当于“估计部”，车辆a相当于“移动体”，传感器封装体100相当于“移动量估计系统”。
[0076]
＜第二实施方式＞
[0077]
在图7所示的第二实施方式中，外界照相机20中的照相机图像imc的拍摄周期与测距传感器10中的传感器图像ims的拍摄周期不同。具体而言，设定为照相机图像imc的帧速率比传感器图像ims的帧速率高。作为一个例子，在第二实施方式中，照相机图像imc的帧速率为传感器图像ims的三倍左右。而且，在传感器图像ims的拍摄定时sts亦即时刻t1、t5的期间，产生三次照相机图像imc的拍摄定时stc(参照时刻t2、t3、t4)。如图3以及图7所示，图像获取部41从测距传感器10以及外界照相机20依次获取时刻t1的传感器图像ims、时刻t2～t4的各照相机图像imc、时刻t5的传感器图像ims。
[0078]
图像处理模块42除了组合了传感器图像ims以及照相机图像imc的移动量估计之外，还实施使用在时间上连续的多个照相机图像imc的移动量估计。具体而言，图像处理模块42在时刻t2～t4等获取了照相机图像imc时，将各时刻的照相机图像imc与最新(时刻t1)的传感器图像ims组合，实施移动量估计。除此之外图像处理模块42在时刻t3、t4，将各时刻的最新的照相机图像imc与前一个帧的照相机图像imc(时刻t2、t3)组合，实施移动量估计。
[0079]
并且图像处理模块42在获取了传感器图像ims时，能够进行与多个照相机图像imc独立地进行对比的处理，来估计移动量。具体而言，图像处理模块42若获取时刻t5的传感器图像ims，则除了时刻t4的照相机图像imc之外，还将该传感器图像ims与时刻t3的照相机图像imc进行比较。图像处理模块42对多个比较结果进行综合，来估计移动量。
[0080]
在到此为止进行了说明的第二实施方式中，也实现与第一实施方式相同的效果，通过较高的帧速率的移动量估计，能够实现估计精度的确保。除此之外在第二实施方式中，在视为由照相机图像imc以及传感器图像ims构成多个帧的情况下，不仅实施在时间上相邻的帧间的亮度值比较，也实施跳过一个帧间的亮度值比较。根据这样的处理的采用，更容易确保移动量的估计精度。
[0081]
＜其它的实施方式＞
[0082]
以上，对本公开的多个实施方式进行了说明，但本公开并不限定于上述实施方式进行解释，能够在不脱离本公开的主旨的范围内应用于各种实施方式以及组合。
[0083]
在上述实施方式的变形例1中，设定为测距传感器10的帧速率比外界照相机20的帧速率高。另外在变形例2中，使测距传感器10以及外界照相机20的帧速率可变。如以上的变形例1、2那样，可以适当地变更测距传感器10以及外界照相机20的帧速率。
[0084]
除此之外，传感器图像ims的快门开始时刻tf与照相机图像imc的快门开始时刻te也可以并不在全部的拍摄定时sts、stc完全偏移。换句话说，也可以在测距传感器10以及外界照相机20的帧速率相互不同的状态下，在特定的定时，使相互的快门开始时刻tf、te偶发地一致。变形例3的图像处理模块42具有把握各图像ims、imc的快门开始时刻tf、te，在相互的开始时刻tf、te实质相同的情况下，中止这些图像间的亮度值比较的功能。
[0085]
这里，帧期间的整体与曝光期间的整体在前后偏移，并且，帧期间以及曝光期间的
一方的结束时刻与另一方的开始时刻接近的传感器图像ims以及照相机图像imc成为适合移动量估计的图像组。图像处理模块42在帧速率相互不同的情况下，也可以选择与上述的条件一致的图像组，实施移动量估计。
[0086]
在上述实施方式的变形例4中，测距传感器10以及外界照相机20固定于静止结构物。图像处理模块42将在传感器图像ims以及照相机图像imc共同地检测到的被摄对象po作为估计对象et，估计该被摄对象po的移动量。如以上的变形例4那样，估计对象et并不限定于车辆a等自身的移动体。并且，测距传感器10以及外界照相机20也可以设置于不移动的结构物。
[0087]
变形例5的图像处理模块42正确地把握测距传感器10的快门开始时刻tf以及帧期间、和外界照相机20的快门开始时刻te以及曝光期间。图像处理模块42在估计出自身的平移移动量δt＿ego之后，使用快门开始时刻tf、te间的差分时间，运算作为移动体的车辆a的移动速度。即，图像处理模块42也可以除了移动量估计功能之外，还具备移动速度估计功能。另外，在不具备移动速度的运算功能的情况下，图像处理模块42也可以不正确地把握各快门开始时刻tf、te的对应关系。
[0088]
变形例6的图像处理模块42实施对从特定的基准点(例如移动开始地点)起的移动量进行累计，估计车辆a的当前位置的运算。即，图像处理模块42也可以除了移动量估计功能之外，还具备位置估计功能。
[0089]
在上述实施方式中，组合实质在相同时刻拍摄到的反射光图像imr以及背景光图像iml的像素信息，生成包含距离值以及亮度值的传感器元件信息。然后，通过利用转换函数w对这样的传感器元件信息进行转换，并与照相机素信息进行比较的处理，实施移动量的估计。
[0090]
与此相对，在上述实施方式的变形例7的图像处理模块42中，独立地实施反射光图像imr以及照相机图像imc的比较、和背景光图像iml以及照相机图像imc的比较。然后，图像处理模块42通过对各个比较结果进行综合，来估计移动量。这样，可以适当地变更使用反射光图像imr、背景光图像iml以及照相机图像imc的移动量估计的具体的处理工序。除此之外，反射光图像imr以及背景光图像iml也可以不是实际在相同时刻拍摄到的图像。并且，也可以对照相机图像imc的亮度值实施应用转换函数等的数据处理，以能够与反射光图像imr的距离值进行比较。即，也可以实施以传感器图像ims为基准的移动量估计处理。
[0091]
在上述实施方式的变形例8中，测距传感器10以及外界照相机20构成作为一体型的传感器单元。另外在变形例9中，使传感器单元与图像处理ecu30为一体型，构成传感器封装体单元。并且，在变形例10中，在一个综合控制ecu集中安装图像处理ecu30以及自动驾驶ecu50的各功能。另外在变形例11中，通过设置在网络上的计算机执行图像处理ecu30的移动量估计相关的处理的至少一部分。在这样的变形例11中，移动量估计的结果通过网络提供给车辆a的自动驾驶ecu50。
[0092]
在上述实施方式的变形例12中，多个测距传感器10或者多个外界照相机20将图像数据依次输出到图像处理ecu30。图像处理ecu30能够从获取的图像数据中，适当地组合包含共用的被摄对象po的图像，并实施移动量估计。若如这样的变形例12那样，能够通过移动检测同一被摄对象po，则各测定范围也可以并不一定重叠。另外，测距传感器10以及外界照相机20的各测定范围并不限定于车辆a的前方范围，也可以是侧方范围、后方范围。
[0093]
变形例13的测距传感器10是不具备多面镜等可动光学部件的非扫描侧的光达装置。并且，也可以利用全局快门方式拍摄反射光图像imr以及背景光图像iml。另外，通过变形例14的外界照相机20输出的照相机图像imc不是彩色图像，而是灰度图像。也可以利用滚动快门方式拍摄这样的照相机图像imc。在变形例15的图像处理ecu30，除了测距传感器10以及外界照相机20之外，例如还电连接有雷达装置以及声呐装置等自主传感器。图像处理ecu30能够进一步组合各装置的检测信息，估计自身移动量等。
[0094]
在上述实施方式中，也能够通过软件以及执行该软件的硬件，仅软件，仅硬件，或者它们的复合的组合提供通过图像处理ecu30提供的各功能。并且，在通过作为硬件的电子电路提供这样的功能的情况下，也能够通过包含许多的逻辑电路的数字电路，或者模拟电路提供各功能。
[0095]
并且，也可以适当地变更存储能够实现上述的移动量估计方法的移动量估计程序等的存储介质(持续性有形计算机读取介质，non-transitory tangible storage medium)的形态。例如存储介质并不限定于设置在电路基板上的构成，也可以是以存储卡等形态提供，插入到插口部，并与图像处理ecu30的控制电路电连接的构成。并且，存储介质也可以是成为图像处理ecu30的程序的复印源的光盘以及硬盘。
[0096]
也可以通过构成被编程为执行通过计算机程序具体化的一个或者多个功能的处理器的专用计算机实现本公开所记载的控制部及其方法。或者，也可以通过专用硬件逻辑电路实现本公开所记载的装置及其方法。或者，也可以通过由执行计算机程序的处理器与一个以上的硬件逻辑电路的组合构成的一个以上的专用计算机实现本公开所记载的装置及其方法。另外，计算机程序也可以作为通过计算机执行的指令，存储于计算机能够读取的非迁移有形记录介质。