影像配准装置、图像生成系统、影像配准方法及影像配准程序与流程

影像配准装置、图像生成系统、影像配准方法及影像配准程序
1.相关申请的交叉引用
2.本技术以在2019年9月10日在日本技术的专利申请第2019-164860号为基础，整体上通过参照来引用基础申请的内容。
技术领域
3.本说明书的公开涉及影像配准装置、图像生成系统、影像配准方法及影像配准程序。


背景技术：

4.在专利文献1中公开测距传感器。该测距传感器能够通过由受光元件感知通过光照射而从物体反射的反射光，来生成包含距离信息的反射光图像。在专利文献2中公开相机。相机能够通过由相机元件检测来自外部的入射光，来生成高分辨率的相机图像。
5.专利文献1：日本特开2019-95452号公报
6.专利文献2：日本特开2018-69878号公报
7.反射光图像和相机图像能够由应用来处理。然而，在反射光图像和相机图像中，检测定时会产生偏差δt。在偏差δt的期间，映现于反射光图像和相机图像的物体移动了的情况下，难以将映现于反射光图像的物体与映现于相机图像的物体高精度地建立关联来进行处理。因此，即使应用使用了反射光图像和相机图像双方，也无法最大限度地利用这些图像的信息，因此无法充分地提高处理精度。


技术实现要素：

8.本说明书的公开的目的之一在于提供提高应用的处理精度的影像配准装置、图像生成系统、影像配准方法以及影像配准程序。
9.这里公开的一个方式提供一种影像配准装置，与测距传感器可通信地连接，并且与相机可通信地连接，测距传感器通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像，相机通过由相机元件检测来自外部的入射光来生成与反射光图像和背景光图像相比高分辨率的相机图像，其中，影像配准装置具备：
10.图像获取部，获取反射光图像、背景光图像和相机图像；以及
11.图像处理部，通过确定背景光图像的特征点与相机图像的特征点之间的对应关系，来实施与背景光图像相同坐标系的反射光图像与相机图像的影像配准。
12.根据这样的方式，使用与反射光图像相同坐标系的背景光图像来实施所获取的反射光图像与相机图像的影像配准。即，在与反射光图像相比性质接近相机图像的背景光图像的特征点与相机图像的特征点的比较中，特征点彼此的对应关系的确定变得容易。通过这样的建立对应关系，能够使反射光图像的坐标系与相机图像的坐标系高精度地一致，因此能够显著提高使用反射光图像和相机图像双方的应用的处理精度。
13.另外，所公开的另一个方式提供一种图像生成系统，生成使应用进行处理的图像，其中，图像生成系统具备：
14.测距传感器，通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像；
15.相机，通过由相机元件检测来自外部的入射光来生成与反射光图像和背景光图像相比高分辨率的相机图像；以及
16.图像处理部，通过确定背景光图像的特征点与相机图像的特征点之间的对应关系，来实施与背景光图像相同坐标系的反射光图像与相机图像的影像配准，生成综合了距离信息和相机图像的信息的复合图像。
17.根据这样的方式，使用与反射光图像相同坐标系的背景光图像来实施反射光图像与相机图像的影像配准。即，在与反射光图像相比性质接近相机图像的背景光图像的特征点与相机图像的特征点的比较中，特征点彼此的对应关系的确定变得容易。通过这样的建立对应关系，能够使反射光图像的坐标系与相机图像的坐标系高精度地一致。而且，来自测距传感器和相机的不同的图像生成源的信息即距离信息和相机图像的信息能够以应用容易处理的复合图像的方式提供。因此，能够显著提高使用反射光图像和相机图像双方的应用的处理精度。
18.另外，作为所公开的另一个方式，影像配准方法包括：
19.准备反射光图像和背景光图像，其中，反射光图像和背景光图像是测距传感器生成的图像，通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像；
20.准备相机图像，其中，相机图像是相机生成的图像，通过由相机元件检测来自外部的入射光来生成与反射光图像和背景光图像相比高分辨率的相机图像；
21.分别检测背景光图像的特征点和相机图像的特征点；
22.确定检测出的背景光图像的特征点与相机图像的特征点之间的对应关系；以及
23.基于对应关系的确定结果，使背景光图像和相机图像中的一方的各像素与另一方的各像素对应。
24.根据这样的方式，分别检测所准备的背景光图像的特征点和相机图像的特征点。然后，确定检测出的背景光图像的特征点与相机图像的特征点之间的对应关系。然后，基于对应关系的确定结果，使背景光图像和相机图像中的一方的各像素与另一方的各像素对应。这样，使用与反射光图像相同坐标系并且与反射光图像相比性质接近相机图像的背景光图像来实施反射光图像与相机图像的影像配准，因此特征点彼此的对应关系的确定变得容易。通过这样的建立对应关系，能够使反射光图像的坐标系与相机图像的坐标系高精度地一致，因此能够显著提高使用反射光图像和相机图像双方的应用的处理精度。而且，在确定了特征点彼此的对应关系之后，使用该结果来使各像素的坐标对应，因此与过度地确定各像素的对应关系的情况相比，能够实现处理量的抑制或者处理速度的提高，并且能够实施精度较高的影像配准。
25.另外，所公开的另一个方式提供一种影像配准程序，实施测距传感器生成的图像
与相机生成的图像的影像配准，其中，
26.影像配准程序使至少一个处理部执行如下的处理：
27.获取反射光图像和背景光图像的处理，其中，反射光图像和背景光图像是测距传感器生成的图像，通过由受光元件感知通过光照射而从物体反射的反射光来生成包含距离信息的反射光图像，通过由受光元件感知相对于反射光的背景光来生成与反射光图像相同坐标系的背景光图像；
28.获取相机图像的处理，其中，相机图像是相机生成的图像，通过由相机元件检测来自外部的入射光来生成与反射光图像和背景光图像相比高分辨率的相机图像；
29.分别检测背景光图像的特征点和相机图像的特征点的处理；
30.确定检测出的背景光图像的特征点与相机图像的特征点之间的对应关系的处理；以及
31.基于对应关系的确定结果，使背景光图像和相机图像中的一方的各像素与另一方的各像素对应的处理。
32.根据这样的方式，分别检测所获取的背景光图像的特征点和相机图像的特征点。然后，确定检测出的背景光图像的特征点与相机图像的特征点之间的对应关系。然后，基于对应关系的确定结果，使背景光图像和相机图像中的一方的各像素与另一方的各像素对应。这样，使用与反射光图像相同坐标系并且与反射光图像相比性质接近相机图像的背景光图像来实施反射光图像与相机图像的影像配准，因此特征点彼此的对应关系的确定变得容易。通过这样的建立对应关系，能够使反射光图像的坐标系与相机图像的坐标系高精度地一致，因此能够显著提高使用反射光图像和相机图像双方的应用的处理精度。而且，在确定了特征点彼此的对应关系之后，使用该结果来使各像素的坐标对应，因此与过度地确定各像素的对应关系的情况相比，能够实现处理量的抑制或者处理速度的提高，并且能够实施精度较高的影像配准。
33.此外，权利要求等中的括弧内的附图标记例示性地表示与后述的实施方式的部分的对应关系，并不意图限定技术范围。
附图说明
34.图1是表示第一实施方式的图像生成系统和驾驶辅助ecu的整体像的图。
35.图2是表示第一实施方式的测距传感器和外界相机向车辆的搭载状态的图。
36.图3是表示第一实施方式的图像处理ecu的结构的构成图。
37.图4a是用于对第一实施方式的背景光图像中的特征点的检测进行说明的图。
38.图4b是将图4a所包含的背景光图像变更为线图的图。
39.图5a是用于对第一实施方式的相机图像中的特征点的检测进行说明的图。
40.图5b是将图5a所包含的相机图像变更为线图的图。
41.图6a是用于对第一实施方式的特征点的对应关系的确定进行说明的图。
42.图6b是将图6a所示的所包含的相机图像和背景光图像变更为线图的图。
43.图7是用于对第一实施方式的坐标的匹配进行说明的图。
44.图8是用于对第一实施方式的图像处理ecu的处理进行说明的流程图。
45.图9是第二实施方式的与图3对应的图。
具体实施方式
46.以下，基于附图对多个实施方式进行说明。此外，通过对在各实施方式中对应的构成要素标注相同的附图标记，有时省略重复的说明。在各实施方式中仅说明结构的一部分的情况下，对于该结构的其他部分，能够应用在之前说明的其他实施方式的结构。另外，不仅是在各实施方式的说明中明示的结构的组合，只要不特别地对组合产生妨碍，即使没有明示，也能够将多个实施方式的结构彼此部分地组合。
47.(第一实施方式)
48.如图1所示，本公开的第一实施方式的影像配准装置用于作为移动体的车辆1，成为构成为搭载于车辆1的图像处理ecu(electronic control unit：电子控制单元)30。图像处理ecu30与测距传感器10和外界相机20一同构成图像生成系统100。本实施方式的图像生成系统100能够生成综合了测距传感器10和外界相机20的测定结果的周边监视图像信息，并提供给驾驶辅助ecu50等。
49.图像处理ecu30与搭载于车辆1的车载网络的通信总线可通信地连接。图像处理ecu30为设置于车辆网络的多个节点中的一个。除了测距传感器10、外界相机20之外，驾驶辅助ecu50等分别作为节点连接在车载网络的通信总线上。
50.驾驶辅助ecu50是将具备处理器、ram(random access memory：随机存取存储器)、存储部、输入输出接口以及将它们连接的总线等的计算机作为主体而包含的结构。驾驶辅助ecu50具备在车辆1中辅助驾驶员的驾驶操作的驾驶辅助功能、以及能够代行驾驶员的驾驶操作的驾驶代行功能的至少一方。驾驶辅助ecu50通过由处理器执行存储于存储部的程序，来基于从图像生成系统100获取的周边监视图像信息，识别车辆1的周边环境。驾驶辅助ecu50通过由处理器执行存储于存储部的程序，来实现与识别结果对应的车辆1的自动驾驶或者高度驾驶辅助。
51.接下来，依次说明图像生成系统100所包含的测距传感器10、外界相机20以及图像处理ecu30的各详细内容。
52.测距传感器10例如是配置于车辆1的前方或者车辆1的车顶的spad lidar(single photon avalanche diode light detection and ranging：单光子雪崩二极管光探测和测距)。测距传感器10能够测定车辆1的周边中的至少前方的测定范围ma1。
53.测距传感器10是包含发光部11、受光部12、控制单元13等的结构。发光部11通过使用可动光学部件(例如多面镜)进行扫描，来朝向图2所示的测定范围ma1照射从光源发出的光束。光源例如为半导体激光(laser diode：激光二极管)，根据来自控制单元13的电信号，发出乘员和外界的人无法视觉确认的近红外区域的光束。
54.受光部12例如通过聚光透镜对所照射的光束被测定范围ma1内的物体反射的反射光或者相对于反射光的背景光进行聚光，并使其向受光元件12a入射。
55.受光元件12a是通过光电变换将光变换为电信号的元件，是通过放大检测电压而实现高灵敏度的spad受光元件。在受光元件12a中，例如为了检测近红外区域的反射光，采用相对于可视区域将近红外区域的灵敏度设定得高的cmos传感器。该灵敏度也可以通过在受光部12设置光学滤波器来调整。受光元件12a以在一维方向或者二维方向上排列的方式呈阵列状地具有多个受光像素。
56.控制单元13是控制发光部11和受光部12的单元。控制单元13例如配置在与受光元
件12a共用的基板上，例如以微型计算机或fpga(field-programmable gate array：现场可编程门阵列)等广义的处理器为主体而构成。控制单元13实现扫描控制功能、反射光测定功能以及背景光测定功能。
57.扫描控制功能是控制光束扫描的功能。控制单元13在基于设置于测距传感器10的时钟振荡器的动作时钟的定时，从光源使光束以脉冲状振荡多次，并且使可动光学部件动作。
58.反射光测定功能是与光束扫描的定时相匹配地，例如使用滚动快门方式来读出基于各受光像素接受到的反射光的电压值，测定反射光的强度的功能。在反射光的测定中，通过检测光束的发光定时与反射光的受光定时的时间差，能够测定从测距传感器10到反射了反射光的物体为止的距离。通过反射光的测定，控制单元13能够生成反射光图像，该反射光图像是将反射光的强度和反射了该反射光的物体的距离信息与测定范围ma1所对应的图像平面上的二维坐标相关联的图像状的数据。
59.背景光测定功能是在紧接测定反射光之前的定时，读出基于各受光像素接受到的背景光的电压值，并测定背景光的强度的功能。这里，背景光是指实质上不包含反射光的、从外界中的测定范围ma1向受光元件12a入射的入射光。入射光包含自然光、从外界的显示等入射的显示光等。通过背景光的测定，控制单元13能够生成背景光图像iml，该背景光图像iml是将背景光的强度与测定范围ma1所对应的图像平面上的二维坐标相关联的图像状的数据。
60.反射光图像和背景光图像iml由共用的受光元件12a感知，并从包含该受光元件12a的共用的光学系统获取。因此，反射光图像的坐标系和背景光图像iml的坐标系能够视为相互一致的相同坐标系。而且，可以说在反射光图像与背景光图像iml之间几乎没有测定定时的偏差(例如小于1ns)。因此，反射光图像和背景光图像iml能够视为也获取同步。
61.例如在本实施方式中，与各像素对应地，储存了反射光的强度、物体的距离以及背景光的强度的3通道的数据的一体的图像数据作为传感器图像被依次输出到图像处理ecu30。
62.外界相机20例如是配置在车辆1的前挡风玻璃的车厢内侧的相机。外界相机20能够测定车辆1的外界中的至少前方的测定范围ma2，更详细地说与测距传感器10的测定范围ma1至少一部分重复的测定范围ma2。
63.外界相机20是包含受光部22和控制单元23的结构。受光部22例如通过受光透镜对从相机外部的测定范围ma2入射的入射光(背景光)进行聚光，并使其向相机元件22a入射。
64.相机元件22a是通过光电变换将光变换为电信号的元件，例如能够采用ccd传感器或者cmos传感器。在相机元件22a中，为了高效地接受可视区域的自然光，相对于近红外区域将可视区域的灵敏度设定得高。相机元件22a以在二维方向上排列的方式呈阵列状地具有多个受光像素(相当于所谓的子像素)。在相互邻接的受光像素例如配置有红色、绿色、蓝色的滤色器。各受光像素接受与所配置的滤色器对应的颜色的可见光。通过分别测定红色的强度、绿色的强度、蓝色的强度，从而由外界相机20拍摄的相机图像imc是比反射光图像和背景光图像iml高分辨率的图像，能够成为可视区域的彩色图像。
65.控制单元23是控制受光部22的单元。控制单元23例如配置在与相机元件22a共用的基板上，以微型计算机或者fpga等广义的处理器为主体而构成。控制单元23实现拍摄功
能。
66.拍摄功能是拍摄上述的彩色图像的功能。控制单元23在基于设置于外界相机20的时钟振荡器的动作时钟的定时，例如使用全局快门方式读出基于各受光像素接受到的入射光的电压值，感知并测定入射光的强度。该时钟振荡器与测距传感器10的时钟振荡器分开独立地设置。控制单元23能够生成相机图像imc，该相机图像imc是将入射光的强度与测定范围ma2所对应的图像平面上的二维坐标相关联的图像状的数据。这样的相机图像imc依次输出到图像处理ecu30。
67.测距传感器10与外界相机20基于不同的时钟振荡器进行动作，测定定时的周期(即帧率)也不限于一致，多数情况下不同。因此，在反射光图像和背景光图像iml与相机图像imc之间产生测定定时的偏差δt。δt能够成为反射光图像与背景光图像iml之间的测定定时的偏差的1000倍以上。
68.图像处理ecu30是对反射光图像、背景光图像iml以及相机图像imc复合地进行图像处理的电子控制装置。图像处理ecu30是将具备处理部31、ram32、存储部33、输入输出接口34以及将它们连接的总线等的计算机作为主体而包含的结构。处理部31是与ram32结合的用于运算处理的硬件。处理部31是包含至少一个cpu(central processing unit：中央处理单元)、gpu(graphical processing unit：图形处理单元)、risc(reduced instruction set computer：精简指令集计算机)等运算核的结构。处理部31也可以是还包含fpga和具备其他专用功能的ip核等的结构。ram32也可以是包含用于图像生成的视频ram的结构。处理部31通过对ram32的访问，执行用于实现后述的各功能部的功能的各种处理。存储部33是包含非易失性存储介质的结构。在存储部33储存有由处理部31执行的各种程序(影像配准程序等)。
69.图像处理ecu30具有用于通过由处理部31执行存储于存储部33的影像配准程序来实施影像配准(image registration)的多个功能部。具体地说，如图3所示，在图像处理ecu30中，构建图像获取部41和图像处理部42等功能部。
70.图像获取部41从测距传感器10获取反射光图像和背景光图像iml，并且从外界相机20获取相机图像imc。图像获取部41将最新的反射光图像和背景光图像iml的组与最新的相机图像imc依次提供给图像处理部42。
71.图像处理部42通过确定背景光图像iml的特征点fpa与相机图像imc的特征点fpb之间的对应关系，来实施具有与背景光图像iml相同坐标系的反射光图像与相机图像imc的影像配准。特别是，本实施方式的图像处理部42若被输入储存了反射光的强度、物体的距离以及背景光的强度的3通道的数据的传感器图像、以及为高分辨率图像并且为可视区域的彩色图像的相机图像imc，则输出储存了反射光的强度、物体的距离、背景光的强度以及彩色信息的4通道以上的数据的复合图像。在本实施方式中，彩色信息由红色的强度、绿色的强度以及蓝色的强度的3通道的数据构成，因此复合图像成为储存了6通道的数据的图像。
72.图像处理部42具有特征点检测功能、对应关系确定功能以及坐标匹配功能。在影像配准中，特征点检测功能实现第一阶段的处理，对应关系确定功能实现第一阶段之后的第二阶段的处理，坐标匹配功能实现第二阶段之后的第三阶段的处理。
73.特征点检测功能是分别检测背景光图像iml的特征点fpa和相机图像imc的特征点fpb的功能。特征点fpa、fpb例如能够采用角。特征点fpa、fpb的检测能够采用使用了特征点
检测器的各种特征点检测法。特别是在本实施方式中，采用基于哈里斯角检测器(harris corner detector)43a、43b的哈里斯角检测法。
74.哈里斯角检测器43a、43b在通过使用了泰勒展开的近似以结构张量表现伴随着像素的位置在评价对象区域内的移动的强度的差分的加权平方和的情况下，利用该结构张量的固有值，来检测特征点fpa、fpb。哈里斯角检测器43a、43b通过结构张量的矩阵式和固有和的评价，能够判别评价对象区域是角(它们相当于特征点fpa、fpb)、还是边缘、还是平坦。
75.如图4a和图4b所示，哈里斯角检测器43a检测多个背景光图像iml的特征点fpa。如图5a和图5b所示，哈里斯角检测器43b检测多个相机图像imc的特征点fpb。在图4a～5b中，特征点fpa、fpb由十字的标记示意性地表现，但实际上，检测更多的特征点fpa、fpb。
76.哈里斯角检测器43a、43b具有影响尺度的一个以上的(在本实施方式中为两个)参数(换言之，相对于尺度的不变性较低的参数)。例如，第一个参数是评价对象区域的尺寸。第二个参数是梯度检测滤波器(例如sobel的梯度检测滤波器)的内核尺寸。
77.对于这样的影响尺度的参数，由于背景光图像iml的分辨率与相机图像imc的分辨率不同，因此哈里斯角检测器43a、43b通常对于背景光图像iml和相机图像imc，检测相互不同数量的特征点fpa、fpb。因此，即使测距传感器10的测定范围ma1与外界相机20的测定范围ma2之间存在重复范围，也不限于对该重复范围检测相同数量的特征点fpa、fpb。
78.在图3中，为了方便，哈里斯角检测器43a、43b与背景光图像iml、相机图像imc分别对应地各配置一个，但也可以相对于背景光图像iml和相机图像imc共用地(通过共用的程序)设置。也可以是，相对于背景光图像iml和相机图像imc共用地设置仅哈里斯角检测器43a、43b的处理中的、通用性较高的一部分。
79.对应关系确定功能确定背景光图像iml的特征点fpa与相机图像imc的特征点fpb之间的对应关系。本实施方式中，除了检测出的特征点fpa、fpb的数量不同之外，背景光图像iml内的多个特征点fpa的位置关系与相机图像imc内的多个特征点fpb的位置关系有可能不同，有可能包含没有对应关系的特征点fpa、fpb，这提高了对应关系的确定的困难性。
80.即，如图2所示，测距传感器10的受光元件12a和外界相机20的相机元件22a在车辆1中配置在相互不同的位置，配置的朝向也不同。其结果为，如上述那样背景光图像iml内的多个特征点fpa的位置关系与相机图像imc内的多个特征点fpb的位置关系不同。
81.另外，像本实施方式那样，在用于高速移动的车辆1的情况下，由于测定定时的偏差δt，映现于背景光图像iml的物体的位置与映现于相机图像imc的物体的位置有可能大幅不同，甚至有可能仅在一方映现物体。因此，容易产生背景光图像iml内的多个特征点fpa的位置关系与相机图像imc内的多个特征点fpb的位置关系不同以及包含没有对应关系的特征点fpa、fpb。
82.为了应对这样的对应关系的确定的困难性，第一，图像处理部42使用从包含各特征点fpa、fpb的周边区域得到的特征量并且是相对于尺度不变性较高的特征量，确定对应关系。作为相对于尺度不变性较高的特征量，例如列举与边缘的方向相关的信息、周边区域中的某些物理量的平均值或者比率等。在本实施方式中，作为相对于尺度不变性较高的特征量，采用对周边区域应用低通滤波器的情况下的针对平滑化程度的极值的信息。
83.例如本实施方式的图像处理部42通过sift特征量检测器(以下，特征量检测器)44a、44b来检测sift(scale-invariant feature transform：尺度不变特征变换)的特征量
(以下，sift特征量)，使用检测出的sift特征量来确定对应关系。特征量检测器44a、44b对包含由哈里斯角检测器43a、43b检测出的各特征点fpa、fpb的周边区域应用高斯滤波器(gaussian filter)作为上述的低通滤波器。
84.特征量检测器44a、44b使与该高斯滤波器的标准偏差相当的权重系数σ变化，探索该周边区域的局部极值。特征量检测器44a、44b将发现了局部极值的σ中的有希望的(除去边缘的)至少一部分的σ作为相对于尺度不变性较高的sift特征量。
85.这样，在与背景光图像iml的各特征点fpa单独对应的sift特征量和与相机图像imc的各特征点fpb单独对应的sift特征量的比较中，能够提高特征点fpa、fpb彼此的匹配精度。
86.在图3中，为了方便，特征量检测器44a、44b与背景光图像iml、相机图像imc分别对应地各配置一个，但也可以相对于背景光图像iml和相机图像imc共用地(通过共用的程序)设置。也可以是，相对于背景光图像iml和相机图像imc共用地设置仅特征量检测器44a、44b的处理中的、通用性较高的一部分。
87.第二，图像处理部42考虑基于测距传感器10与外界相机20之间的相对位置的、图像上的映现对应点的位置的差异，来确定对应关系。如图6a和图6b所示，图像处理部42基于对极几何(epipolar geometry)，通过极线(epipolar line)投影器45将与相机图像imc的特征点fpb对应的极线el投影到背景光图像iml。极线el是极平面(epipolar plane)与图像平面相交的线。极平面是通过测距传感器10的光学中心、外界相机20的光学中心、与相机图像imc的特征点fpb对应的被拍摄体的三维点的平面。
88.实际上，极线投影器45存储有基于受光元件12a的位置和相机元件22a的位置而规定的e矩阵(essential matrix：本质矩阵)。e矩阵是用于将相机图像imc上的点映射到背景光图像iml上的线(即极线el)的矩阵。
89.假设在背景光图像iml与相机图像imc之间获取同步，则与相机图像imc的某个特征点fpb具有对应关系的背景光图像iml的特征点fpb应该存在于基于极线投影器45的极线el上。然而，在本实施方式中，在背景光图像iml与相机图像imc之间存在测定定时的偏差δt，存在在偏差δt的期间映现于背景光图像iml和相机图像imc的物体移动的可能性。
90.因此，图像处理部42使用以极线el为中心线的带状的区域并且是具有规定的容许宽度w的判定区域ja，限定具有对应关系的特征点fpa。根据在背景光图像iml的测定定时与相机图像imc的测定定时之间假定的偏移量，来设定容许宽度w。具体地说，图像处理部42将位于判定区域ja的内部的背景光图像iml的特征点fpa限定为与作为极线el的投影源的相机图像imc的特征点fpb对应的点的候选。而且，将所限定的特征点fpa中的、sift特征量最近似的特征点fpa判定为对应的点。这样，图像处理部42根据相机图像imc的各特征点fpb和背景光图像iml的各特征点fpa来确定一对一的单独对应关系。在由哈里斯角检测器43a、43b检测出的特征点fpa、fpb的数量在背景光图像iml与相机图像imc之间不一致的情况下，当然，出现在对方的图像中没有发现处于对应关系的点的特征点fpa、fpb，但这样的特征点fpa、fpb在结果上不用于影像配准，从以后的处理中除去。
91.坐标匹配功能是基于确定了特征点fpa、fpb的对应关系的结果，使背景光图像iml和相机图像imc中的一方的各像素与另一方的各像素对应的功能。具体地说，如图7所示，图像处理部42基于具有对应关系的特征点fpa、fpb的对彼此的位置关系，使背景光图像iml和
相机图像imc中的至少一方非线性且平滑地变形，由此能够得到背景光图像iml的坐标系与相机图像imc的坐标系之间的对应关系。
92.图像处理部42在坐标的匹配时，例如使用tps模型来实施tps(thin plate spline：薄板花键)。tps模型将处于对应关系的特征点fpa、fpb的坐标作为共变量，实施tps。tps模型在背景光图像iml与相机图像imc之间，确定不符合特征点fpa、fpb的各像素的对应关系。
93.作为用于说明确定各像素的对应关系的意思的具体例，考虑相机图像imc的测定定时的δt后是背景光图像iml的测定定时，前方的其他车辆相对于车辆1在偏差δt的期间远离的情况。在该情况下，在背景光图像iml中映出其他车辆的特征点彼此的间隔相对于映出风景的特征点彼此的间隔之比小于相机图像imc中的映出其他车辆的特征点彼此的间隔相对于映出风景的特征点彼此的间隔之比。因此，通过以在背景光图像iml中映出其他车辆的区域相对于映出风景的区域被放大的方式，使该背景光图像iml非线性地变形，能够使背景光图像iml的坐标系与相机图像imc的坐标系一致。
94.即，坐标匹配功能中的处理能够对测定定时的偏差δt进行校正，对背景光图像iml和相机图像imc进行与相互获取同步的数据同样的处理。如上述那样，背景光图像iml能够视为与反射光图像相同坐标系并且获取同步。结果为，图像处理部42能够对包含距离信息的反射光图像和作为高分辨率且彩色图像的相机图像imc进行与相互获取同步的数据同样的处理。在这样的反射光图像与相机图像imc的影像配准中，背景光图像iml像用于将两个图像建立对应关系的粘接剂那样发挥功能。
95.而且，图像处理部42通过将与背景光图像iml的各像素对应的坐标变换为相机图像imc上的坐标，能够输出上述的一体的图像数据即复合图像。该复合图像对于各通道具有共用的坐标系，因此能够将使用该复合图像的应用程序(以下，应用)的处理简单化而减轻计算的负荷，并且提高该应用的处理精度。
96.在本实施方式中，图像处理部42所输出的复合图像作为周边监视图像信息提供给驾驶辅助ecu50。在驾驶辅助ecu50中，通过由处理器执行作为用于识别车辆1的周边环境的应用的物体识别程序，来实施利用了复合图像的物体识别。
97.在本实施方式中，实施使用语义分割(semantic segmentation)的物体识别。在驾驶辅助ecu50的存储部中，作为物体识别程序的一个构成要素，构建以神经网络为主体的物体识别模型51。该神经网络例如能够采用将编码器和解码器结合的被称为segnet的构造。
98.接下来，使用图8的流程图来说明基于影像配准程序，实施反射光图像与相机图像imc的影像配准的影像配准方法的详细内容。例如每隔规定时间、或者每当测距传感器10或者外界相机20生成新的图像时，实施基于该流程图的各步骤的一系列的图像处理。
99.首先，在s11中，图像获取部41从测距传感器10获取最新的反射光图像和背景光图像iml，并且从外界相机20获取最新的相机图像imc。图像获取部41将这些图像提供给图像处理部42。在s11的处理后，移至s12。
100.在s12中，图像处理部42分别检测背景光图像iml的特征点fpa和相机图像imc的特征点fpb。在s12的处理后，移至s13。
101.在s13中，图像处理部42确定在s12中检测出的背景光图像iml的特征点fpa与相机图像imc的特征点fpb之间的对应关系。在s13的处理后，移至s14。
102.在s14中，图像处理部42根据在s13中确定了对应关系的特征点fpa、fpb彼此的位置关系，在背景光图像iml与相机图像imc之间，进行不符合特征点fpa、fpb的各像素的坐标的建立对应关系(坐标的匹配)。在s14的处理后，移至s15。
103.在s15中，图像处理部42将背景光图像iml和反射光图像的坐标系变换为相机图像imc的坐标系、或者实施该相反的处理，由此完成反射光图像与相机图像imc的影像配准。通过s15结束一系列的处理。
104.(作用效果)
105.以下再次说明以上说明的第一实施方式的作用效果。
106.根据第一实施方式的图像处理ecu30，使用与反射光图像相同坐标系的背景光图像iml来实施所获取的反射光图像与相机图像imc的影像配准。在与反射光图像相比性质接近相机图像imc的背景光图像iml的特征点fpa与相机图像imc的特征点fpb的比较中，特征点fpa、fpb彼此的对应关系的确定变得容易。通过这样的建立对应关系，能够高精度地使反射光图像的坐标系与相机图像imc的坐标系一致，因此能够显著提高使用反射光图像和相机图像imc双方的应用的处理精度。
107.另外，根据第一实施方式，在影像配准中，分别检测背景光图像iml的特征点fpa和相机图像imc的特征点fpb。然后，确定检测出的背景光图像iml的特征点fpa与相机图像imc的特征点fpb之间的对应关系。然后，基于对应关系的确定结果，使背景光图像iml和相机图像imc中的一方的各像素与另一方的各像素对应。即，在确定了特征点fpa、fpb彼此的对应关系之后，使用该结果来使各像素的坐标对应，因此与过度地确定各像素的对应关系的情况相比，能够实现处理量的抑制或者处理速度的提高，并且能够实施精度较高的影像配准。
108.另外，根据第一实施方式，在对应关系的确定中，考虑基于测距传感器10与外界相机20之间的相对位置的、图像上的映现对应点的位置的差异。通过这样的考虑，能够提高特征点fpa、fpb彼此的对应关系的确定精度。
109.另外，根据第一实施方式，在对应关系的确定中，将背景光图像iml和与相机图像imc中的投影源的特征点fpb对应的极线el投影到投影目的地的图像。而且，判定为位于沿着极线el的具有规定的容许宽度w的带状的判定区域ja内的投影目的地的特征点fpa为与投影源的特征点fpb对应的点。通过具有容许宽度w的判定，利用特征点fpa、fpb彼此的对应关系的确定，能够吸收背景光图像iml与相机图像imc的投影误差等误差，提高确定精度。
110.另外，根据第一实施方式，根据在背景光图像iml的测定定时与相机图像imc的测定定时之间假定的偏移量来设定容许宽度w。即使在测定定时的偏差δt的期间，映现于背景光图像iml和相机图像imc的、构成特征点fpa、fpb的物体移动，只要该物体的特征点fpa位于具有与偏移量对应的容许宽度w的判定区域ja内，就能够确定具有对应关系的特征点fpa、fpb彼此。因此，能够提高对应关系的确定的精度。
111.另外，根据第一实施方式，在背景光图像iml的特征点fpa与相机图像imc的特征点fpb之间的对应关系的确定中，使用sift特征量，该sift特征量是从包含各特征点fpa、fpb的周边区域得到的特征量并且作为相对于尺度不变性较高的特征量。通过使用相对于尺度不变性较高的sift特征量，即使因相机图像imc的分辨率相对于背景光图像iml的分辨率较高而产生特征点fpa、fpb的检测水平(检测灵敏度)的差异，也能够抑制对应关系的错误判定。因此，能够提高对应关系的确定的精度。
112.另外，根据第一实施方式的图像生成系统100，使用与反射光图像相同坐标系的背景光图像iml来实施反射光图像与相机图像imc的影像配准。即，在与反射光图像相比性质接近相机图像imc的背景光图像iml的特征点fpa与相机图像imc的特征点fpb的比较中，容易确定特征点fpa、fpb彼此的对应关系。通过这样的建立对应关系，能够使反射光图像的坐标系与相机图像imc的坐标系高精度地一致。而且，来自测距传感器10和外界相机20的不同的图像生成源的信息、即距离信息和相机图像imc的信息能够以在应用中容易处理的复合图像的方式提供。因此，能够显著提高使用反射光图像和相机图像imc双方的应用的处理制度。
113.另外，根据第一实施方式的影像配准方法，分别检测所准备的背景光图像iml的特征点fpa和相机图像imc的特征点fpb。然后，确定检测出的背景光图像iml的特征点fpa与相机图像imc的特征点fpb之间的对应关系。然后，基于对应关系的确定结果，使背景光图像iml和相机图像imc中的一方的各像素与另一方的各像素对应。这样，使用与反射光图像相同坐标系并且与反射光图像相比性质接近相机图像imc的背景光图像iml来实施反射光图像与相机图像imc的影像配准，因此特征点fpa、fpb彼此的对应关系的确定变得容易。通过这样的建立对应关系，能够使反射光图像的坐标系与相机图像imc的坐标系高精度地一致，因此能够显著提高使用反射光图像和相机图像imc双方的应用的处理精度。而且，在确定了特征点fpa、fpb彼此的对应关系之后，使用该结果来使各像素的坐标对应，因此与过度地确定各像素的对应关系的情况相比，能够实现处理量的抑制或者处理速度的提高，并且能够实施精度较高的影像配准。
114.另外，根据第一实施方式的影像配准程序，分别检测所获取的背景光图像iml的特征点fpa和相机图像imc的特征点fpb。然后，确定检测出的背景光图像iml的特征点fpa与相机图像imc的特征点fpb之间的对应关系。然后，基于对应关系的确定结果，使背景光图像iml和相机图像imc中的一方的各像素与另一方的各像素对应。这样，使用与反射光图像相同坐标系、并且与反射光图像相比性质接近相机图像imc的背景光图像iml来实施反射光图像与相机图像imc的影像配准，因此特征点fpa、fpb彼此的对应关系的确定变得更容易。通过这样的建立对应关系，能够使反射光图像的坐标系与相机图像imc的坐标系高精度地一致，因此能够显著提高使用反射光图像和相机图像imc双方的应用的处理精度。而且，在确定了特征点fpa、fpb彼此的对应关系之后，使用该结果来使各像素的坐标对应，因此与过度地确定各像素的对应关系的情况相比，能够实现处理量的抑制或者处理速度的提高，并且能够实施精度较高的影像配准。
115.(第二实施方式)
116.如图9所示，第二实施方式是第一实施方式的变形例。以与第一实施方式不同的点为中心对第二实施方式进行说明。
117.在第二实施方式中，第一实施方式的图像处理ecu30的功能与驾驶辅助ecu50的功能被综合为一个ecu，构成驾驶辅助ecu230。因此，在第二实施方式中，驾驶辅助ecu230相当于影像配准装置。另外，在第二实施方式的驾驶辅助ecu230中，可以说影像配准功能构成用于实现高精度的周边识别功能的一部分，因此该驾驶辅助ecu230也相当于识别车辆1的周边环境的周边环境识别装置。驾驶辅助ecu230与第一实施方式的图像处理ecu30同样，具有处理部31、ram32、存储部33、输入输出接口34等。
118.第二实施方式的驾驶辅助ecu230与第一实施方式的图像处理ecu30同样，通过由处理部31执行存储于存储部33的影像配准程序和物体识别程序，从而具有多个功能部。具体地说，如图9所示，在驾驶辅助ecu230中，构建图像获取部41、图像处理部242以及物体识别部48等功能部。
119.图像获取部41与第一实施方式同样。物体识别部48使用与第一实施方式同样的物体识别模型48a，实施使用了语义分割的物体识别。
120.第二实施方式的图像处理部242与第一实施方式同样，具有特征点检测功能、对应关系确定功能以及坐标匹配功能。但是，在特征点检测功能中考虑背景光图像iml的分辨率与相机图像imc的分辨率之比(以下，分辨率比)这一点、以及在对应关系确定功能中不使用sift特征量这一点与第一实施方式不同。
121.具体地说，在驾驶辅助ecu230的存储部33设置有传感器系数据库(以下，为传感器系db)243c。在传感器系db243c存储有搭载于车辆1的各种传感器和相机的信息。在该信息中包含与测距传感器10的受光元件12a的规格相关的信息、以及与外界相机20的相机元件22a的规格相关的信息。在与测距传感器10的受光元件12a的规格相关的信息中包含该受光元件12a的分辨率的信息，在与外界相机20的相机元件22a的规格相关的信息中包含该相机元件22a的分辨率的信息。根据这些分辨率的信息，图像处理部242能够掌握分辨率比。
122.第二实施方式的哈里斯角检测器243a基于分辨率比，使检测背景光图像iml的特征点fpa时的尺度参数与检测相机图像imc的特征点fpb时的尺度参数不同。具体地说，在相对于背景光图像iml为高分辨率的相机图像imc的特征点检测中，与背景光图像iml的情况相比，使作为尺度参数的评价对象区域的尺寸和梯度检测滤波器的内核尺寸中的至少一方较小。这样，能够使特征点fpa、fpb的检测水平在背景光图像iml与相机图像imc之间接近。
123.其结果为，即使在对应关系确定功能中不使用sift，检测出的背景光图像iml的特征点fpa与相机图像imc的特征点fpb之间的对应关系确定变得容易。换言之，能够高精度地确定对应关系。
124.根据以上说明的第二实施方式，作为检测背景光图像iml的特征点fpa和相机图像imc的特征点fpb的特征点检测器的哈里斯角检测器243a、243b具有影响尺度的尺度参数。在这样的结构中，基于所掌握的背景光图像iml的分辨率与相机图像imc的分辨率之比，使背景光图像iml的特征点fpa的检测所使用的尺度参数与相机图像imc的特征点fpb的检测所使用的尺度参数不同。这样，即使相机图像imc的分辨率相对于背景光图像iml的分辨率较高，也能够使特征点fpa、fpb的检测水平在背景光图像iml与相机图像imc之间接近。由于能够比较以相近的水平检测出的特征点fpa、fpb彼此，因此能够提高对应关系的确定的精度。
125.(其他的实施方式)
126.以上，对多个实施方式进行说明，但本公开不应被解释为局限于这些实施方式，而是在不脱离本公开的主旨的范围内能够应用于各种实施方式和组合。
127.具体地说，作为变形例1，测距传感器10和外界相机20也可以构成一体型的传感器单元。并且，也可以包含第一实施方式的图像处理ecu30那样的影像配准装置作为该传感器单元的结构要素。
128.作为与第一实施方式相关的变形例2，也可以是，图像处理ecu30具备第二实施方
式那样的物体识别部48，识别车辆1的周边环境。也可以将由图像处理ecu30识别车辆1的周边环境而得的解析完毕信息提供给具有驾驶辅助功能等的驾驶辅助ecu50。
129.作为变形例3，图像处理部42也可以不将反射光图像、背景光图像iml以及相机图像imc综合为多通道的复合图像并输出。图像处理部42也可以将反射光图像、背景光图像iml以及相机图像imc作为各个图像数据输出，除了这些图像数据之外，还输出表示各图像的坐标的对应关系的坐标对应数据。
130.作为变形例4，图像处理部42输出影像配准完毕的反射光图像和相机图像imc即可，也可以不输出背景光图像iml。
131.作为变形例5，相机图像imc也可以不是彩色图像，而是灰度图像。
132.作为变形例6，使用影像配准完毕的反射光图像和相机图像imc的物体识别也可以不是使用语义分割的物体识别。物体识别例如也可以是使用了边界框(bounding box)的物体识别。
133.作为变形例7，影像配准完毕的反射光图像和相机图像imc也可以用于车辆1中的物体识别以外的应用。例如，也可以将测距传感器10和相机20设置于会议室，将影像配准完毕的反射光图像和相机图像imc用于视频会议的通信用应用。
134.作为变形例8，也可以对检测出的sift特征量附加用于具有旋转不变性的方向(orientation)的信息。方向的信息例如在测距传感器10的设置面的倾斜与相机20的设置面的倾斜不同的状况下是有用的。
135.作为变形例9，在将与相机图像imc的特征点fpb对应的极线el投影到背景光图像iml的情况下、或者在将与背景光图像iml的特征点fpa对应的极线el投影到相机图像imc的情况下，也可以取代e矩阵而使用f矩阵(fundamental matrix)。f矩阵在不实施测距传感器10和相机20的校准的状况下是有用的。
136.作为变形例10，图像处理部42除了对于由测距传感器10生成的图像和由相机20生成的图像之外，还可以对于由毫米波雷达等生成的追加的图像实施影像配准。
137.作为变形例11，由图像处理ecu30提供的各功能也可以通过软件和执行该软件的硬件、仅软件、仅硬件、或者它们的复合的组合来提供。并且，在通过作为硬件的电子电路提供这样的功能的情况下，各功能也可以由包含多个逻辑电路的数字电路、或者模拟电路提供。
138.作为变形例12，存储了能够实现上述的异常检测方法的异常检测程序等的存储介质的方式也可以适当地变更。例如存储介质不限于设置于电路基板上的结构，也可以是以存储卡等方式提供，插入到插口部，与图像处理ecu30的控制电路电连接的结构。并且，存储介质也可以是成为图像处理ecu30的程序的复制基础的光盘和硬盘。
139.本公开所记载的控制部及其方法也可以由专用计算机实现，该专用计算机构成被编程为执行由计算机程序具体化的一个至多个功能的处理器。或者，本公开所记载的装置及其方法也可以由专用硬件逻辑电路实现。或者，本公开所记载的装置及其方法也可以由一个以上的专用计算机实现，该专用计算机通过执行计算机程序的处理器与一个以上的硬件逻辑电路的组合而构成。另外，计算机程序也可以作为由计算机执行的指令，存储于计算机能够读取的非迁移有形记录介质。