同步装置、同步方法、同步程序与流程

同步装置、同步方法、同步程序
1.相关申请的交叉引用
2.该申请以2019年10月8日在日本技术的专利申请第2019－185388号为基础，并整体上通过参照引用基础申请的内容。
技术领域
3.本公开涉及同步处理技术。


背景技术：

4.在近年来的车辆中一起搭载有获取与通过电磁波的照射而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机。在这样的车辆中为了使雷达传感器与外界相机同步，在专利文献1公开了对各个获取图像附加时刻信息的技术。
5.专利文献1：日本专利第3920769号公报
6.但是，在专利文献1的公开技术中，在雷达传感器以及外界相机与执行同步处理的处理电路之间的路径上，产生图像信号的延迟。其结果是，有处理电路接受图像信号并附加的时刻信息包括与雷达传感器以及外界相机分别实际获取到图像的正规时刻的误差的担心。


技术实现要素：

7.本公开的课题在于提供使雷达传感器与外界相机高精度地同步的同步装置。本公开的其它的课题在于提供使雷达传感器与外界相机高精度地同步的同步方法。本公开的其它的课题在于提供使雷达传感器与外界相机高精度地同步的同步程序。
8.以下，对用于解决课题的本公开的技术手段进行说明。
9.本公开的第一方式是在搭载有获取与通过照射电磁波而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机的车辆中，执行对雷达传感器以及外界相机的同步处理的同步装置，其具备：
10.同步预测部，预测雷达传感器以及外界相机之间的同步偏移时间；
11.变化量计算部，计算外界相机的快门帧间的反射波图像的时间变化量；
12.图像估计部，基于通过变化量计算部计算出的时间变化量，估计从快门帧的开始定时偏移了通过同步预测部预测出的同步偏移时间后的同步定时处的反射波图像；
13.差分提取部，通过将外部光图像与通过图像估计部估计出的同步定时处的反射波图像进行对比，提取外部光图像与反射波图像的差分；以及
14.处理判定部，基于通过差分提取部计算出的差分，判定是否使同步处理返回到基于同步预测部的同步偏移时间的预测。
15.本公开的第二方式是在搭载有获取与通过照射电磁波而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机
的车辆中，执行对雷达传感器以及外界相机的同步处理的同步方法，包括：
16.预测工序，预测雷达传感器以及外界相机之间的同步偏移时间；
17.计算工序，计算外界相机的快门帧间的反射波图像的时间变化量；
18.估计工序，基于通过计算工序计算出的时间变化量，估计从快门帧的开始定时偏移了通过预测工序预测出的同步偏移时间后的同步定时处的反射波图像；
19.提取工序，通过将外部光图像与通过估计工序估计出的同步定时处的反射波图像进行对比，提取外部光图像与反射波图像的差分；以及
20.判定工序，基于通过提取工序提取出的差分，判定是否使同步处理返回到基于预测工序的同步偏移时间的预测。
21.本公开的第三方式是储存于存储介质且包括使处理器执行的命令的同步程序，上述同步程序用以在搭载有获取与通过照射电磁波而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机的车辆中，执行对雷达传感器以及外界相机的同步处理，
22.命令包括：
23.预测工序，预测雷达传感器以及外界相机之间的同步偏移时间；
24.计算工序，计算外界相机的快门帧间的反射波图像的时间变化量；
25.估计工序，基于通过计算工序计算出的时间变化量，估计从快门帧的开始定时偏移了通过预测工序预测出的同步偏移时间后的同步定时处的反射波图像；
26.提取工序，通过将外部光图像与通过估计工序估计出的同步定时处的反射波图像进行对比，提取外部光图像与反射波图像的差分；以及
27.判定工序，基于通过提取工序提取出的差分，判定是否使同步处理返回到基于预测工序的同步偏移时间的预测。
28.根据这些第一～第三方式的同步处理，基于外界相机中的快门帧间的反射波图像的时间变化量估计从该帧的开始定时偏移了雷达传感器以及外界相机之间的同步偏移时间后的同步定时处的反射波图像。同步偏移时间的预测越正确，通过将该同步定时处的反射波图像与外部光图像进行对比而提取出的差分越小。因此，根据基于反射波图像与外部光图像的差分判定是否使同步处理返回到同步偏移时间的预测，能够重复同步处理直至能够正确地预测同步偏移时间。因此，能够使雷达传感器与外界相机高精度地同步。
附图说明
29.图1是表示第一实施方式的同步装置的整体构成的框图。
30.图2是表示第一实施方式的同步装置的详细构成的框图。
31.图3是用于说明第一实施方式的外界相机(a)以及雷达传感器(b)的示意图。
32.图4是用于说明第一实施方式的外界图像(a)以及反射波图像(b)的示意图。
33.图5是用于说明第一实施方式的运动补偿块的示意图。
34.图6是用于说明第一实施方式的运动补偿块的示意图。
35.图7是用于说明第一实施方式的变化量计算块以及图像估计块的示意图。
36.图8是用于说明第一实施方式的差分提取块的示意图。
37.图9是用于说明第一实施方式的差分提取块的示意图。
38.图10是表示第一实施方式的同步方法的流程图。
39.图11是表示第二实施方式的同步装置的详细构成的框图。
40.图12是表示第二实施方式的同步方法的流程图。
具体实施方式
41.以下，基于附图对多个实施方式进行说明。另外，有时通过在各实施方式中对相对应的构成要素附加相同的附图标记，来省略重复的说明。另外，在各实施方式中仅对构成的一部分进行说明的情况下，该构成的其它的部分能够应用先前说明的其它的实施方式的构成。并且，不仅是在各实施方式的说明中明示的构成的组合，若组合并不特别产生妨碍，则即使未明示，也能够部分地组合多个实施方式的构成彼此。
42.(第一实施方式)
43.如图1所示，第一实施方式的同步装置1搭载于车辆3。车辆3是基于自身位置估计等运动估计的结果进行行驶的、例如高度驾驶辅助车或者自动驾驶车等。另外，在以下的说明中，分别将水平面上的车辆3的水平方向中的横向以及前后方向仅称为横向以及前后方向。另外，在以下的说明中，将水平面上的车辆3的垂直方向仅称为垂直方向。
44.在车辆3，与同步装置1一起搭载有传感器系统2。如图1、2所示，传感器系统2至少包括惯性传感器20、雷达传感器22以及外界相机24而构成。
45.惯性传感器20例如是获取能够利用于车辆3的运动估计等的惯性信息ib的所谓的imu(inertial measurement unit：惯性测量单元)。惯性传感器20获取车辆3的绕前后方向、横向以及垂直方向这三轴的、例如角度、角速度以及角加速度等中的至少一种，作为惯性信息ib。因此，惯性传感器20例如构成为包括陀螺仪以及加速度传感器等中的至少一种。
46.第一实施方式的雷达传感器22例如是获取能够利用于车辆3的运动估计等的反射波图像ir的所谓的lidar(light detection and ranging/laser imaging detection and ranging：光探测和测距/激光成像探测和测距)。雷达传感器22获取与通过向车辆3的外界照射电磁波而得到的反射波相对应的反射波图像ir。如图2所示，雷达传感器22具有激光元件220、拍摄元件221以及拍摄电路222。
47.拍摄电路222对从激光元件220朝向车辆3的外界的作为电磁波的红外线激光(以下，仅称为激光)进行照射控制，使其成为根据横向的波束转向角的变化而断续的脉冲波束状。伴随该激光照射，拍摄电路222实现滚动快门，该滚动快门按照与在横向驱动的波束转向角相对应的每个扫描线依次曝光并且依次扫描在拍摄元件221的构成像素中在横向上单列或者多列的纵向像素列。拍摄电路222通过将按照拍摄元件221的每个被曝光的像素作为反射波而感知的反射光的、与从激光照射时刻起的到达时间相对应的到该反射光的反射点为止的距离值与这些每个像素相对应的波束转向角建立关联并进行数据化，来获取反射波图像ir。
48.这里，与按照拍摄元件221的每个被曝光的像素感知到的作为反射波的反射光的强度相对应的亮度值也可以通过与这些每个像素相对应的波束转向角建立关联并由拍摄电路222进行数据化，来包括于反射波图像ir。另外，在拍摄元件221也可以具备在断续的激光照射的间隔中根据从车辆3的外界感知的外部光，进行拍摄的功能。该情况下，与按照拍摄元件221的每个被曝光的像素感知的外部光的强度相对应的亮度值也可以通过与这些每
个像素相对应的波束转向角建立关联并由拍摄电路242进行数据化，来包括于反射波图像ir。
49.外界相机24例如是获取能够利用于车辆3的运动估计等的外部光图像io的所谓的车载相机。外界相机24获取与从车辆3的外界感知的外部光相对应的外部光图像io。外界相机24具有拍摄元件241以及拍摄电路242。
50.拍摄电路242实现全局快门，该全局快门以分别相对应的扫描线一并曝光并且一并扫描在拍摄元件241的构成像素中在横向上多列的纵向像素列。拍摄电路242通过将与按照拍摄元件241的被曝光的每个像素感知的外部光的强度相对应的亮度值与这些每个像素所相对应的像素角建立关联并进行数据化，来获取外部光图像io。
51.在外界相机24中扫描全部的扫描线的全局快门帧fo中，相对于在雷达传感器22中扫描全部的扫描线的滚动快门帧fr，设定较短的帧期间、和接近的开始定时。因此，如图3所示，在帧fo、fr的开始定时正确地同步的情况下，如图4所示，在外观上，与外部光图像io相比，反射波图像ir在与车辆3的行驶侧相反侧进行压缩并且额外观测并获取与该压缩量相对应的外界。另外，图4并不示出各图像ir、io本身，而示意地示出在各图像ir、io拍摄到的外界范围。
52.如图1所示，第一实施方式的同步装置1例如经由lan(local area network：局域网)、线束以及内部总线等中的至少一种，与传感器系统2的各构成要素20、22、24连接。同步装置1构成为包括至少一个专用计算机。构成同步装置1的专用计算机可以是估计车辆3的自身位置的定位器的ecu(electronic control unit：电子控制单元)。构成同步装置1的专用计算机也可以是控制车辆3的高度驾驶辅助或者自动驾驶的ecu。构成同步装置1的专用计算机也可以是控制车辆3与外界之间的通信的ecu。
53.同步装置1通过构成为包括这样的专用计算机，各具有至少一个存储器10以及处理器12。存储器10是非暂时地存储能够通过计算机读取的程序以及数据的、例如半导体存储器、磁介质以及光学介质等中的至少一种的非迁移实体存储介质(non-transitory tangible storage medium)。处理器12例如包括cpu(central processing unit：中央处理器)、gpu(graphics processing unit：图形处理器)以及risc(reduced instruction set computer：精简指令集计算机)－cpu等中的至少一种作为核心。处理器12执行存储于存储器10的同步程序所包括的多个命令。由此，同步装置1如图2所示，构建用于执行对雷达传感器22和外界相机24的同步处理的多个功能块。另外，在以下的说明中，将对雷达传感器22以及外界相机24的同步处理仅称为同步处理。
54.在通过同步装置1构建的多个功能块中，包括误差修正块100、运动补偿块110、变化量计算块120、图像估计块130、差分提取块140、处理判定块160以及同步预测块180。
55.在误差修正块100输入有在时刻k通过惯性传感器20获取的最新的惯性信息ib。同时，在误差修正块100输入有通过各种导航运算中的至少一种对时刻k估计出的最新的偏倚误差b。这里，时刻k表示全局快门帧fo的开始定时(参照图3)。
56.接受这样的输入，误差修正块100对最新的惯性信息ib修正最新的偏倚误差b。通过从惯性信息ib减去偏倚误差b实现该修正。
57.在图2所示的运动补偿块110输入有通过误差修正块100修正了偏倚误差b的在时刻k的惯性信息ib。同时，在运动补偿块110输入有在将时刻k作为开始定时的全局快门帧fo
内通过雷达传感器22获取的最新的反射波图像ir。如图5所示，最新的反射波图像ir对于每个扫描线的各像素，包括距离值lr[k，i，j]、波束转向角θr[k，i，j]以及ψr[k，i，j]，作为最新数据值。
[0058]
这里，[k，i，j]是根据时刻k、表示每个扫描线的排列顺序以及扫描顺序的扫描编号i、以及表示每个扫描线的各像素的像素编号j确定最新数据值lr、θr、ψr的索引。即，lr[k，i，j]、θr[k，i，j]以及ψr[k，i，j]作为将下述式1的时刻h(参照图3)作为扫描定时的每个扫描线的最新数据值，输入到运动补偿块110。
[0059]
[式1]
[0060][0061]
这里，上述式1使用时刻k、扫描编号i以及扫描线间的时间间隔δh(参照图5)近似地定义进一步考虑了帧fo、fr的开始定时间的同步偏移时间t后的时刻h。因此，如图6所示，θr[k，i，j]针对通过激光元件220进行照射后由拍摄元件221中的编号i、j的特定像素在时刻h感知的激光，表示垂直方向上的波束转向角。另一方面，ψr[k，i，j]针对通过激光元件220进行照射后由拍摄元件221中的编号i、j的特定像素在时刻h感知的激光，表示横向上的波束转向角。
[0062]
接受这样的输入，运动补偿块110对反射波图像ir的最新数据值，基于修正了偏倚误差b的惯性信息ib补偿全局快门帧fo内的基于车辆3的运动(参照图3)的移动量。具体而言，运动补偿块110通过基于修正了偏倚误差b的惯性信息ib的各种导航运算中的至少一种，计算时刻k处的车辆3的自身位置p[k，i]以及方向余弦矩阵c[k，i]。
[0063]
这里，[k，i]是根据时刻k和扫描编号i，确定计算结果p、c的索引。即，在同一扫描线的像素彼此中共同地计算p[k，i]以及c[k，i]。因此，运动补偿块110针对最新数据值lr[k，i，j]、θr[k，i，j]以及ψr[k，i，j]，通过使用了计算结果p[k，i]以及c[k，i]的下述式2补偿在全局快门帧fo内按照每个扫描编号i进行变化的车辆3的移动量。作为其结果，运动补偿块110对每个扫描线的各像素，计算下述式2的三维极坐标r[k，i，j]。此时，计算出的三维极坐标r[k，i，j]作为补偿了车辆3的移动量的反射波图像ir的最新数据值，与时刻k建立关联并存储于存储器10。另外，在以下的说明中，将全局快门帧fo内的车辆3的移动量仅称为车辆移动量。
[0064]
[式2]
[0065][0066]
在图2所示的变化量计算块120输入(即，读出)有通过运动补偿块110补偿车辆移动量并存储于存储器10的最新以及上一次的反射波图像ir。接受该输入，变化量计算块120计算全局快门帧fo间的反射波图像ir的时间变化量δr[k，i，j]。具体而言，变化量计算块120在时刻以外的索引共用的三维极坐标r彼此中，通过下述式3对分别在开始定时的前后的全局快门帧fo中获取的最新以及上一次的反射波图像ir进行对比。作为其结果，变化量计算块120对各像素计算成为时刻k处的最新的微分值的时间变化量δr[k，i，j]。
[0067]
[式3]
[0068]
δr[k，i，j]＝r[k，i，j]-r[k-1，i，j]
[0069]
这里，上述式3使用在这次时刻k开始的全局快门帧fo中的坐标r[k，i，j]、和在上一次时刻k－1开始的全局快门帧fo中的坐标r[k－1，i，j]，根据这些坐标间的差分定义变化量δr[k，i，j]。因此，变化量计算块120使用在这次以及上一次的同步处理中通过之前的模块100、110的修正以及补偿计算出的三维极坐标r[k，i，j]以及r[k－1，i，j]。但是，仅在从起动的车辆3的行驶开始起初次的同步处理中，变化量计算块120将在该初次之前经由模块100、110的修正以及补偿计算出的三维极坐标r[k－1，i，j]与该初次的三维极坐标r[k，i，j]一起进行使用。
[0070]
在图2所示的图像估计块130输入有通过变化量计算块120计算出的最新的时间变化量δr[k，i，j]。同时，在图像估计块130输入(即，读出)有通过运动补偿块110补偿车辆移动量并存储于存储器10的最新的反射波图像ir。并且，在变化量计算块120输入(即，读出)有如后面详述的那样通过同步预测块180预测并存储于存储器10的最新的同步偏移时间t。
[0071]
接受这样的输入，图像估计块130将全局快门帧fo的开始定时设为时刻k，将在其符号的方向从时刻k偏离了最新的同步偏移时间t的定时(即，时刻k t)设定为图7所示的同步定时ts。另外，图7并不示出同步偏移时间t的符号为正( )的情况下的反射波图像ir本身，而示意地示出在该图像ir拍摄到的外界范围。因此，图像估计块130基于时刻k处的时间变化量δr[k，i，j]估计该同步定时ts处的反射波图像ir。具体而言，图像估计块130通过使用了时间变化量δr[k，i，j]和同步偏移时间t的下述式4，对最新的反射波图像ir中的三维极坐标r[k，i，j]进行转换。作为其结果，图像估计块130对各像素计算同步定时ts处的反射波图像ir的估计极坐标rp[k，i，j]。
[0072]
[式4]
[0073][0074]
这里，上述式4使用在这次时刻k开始的全局快门帧fo中的坐标r[k，i，j]、在该时刻k的变化量δr[k，i，j]以及同步偏移时间t、该帧fo的帧期间δk，估计同步定时ts处的坐标rp[k，i，j]。因此，图像估计块130生成包括估计极坐标rp[k，i，j]的反射波图像ir，作为同步定时ts处的估计数据值。
[0075]
如图2所示，差分提取块140具有分别对反射波图像ir以及外部光图像io进行前处理的子块142、144、和将这些进行了前处理的图像ir、io彼此进行对比处理的子块146。
[0076]
在差分提取块140中的子块142输入有通过运动补偿块110计算出的自身位置p[k，i]以及方向余弦矩阵c[k，i]中的与时刻k相对应的自身位置p[k，1]以及方向余弦矩阵c[k，1]。同时，在子块142输入有通过图像估计块130估计出的同步定时ts处的反射波图像ir。
[0077]
接受这样的输入，子块142对反射波图像ir补偿从全局快门帧fo的开始定时亦即时刻k起的偏移量。具体而言，子块142将作为同步定时ts处的反射波图像ir的估计数据值而通过图像估计块130计算出的各像素的估计极坐标rp[k，i，j]分别转换为下述式5的三维正交坐标rr[k，i，j]。
[0078]
[式5]
[0079]
rr[k，i，j]＝c
t
[k，1]
·
rp[k，i，j]
[0080]
这里，上述式5使用全局快门帧fo的开始定时亦即时刻k处的方向余弦矩阵c[k，1]的转置矩阵ct[k，1]、和该帧fo内的估计极坐标rp[k，i，j]，定义三维正交坐标rr[k，i，j]。因此，子块142进一步通过使用了时刻k处的自身位置p[k，1]的下述式6，对成为进行了坐标转换的反射波图像ir的最新数据值的各像素的三维正交坐标rr[k，i，j]补偿时刻h的从时刻k的偏移量。作为其结果，子块142计算下述式6的相对正交坐标x、y、z，作为在时刻k从车辆3观察与各像素相对应的激光反射点的情况下的相对的位置信息。
[0081]
[式6]
[0082][0083]
子块142还通过下述式7～9对计算出的各像素的相对正交坐标x、y、z进行转换。作为其结果，子块142计算距离值lr[k，i，j]、波束转向角θr[k，i，j]以及ψr[k，i，j]，作为与时刻k相配合地补偿了偏移的反射波图像ir的最新数据值。
[0084]
[式7]
[0085][0086]
[式8]
[0087][0088]
[式9]
[0089][0090]
在图2所示的差分提取块140中，在子块144输入有通过子块142计算出的反射波图像ir的最新数据值中的波束转向角θr[k，i，j]以及ψr[k，i，j]。同时，在子块144输入有在将时刻k作为开始定时的全局快门帧fo内通过外界相机24获取的最新的外部光图像io。如图8所示，最新的外部光图像io对于每个扫描线的各像素，包括亮度值so[k，m，n]、像素角θo[k，m，n]以及ψo[k，m，n]作为最新数据值。
[0091]
这里，[k，m，n]是根据时刻k、表示每个扫描线的排列顺序的扫描编号m、以及表示每个扫描线的各像素的像素编号n，确定最新数据值so、θo、ψo的索引。这里，与外部光图像io有关的扫描编号m的最大值比与反射波图像ir有关的扫描编号i的最大值大，另外，与外部光图像io有关的像素编号n的最大值比与反射波图像ir有关的像素编号j的最大值大。即，由比反射波图像ir多的像素数高精细地生成外部光图像io。
[0092]
另外，如图9所示，θo[k，m，n]针对通过拍摄元件241中编号m、n的特定像素在时刻k感知的外部光，表示垂直方向上的像素角。另一方面，ψo[k，i，j]针对通过拍摄元件241中编号m、n的特定像素在时刻k感知的外部光，表示横向上的像素角。
[0093]
接受这样的输入，子块144在反射波图像ir和外部光图像io中，与低精细侧相配合地对高精细侧进行插值。即，子块144通过插值使高精细侧的外部光图像io与低精细侧的反射波图像ir匹配。具体而言，子块144如图8那样搜索相对于各像素的波束转向角θr[k，i，j]
以及ψr[k，i，j]分别满足下述式10、11的索引的像素角θo以及ψo。
[0094]
[式10]
[0095]
θo[k,m,n]＜θr[k,i，j]≤θo[k,m 1,n]
[0096]
[式11]
[0097]
ψo[k，m，n]＜ψr[k，i，j]≤ψo[k，m，n 1]
[0098]
这里，上述式10将在横向上相互相邻的像素的索引表述为[k，m，n]以及[k，m 1，n]。在该表述下，上述式10使用θo[k，m，n]以及θo[k，m 1，n]，定义波束转向角θr[k，i，j]的搜索条件。另一方面，上述式11将在垂直方向上相互相邻的像素的索引表述为[k，m，n]以及[k，m，n 1]。在该表述下，上述式11使用像素角θo[k，m，n]以及θo[k，m，n 1]，定义波束转向角ψr[k，i，j]的搜索条件。由此，子块144通过下述式12～14的内插(参照图8)，计算在外部光图像io上与各像素的波束转向角θr[k，i，j]以及ψr[k，i，j]相应的坐标的亮度值so[k，i，j]。
[0099]
[式12]
[0100][0101]
[式13]
[0102][0103]
[式14]
[0104][0105]
这里，上述式12将在横向上相互相邻的像素的索引表述为[k，m，n]以及[k，m 1，n]。在该表述下，上述式12使用像素角θo[k，m，n]以及θo[k，m 1，n]、分别对应的亮度值so[k，m，n]以及so[k，m 1，n]、以及波束转向角θr[k，i，j]，定义变量s1。
[0106]
另一方面，上述式13将在垂直方向上相互相邻的像素的索引表述为[k，m，n]以及[k，m，n 1]。另外，上述式13在将在横向上相互相邻的像素的索引表述为[k，m，n]以及[k，m 1，n]的情况下，将在垂直方向上与后者[k，m 1，n]的像素相邻的像素的索引表述为[k，m 1，n 1](参照图8)。换句话说，上述式13在将在垂直方向上相互相邻的像素的索引表述为[k，m，n]以及[k，m，n 1]的情况下，也可以说将在横向上与后者[k，1，n 1]的像素相邻的像素的索引表述为[k，m 1，n 1](参照图8)。在这些表述下，上述式13使用像素角θo[k，m，n 1]以及θo[k，m 1，n 1]、分别对应的亮度值so[k，m，n 1]以及so[k，m 1，n 1]、以及波束转向角θr[k，i，j]，定义变量s2。
[0107]
并且，上述式14将在垂直方向上相互相邻的像素的索引表述为[k，m，n]以及[k，m，n 1]。在该表述下，上述式14使用像素角ψo[k，m，n]以及ψo[k，m，n 1]、上述式12、13的变量s1、s2、以及波束转向角ψr[k，i，j]，定义进行了插值的外部光图像io的亮度值so[k，i，j]。
[0108]
在图2所示的差分提取块140中，在子块146输入有距离值lr[k，i，j]，作为通过子块142计算出的反射波图像ir的最新数据值。接受该输入，子块146通过对距离值lr[k，i，j]的各种滤波处理中的至少一种，提取最新的反射波图像ir中的边缘。作为其结果，子块146对与提取出的边缘相对应的各像素，计算在横向或者垂直方向上相互相邻的像素彼此的距
离值lr[k，i，j]之差，作为边缘图像值lre[k，i，j]。
[0109]
在子块146输入有亮度值so[k，i，j]，作为通过子块144进行了插值的外部光图像io的最新数据值。接受该输入，子块146通过对亮度值so[k，i，j]的各种滤波处理中的至少一种，提取最新的外部光图像io中的边缘。作为其结果，子块146对与提取的边缘相对应的各像素，计算在横向或者垂直方向上相互相邻的像素彼此的亮度值so[k，i，j]之差，作为边缘图像值soe[k，i，j]。
[0110]
子块146通过对于像这样计算出的边缘图像值lre[k，i，j]以及soe[k，i，j]，按照相互对应的每个像素对比反射波图像ir与外部光图像io，提取这些图像io、ir的差分e[k，i，j]。具体而言，子块146通过在将索引相同的边缘图像值lre[k，i，j]以及soe[k，i，j]彼此根据各自的偏差范围进行归一化之后进行对比的下述式15，计算这些图像值间的差分e[k，i，j]。即，子块146在将与反射波图像ir和外部光图像io的边缘相关的图像值lre[k，i，j]以及soe[k，i，j]彼此根据各自的偏差范围进行归一化之后，执行这些边缘彼此的对比以及差分提取。
[0111]
[式15]
[0112][0113]
这里，上述式15的右边第一项分别将反射波图像ir中的边缘图像值lre[k，i，j]的最大值以及最小值表述为lremax[k，i，j]以及lremin[k，i，j]。在该表述下，上述式15的右边第一项根据从最大值lremax[k，i，j]减去最小值lremin[k，i，j]后的偏差范围，将边缘图像值lre[k，i，j]归一化(即，无维化)。
[0114]
另一方面，上述式15的右边第二项分别将外部光图像io中的边缘图像值soe[k，i，j]的最大值以及最小值表述为soemax[k，i，j]以及soemin[k，i，j]。在该表述下，上述式15的右边第一项根据从最大值soemax[k，i，j]减去最小值soemin[k，i，j]后的偏差范围，将边缘图像值soe[k，i，j]归一化(即，无维化)。
[0115]
在图2所示的处理判定块160输入有通过差分提取块140中的子块146提取出的最新的图像io、ir彼此的差分e[k，i，j]。接受该输入，处理判定块160基于差分e[k，i，j]，判定是否将同步处理返回到基于同步预测块180的同步偏移时间t的预测。
[0116]
此时，在按照相互对应的边缘彼此的每个像素对差分e[k，i，j]进行平方和后的值在允许范围内的情况下，设为同步偏移时间t的预测正确，而处理判定块160进行不需要返回的判定。在进行了不需要返回的判定的情况下的同步偏移时间t例如在利用于车辆3的运动估计等时，实现雷达传感器22与外界相机24的同步。另外，在以下的说明中，将按照每个像素对差分e[k，i，j]进行平方和后的值仅称为差分e[k，i，j]的平方和。
[0117]
与此相对，在差分e[k，i，j]的平方和在允许范围外的情况下，设为同步偏移时间t的预测不正确，而处理判定块160进行需要返回的判定。在进行了需要返回的判定的情况下的同步偏移时间t通过后面详述的同步预测块180，重新预测为与存储器10存储的最新值不同的值。
[0118]
这里，也可以将作为差分e[k，i，j]而能够判断为正确的值的上限作为阈值，将成为同步预测块180的判定基准的允许范围设定为该阈值以下的数值范围。也可以将作为差分e[k，i，j]而应该判断为不正确的值的下限作为阈值，并将允许范围设定为小于该阈值的
数值范围。
[0119]
在图2所示的同步预测块180随着从起动的车辆3的行驶开始起需要初次的同步处理的判断而输入(即，读出)有存储于存储器10的同步偏移时间t的初始值。接受该输入，同步预测块180暂时将时刻k处的最新的同步偏移时间t预测为初始值，并存储于存储器10。这里，同步偏移时间t的初始值可以是预先设定的固定值。同步偏移时间t的初始值也可以是在过去的同步处理中预测出的可变值。
[0120]
在同步预测块180，在通过处理判定块160进行了需要返回的判定的情况下，从存储器10输入(即，读出)有不正确预测的同步偏移时间t。接受该输入，同步预测块180通过对不正确预测的同步偏移时间t加上调整值，重新预测时刻k处的最新的同步偏移时间t，并存储于存储器10。此时，同步预测块180根据在这次以及上一次的同步处理中提取的差分e[k，i，j]的平方和间的增减结果，调整偏移调整值的符号以及从初始值起的可变量。因此，在进行了需要返回的判定的情况下，在同步预测块180也输入(即，读出)有存储于存储器10的偏移调整值的初始值。这里，偏移调整值的初始值可以是预先设定的固定值。偏移调整值的初始值也可以是在过去的同步处理中预测出的可变值。
[0121]
根据以上，在第一实施方式中，运动补偿块110相当于“运动补偿部”，变化量计算块120相当于“变化量计算部”，图像估计块130相当于“图像估计部”。并且在第一实施方式中，差分提取块140相当于“差分提取部”，处理判定块160相当于“处理判定部”，同步预测块180相当于“同步预测部”。
[0122]
以下，根据图10对通过到此为止进行了说明的功能块100、110、120、130、140、160、180的合作，同步装置1执行同步处理实现的同步方法的流程进行说明。另外，按照起动的车辆3的行驶开始后重复的每个全局快门帧fo执行本流程。另外，在本流程中，各“s”分别是指根据同步程序所包括的多个命令执行的多个步骤。并且，在以下的说明中省略索引的表述。
[0123]
在s101中，同步预测块180将在全局快门帧fo的开始时刻k在雷达传感器22与外界相机24之间产生的同步偏移时间t暂时预测为存储于存储器10的初始值，并存储于存储器10。
[0124]
在s102中，误差修正块100对通过惯性传感器20在时刻k获取的最新的惯性信息ib修正最新的偏倚误差b。在s103中，运动补偿块110对在时刻k开始的全局快门帧fo内通过雷达传感器22获取的最新的反射波图像ir补偿该帧fo内的车辆移动量。此时的补偿基于通过s102修正了偏倚误差b后的惯性信息ib。
[0125]
在s104中，变化量计算块120计算补偿了车辆移动量的最新以及上一次图像ir间的变化量δr，作为全局快门帧fo间的反射波图像ir的时间变化量δr。另外，通过在执行从起动的车辆3的行驶开始起初次的同步处理的本流程的执行之前，分别各执行一次与s101相同的修正以及与s102相同的补偿，计算该初次的时间变化量δr所需要的三维极坐标r。
[0126]
在s105中，图像估计块130估计从时刻k处的全局快门帧fo的开始定时偏移了通过s101或者后述的s110在之前最近预测出的最新的同步偏移时间t后的同步定时ts处的反射波图像ir。此时的图像估计基于通过s104计算出的时间变化量δr。
[0127]
在s106中，差分提取块140的子块142对通过s105估计出的同步定时ts处的反射波图像ir补偿从全局快门帧fo的开始定时亦即时刻k起的偏移量。
[0128]
在s107中，差分提取块140的子块144根据通过s106进行了偏移补偿的反射波图像
ir，对在时刻k开始的全局快门帧fo内通过外界相机24获取的最新的外部光图像io进行插值。此时的插值使高精细侧的外部光图像io与低精细侧的反射波图像ir匹配。
[0129]
在s108中，差分提取块140的子块146通过对通过s106进行了偏移补偿的反射波图像ir、和通过s107进行了插值的外部光图像io进行对比来提取差分e。在将与反射波图像ir和外部光图像io的边缘相关的图像值lre、soe根据各自的偏差范围进行归一化之后，对这些边缘彼此执行此时的对比以及差分提取。
[0130]
在s109中，处理判定块160基于通过s108提取的差分e，判定是否使同步处理返回到同步偏移时间t的预测。其结果是，在进行了不需要返回的判定的情况下，本流程结束。
[0131]
另一方面，在进行了需要返回的判定的情况下，在s110中，同步预测块180重新预测时刻k处的同步偏移时间t并存储于存储器10，之后再次使s102执行。通过根据在这次以及上一次的同步处理中提取出的差分e间的增减结果，调整对不正确预测的同步偏移时间t加上的偏移调整值的可变量，来实现此时的重新预测。
[0132]
根据以上，在第一实施方式中，s101、s110相当于“预测工序”，s103相当于“补偿工序”，s104相当于“计算工序”。另外在第一实施方式中，s105相当于“估计工序”，s106、s107、s108相当于“提取工序”，s109相当于“判定工序”。
[0133]
(作用效果)
[0134]
以下对在以上进行了说明的第一实施方式的作用效果进行说明。
[0135]
根据第一实施方式的同步处理，基于外界相机24中的全局快门帧fo间的反射波图像ir的时间变化量δr估计从该帧fo的开始定时偏移了雷达传感器22以及外界相机24之间的同步偏移时间t后的同步定时ts处的反射波图像ir。同步偏移时间t的预测越正确，通过将在该同步定时ts的反射波图像ir与外部光图像io进行对比而提取的差分e越小。因此，根据基于反射波图像ir与外部光图像io的差分e判定是否使同步处理返回到同步偏移时间t的预测，能够重复同步处理直至正确地预测同步偏移时间t。因此，能够使雷达传感器22与外界相机24高精度地同步。
[0136]
第一实施方式的反射波图像ir在补偿从全局快门帧fo的开始定时起的偏移量之后，与外部光图像io进行对比。据此，在全局快门帧fo内获取的反射波图像ir能够被补偿为成为在该帧fo的开始定时与外部光图像io一起获取的图像。即，进行了补偿的反射波图像ir能够拟制为实质与外部光图像io同时获取，所以通过这些图像ir、io的对比，能够正确地提取差分e，能够使雷达传感器22与外界相机24高精度地同步。
[0137]
根据第一实施方式，在全局快门的帧fo间的反射波图像ir的变化量计算之前，对反射波图像ir补偿该帧fo内的车辆移动量。据此，在全局快门的帧fo内(具体而言按照每个滚动快门的帧fr)，计算补偿了变化的车辆移动量之后的时间变化量δr。因此，能够从基于这样的时间变化量δr预测出的同步定时ts的反射波图像ir正确地提取与外部光图像io的差分e，使雷达传感器22与外界相机24高精度地同步。
[0138]
第一实施方式的反射波图像ir与外部光图像io在与低精细侧相配合地对高精细侧进行插值之后进行对比。据此，通过在消除了精细度不同所引起的图像ir、io彼此的不匹配之后进行对比，能够正确地提取差分e，所以能够使雷达传感器22与外界相机24高精度地同步。
[0139]
第一实施方式的反射波图像ir与外部光图像io对边缘彼此进行对比。据此，容易
从对比容易的边缘彼此正确地提取差分e，所以能够使雷达传感器22与外界相机24高精度地同步。
[0140]
第一实施方式的反射波图像ir和外部光图像io在将图像值lre、soe彼此根据各自的偏差范围进行归一化之后进行对比。据此，通过作为归一化的结果而进行了缩放的图像值lre、soe彼此的对比，能够正确地提取差分e，所以能够使雷达传感器22与外界相机24高精度地同步。
[0141]
(第二实施方式)
[0142]
图11所示第二实施方式是第一实施方式的变形例。
[0143]
第二实施方式的雷达传感器2022例如是获取能够利用于车辆3的运动估计等的反射波图像ir的所谓的成像雷达。雷达传感器2022从车辆3的外界获取与通过照射作为电磁波的毫米波(电波)得到的反射波相对应的反射波图像ir。雷达传感器2022具有发送天线2220、接收天线2221以及拍摄电路2222。
[0144]
拍摄电路2222将毫米波照射控制为脉冲波束状，作为从配置为阵列状的多个发送天线2220朝向车辆3的外界的电磁波。随着该毫米波照射，拍摄电路2222分别按照相对应的扫描线扫描与配置为阵列状的多个接收天线2221相对应的构成像素中在横向上多列的纵像素列。拍摄电路2222通过将与从毫米波照射时刻起的感知到的反射波的到达时间相对应的、到该反射波的反射点为止的距离值与每个像素相对应的波束转向角建立关联并数据化，获取反射波图像ir。
[0145]
在第二实施方式的差分提取块2140追加有对外部光图像io进行前处理的子块2145。在子块2145输入有通过子块144进行了插值的外部光图像io。接受该输入，子块2145从进行了插值的外部光图像io提取雷达传感器2220的物体捕捉率较高的特定物标。
[0146]
这里，雷达传感器2220的物体捕捉率较高的特定物标理想而言是指外界的物体部分中的从车辆3观察向里侧方向凹陷的角部分。但是，根据外部光图像io，难以辨别外界的物体部分中的从车辆3观察向里侧方向凹陷的角部分、和从车辆3观察向近前方向凸出的角部分。因此，子块2145从外部光图像io提取外界的物体部分中的凹陷的角部分和凸出的角部分双方。
[0147]
第二实施方式的差分提取块2140代替第一实施方式的子块146，而具有对进行了前处理的图像ir、io彼此进行对比处理的子块2146。在子块2146输入有亮度值so[k，i，j]，作为通过子块2145从外部光图像io提取的特定物标的特征量亦即最新数据值。
[0148]
关于该输入以外的功能，子块2146实现与第一实施方式的子块146相同的功能。其结果是，对在这些图像ir、io拍摄到的特定物标即角部分，实现反射波图像ir与外部光图像io的对比。
[0149]
在第二实施方式的同步装置1的流程中，如图12所示，代替第一实施方式的s108，依次执行s2110、s2111。在s2110中，差分提取块2140的子块2146从通过s107进行了插值的外部光图像io提取雷达传感器2220的物体捕捉率较高的特定物标。
[0150]
在s2111中，差分提取块2140的子块2146通过对通过s106进行了偏移补偿的反射波图像ir、和通过s2110提取出的外部光图像io的特定物标进行对比提取差分e。在将与反射波图像ir和外部光图像io的特定物标彼此的边缘相关的图像值lre、soe根据各自的偏差范围进行归一化之后，对各个边缘彼此执行此时的对比以及差分提取。
[0151]
根据以上，在第二实施方式中，差分提取块140、2140相当于“差分提取部”，s106、s107、s2110、s2111相当于“提取工序”。
[0152]
根据到此为止进行了说明的第二实施方式，即使代替向车辆3的外界进行照射的电磁波成为红外线激光的第一实施方式的雷达传感器22，使用该电磁波成为毫米波的雷达传感器2022，也能够发挥与第一实施方式相同的作用效果。
[0153]
(其它的实施方式)
[0154]
以上，对多个实施方式进行了说明，但本公开并不限定于这些实施方式进行解释，能够在不脱离本公开的主旨的范围内应用各种实施方式以及组合。
[0155]
变形例中的同步装置1也可以是构成为包括数字电路以及模拟电路中的至少一方作为处理器的专用的计算机。这里特别是数字电路例如是asic(application specific integrated circuit：专用集成电路)、fpga(field programmable gate array：现场可编程门阵列)、soc(system on a chip：芯片上系统)、pga(programmable gate array：可编程门阵列)、以及cpld(complex programmable logic device：复杂可编程逻辑器件)等中的至少一种。另外，这样的数字电路也可以具备储存了程序的存储器。
[0156]
变形例中的误差修正块100以及s102也可以省略。在这种情况下的运动补偿块110以及s103中，也可以基于通过惯性传感器20在时刻k获取的最新的惯性信息ib，补偿车辆移动量。
[0157]
在变形例中的差分提取块140、2140的子块142以及s106中，也可以在外部光图像io中补偿反射波图像ir中的从时刻k的偏移量。变形例中的反射波图像ir也可以比外部光图像io高精细。在这种情况下的差分提取块140、2140的子块144以及s107中，也可以与低精细侧的外部光图像io相配合地对高精细侧的反射波图像ir进行插值。
[0158]
在变形例中的差分提取块140、2140的子块142、146、2146以及s106、s108、s2111中，也可以代替反射波图像ir的距离值lr而使用与该距离值lr相关联地包括于该图像ir的亮度值或者强度值。在变形例中的差分提取块140、2140的子块146、2146以及s108、s2111中，也可以将反射波图像ir的距离值lr和外部光图像io的亮度值so直接作为图像值，提供给对比以及差分提取。在变形例中的差分提取块140、2140的子块146、2146以及s108、s2111中，也可以与反射波图像ir和外部光图像io中的一方相配合地使另一方归一化，之后提供给对比以及差分提取。
[0159]
变形例中的雷达传感器22也可以是通过全局快门获取反射波图像ir的构成。在该情况下的其它的变形例中，也可以省略模块100、110、142以及s102、s103、s106。这里，在其它的变形例的子块144以及s107中，可以在全局快门帧fo内获取的最新图像ir、io中，与低精细侧相配合地对高精细侧进行插值。另外，在其它的变形例的子块146以及s108中，可以将在全局快门帧fo内获取的最新图像ir、io彼此进行对比。